1i7 (1i7) wrote,
1i7
1i7

Categories:

White helmets vs Betaface (Белые каски против искусственного интеллекта)

Побочный продукт от небольшой воскресной дискуссии (не пропадать же добру).

Коротко предварительная история:
- Исходный пост - Крейг Мюррей о похождениях туристов Петрова и Васечкина Петрова и Баширова, который на самом деле не Баширов, а полковник ГРУ Чепига (на самом деле нет, это статья-разоблачение, но это не точно): https://www.craigmurray.org.uk/archives/2018/09/boshirov-is-probably-not-chepiga-but-he-is-also-not-boshirov/comment-page-1/ (русифицированный вольный пересказ: https://riafan.ru/1104416-feik-bellingcat-treshit-po-pikselyam-na-polkovnika-chepigu-pokhozh-ne-boshirov-a-ukrainskii-mer)
- В ходе разоблачения Крейг Мюррей мимоходом стыдит Элиота Хиггинса - автора разбираемого вброса о Чепиге-Баширове, - за двоемыслие и двойные стандарты: оказывается, Элиот Хиггинс (который делает вывод о том, что Баширова - это Чепига, а Чепига - это Баширов по их безусловному сходству на фото N-летней давности) раньше говорил (см скрин твита), что визуальное сходство некоторых людей, которые на одних фотографиях позируют в белых касках, а на других - с черным флагом, не говорит о том, что это одни и те же люди, а говорит о том, что это про-асадовская путинская пропаганда.
- В той же статье приводится ссылка на бесплатный онлайн-сервис betaface.com, который позволяет сравнивать фотографии людей и при этом генерирует "индекс похожести" в процентах https://betaface.com/demo.html


итого: я решил совместить полезное с полезным - потестировать и оценить работу сервиса сравнения лиц betaface.com и добавить немного объективности в белокасочно-джихадистский спор Мюррея-Хиггинса.

спойлер - вот сразу результат:

whitehelmets-vs-betaface-leaderboard.png

whitehelmets-vs-betaface.png



как его получить и интерпретировать - под кат



Еще немного предварительной работы.
Как я уже говорил, сервис дает результат сходства в процентах, но не очень ясно, как оценивать этот результат - например, 75% сходства - это много или мало?

Чтобы хотя бы приблизительно ответить на этот вопрос, в качестве предварительной калибровки я загрузил несколько своих фоток из паспортов начиная с 2003 года (фотки не прилагаю, немного не та компания :)) и получил между ними сходства в диапазонах 80-86%, 85-89% (в зависимости от того, какую фотку сравнивать со всеми остальными) - даже не 90%. Мой уровень сходства с Чепигой и Башировым в максимальном варианте - 77%

В итоге я пришел к выводу, что программа дает такие результаты: уровень сходства менее 80% - разные люди или плохие фото (у большинства фоток 2х любых мужчин результат будет от 60 до 79%), 80%-90% - очень похожи (с большой долей вероятности может быть один и тот же человек), более 90% - скорее всего это фотки одного и того же человека.

Далее, в общем, дело техники.
берем про-асадовские путинские пропагандистские картинки, например, отсюда: https://colonelcassad.livejournal.com/4021299.html

загружаем их в сервис, смотрим результаты.

Еще несколько технических нюансов:
- сервис сделан достаточно удобно - можно загрузить одну фотку и он распознает на ней все лица, но я решил вырезать персонажам головы и загружал их по-одной, чтобы было удобнее генерировать сводную таблицу
- я сгенерировал таблицу сравнения все-со-всеми, чтобы было видно не только наилучшие результаты, но и рейтинг похожести персонажей, которые друг другом, очевидно, не являются.
- персонажи пронумерованы по их предполагаемому сходству на пропагандистских плакатах: например, 2-1 - товарищ в белой каске, 2-2 и 2-3 - его альтер-эго в роли джихадиста
- две головы не распознались как лица, в их колонках и столбцах все минусы; 3й минус в каждой строке - персонаж меньше всего похож на оригинал
- наилучшие совпадения (>=80%) отмечены жирным
- диагональ сам-с-собой предсказуемо везде 100%, никак не отмечена

Результат:
- Вперед выбились два очевидных победителя: молодой человек с открытым одухотворенным лицом в очках (2-1, 2-2, 2-3) и суровый мужчина в клетчатой рубашке с черным флагом на танке (8-1, 8-2, 8-3).
- У молодого человека 2-N наивысшее попадание - 93.5% (он похож на своего двойника в роли джихадиста даже больше, чем я похож на свой собственный паспорт)
- У клетчатого 8-N - 86.9%, поменьше, но тоже неплохо

это первые два места, выбиваются на фоне всех остальных.

далее еще два совпадения больше 80
- Колоритный персонаж с бородой 3-1, 3-2, на фотках ну очень похож, но сетка выдала ему всего 81.0% - в принципе неплохо, но посмотрим дальше
- 81.4% совпадение персонажей 1-1 и 4-2 - это даже больше, чем предыдущий бородач, но даже на пропагандистских плакатах предполагалось, что это разные люди

Все результаты менее 80% не рассматривал - разные люди или плохие фото, дают примерно один и тот же результат.

Постскриптум и отказ от ответственности
- нейронная сеть не дает финального ответа на вопрос "он или не он", но позволяет дополнить интернет-обсуждения дополнительными вполне объективными метриками
- ответ на вопрос насколько можно доверять мнению нейронной сети и назначенной ей рейтингам похожести - оставляю на усмотрение читателей и специалистов. От себя только замечу, что качество назначения сетью индексов можно вполне объективно оценить извне статистически на достаточно репрезентативной выборке.
- фотографии, представленные для сравнения, мягко говоря оставляют желать лучшего, а качество фотографии, очевидно, будет оказывать прямое влияние на результат. Однако здесь стоит заметить, что плохое качество (низкое разрешение, неверный ракурс) скорее сыграет в сторону понижения рейтинга, чем даст случайное повышение на одном и том же персонаже. С другой стороны, даже в проверенном наборе фотографий у нас проявился пример сравнительного высокого (но не слишком) рейтинга для двух разных персонажей, таким образом мы видим, что ложно-положительные срабатывания имеют место быть.


Eliot Higgins.png

whitehelmets-1.jpg

whitehelmets-2.jpg

whitehelmets-3.jpg

whitehelmets-4.jpg

whitehelmets-5.jpg


сохранил для вечности из фейсбука

Tags: бигдог, машинное обучение, фактчек
Subscribe

Posts from This Journal “бигдог” Tag

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 3 comments