Есть вопросы? info@skydigital.pro

Нейросеть может узнать политические взгляды каждого россиянина

По стопам Cambridge Analytica

Если вы еще не слышали про фирму Cambridge Analytica, то вы, наверно, Федор Конюхов, находящийся в очередном кругосветном путешествии на весельной лодке без средств связи.
Для тех, кто не Федор Филиппович, и все же не слышал, вкратце повторимся:
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

В декабре 2016 года швейцарский журнал Das Magazin опубликовал расследование о том, как технологии психометрии и психотаргетинга в сети Facebook повлияли на итоги выборов в США, референдума о выходе Великобритании из ЕС, а также стремительный взлет из ниоткуда сенатора Теда Круза.
Подробнее тут: «Как Big Data и пара ученых обеспечили победу Трампу и Brexit» - русский перевод статьи.

В центре расследования была фирма Cambridge Analytica (далее СА), которая совмещая технологии Big Data и анализ персональных страниц пользователей в Facebook, смогла разработать и применить систему персонализированного психотаргетинга.

Система, созданная СА, показывает вариант рекламы, заточенный под психотип каждого отдельного пользователя.

Кроме того, эта технология может по лайкам и комментариям пользователей социальных сетей определять, например:

— употребление наркотиков с 65% точностью,
— политическую принадлежность с точностью 85%,
— сексуальную ориентацию с точностью 80%.

_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

Мы решили проверить, так ли обстоят дела, как заявляют в СА? Действительно ли достаточно десятка лайков в социальных сетях, чтобы узнать вас лучше, чем ваша жена?
Сразу ответим - да, это правда.

Ниже мы повторим эксперимент по методам СА и покажем, как по нескольким интересам из соц. сетей мы узнаем ваши политические взгляды с точностью 95%. Причем интересы могут не иметь к политике никакого отношения!

* * *

Как мы это делали?

Несмотря на обилие публикаций про СА, практически никто не пишет подробности о том, как реализована их система. Большинство изданий обходят стороной один из ключевых моментов, а именно - построение математической модели.

Мы восполним этот пробел. Мы построим свою математическую модель, потом продемонстрируем вам результат ее работы и сравним с данными фирмы Cambridge Analytica.

Математическая модель - это описание свойств или закономерностей функционирования реального объекта или системы с помощью математического языка (набора формул и уравнений). Модель позволяет предсказать результаты поведение объекта или системы в разных ситуациях.

Для примера построим относительно простой вариант - математическую модель зависимости политических взглядов пользователей ВКонтакте от их интересов и увлечений.

Для этого мы исследуем две группы пользователей во ВКонтакте с разными политическими предпочтениями.

Первую группу условно назовем «либералы» — это люди, для которых на первом месте стоит личная свобода. Как следствие эти люди поддерживают идею невмешательства, или минимального вмешательства государства в их жизнь и экономику в целом.

Как пример условных либералов мы взяли подписчиков разнообразных групп Алексея Навального. Всего 654 тыс. пользователей.

Вторую группу условно назовем «консерваторы» — это люди, приверженные традиционным ценностям, стабильности, противники радикальных реформ. Согласно их убеждениям, государство является гарантом этой стабильности.
Как пример аудитории явных консерваторов были взяты подписчики ряда характерных провластных групп. Всего 782 тыс. пользователей.

На примерах интересов подписчиков выше указанных групп мы обучили математическую модель на основе нейронной сети, которая решает задачу бинарной классификации (т.е разделяет людей на два класса)

Нейронная сеть учитывает более 12 тыс. разнообразных интересов и увлечений.

Блок схема работы математической модели определения политических взглядов.

Полученная модель анализирует интересы и увлечения пользователя, и на выходе выдает значения между 0 и 1. Мы назвали это значение «индексом политической активности», либо «индексом политической осознанности».

Значение индекса ближе к 0, показывает приверженность к консервативным взглядам, ближе к 1 — к либеральным.
Значение ближе к середине означают политическую пассивность, отсутствие ярко выраженных политических взглядов.

Людей со значением индекса меньше 0.25 и больше 0.75 уже можно называть «активистами». Они не скрывают своих взглядов, и даже всячески подчеркивают их.

Предвосхищая многочисленные вопросы:

Мы не стали глубже детализировать группы по их политическим взглядам. Модель не будет различать «ностальгирующих по СССР», «новых коммунистов», «националистов», «христианских демократов» и «левых зеленых».
В текущей политической ситуации в РФ это не принципиально. Все перечисленные взгляды, так или иначе, относятся к условным «либералам» или «консерваторам». В следующей версии мы, возможно, обучим модель более детально.

* * *

Результаты

Результаты получились довольно впечатляющими и говорят сами за себя.
При проверке на контрольной выборке модель показала точность предсказания политических взглядов 95% ! (метод проверки - AUC, реальная точность 0.9504812) Подробнее о точности модели тут.

Интересно было наблюдать, как наша модель может принимать правильное решение на основе небольшого количества (3-4) совершенно не очевидных интересов человека, не имеющих никакого отношения к политике.

* * *

Выводы

Ставя лайки в соц.сетях или вступая в группы о котятах и макраме вы полностью раскрываете свой характер, хотите вы этого или нет. Методы психометрии в социальных сетях действительно работают, и могут быть использованы в разных прикладных задачах, вроде психотаргетинга (микротаргетинга) для рекламы или политической агитации.

Поскольку модель обучалась определять политические убеждения по совокупным неявным признакам, то, даже, если человек открыто не заявляет о своих политических взглядах, или сам не догадывается о них, наша модель может их определить с большой степенью вероятности.

* * *

А теперь самое интересное - попробовать самому!

Все сказанное можно проверить тут . Нужно всего лишь ввести адрес страницы пользователя ВКонтакте, и программа выдаст его политические взгляды.


Разница между либералом и консерватором, на первый взгляд, не очевидна.
Но наша нейросеть различает их с легкостью.