«Одноклассники» начала бороться с агрессивными комментариями с помощью ИИ
Социальная сеть «Одноклассники» запустила алгоритм на базе искусственного интеллекта, направленный на борьбу с агрессией и разжиганием ненависти в публичных комментариях на платформе. Нейросеть анализирует как текстовые комментарии, так и вложенные изображения.
Источник изображений: ОК
Согласно пресс-релизу «Одноклассников», нововведение поможет создать в соцсети уважительную среду и обеспечит условия для комфортного общения всем участникам сообщества. Обнаружив в комментариях токсичный контент, алгоритм направляет уведомление модераторам, которые проводят проверку и принимают окончательное решение. Если информация подтверждается, агрессивный пользователь подвергается временной блокировке, и при последующей попытке оставить комментарий он получает сообщение с пояснением и ссылкой на страницу, где описана работа нового алгоритма. Нововведение уже запущено в десктопной версии «Одноклассников», и в обозримом будущем оно дебютирует в клиентских приложениях под iOS и Android.
При анализе текстовых комментариев алгоритм срабатывает на проявления ксенофобии и ненависти к отношении любых социальных групп, в том числе с использованием ненормативной лексики, а также на угрозы в адрес других участников сообщества. Система также анализирует вложенные изображения, реагируя на шокирующий контент и насилие — если сигнал нейросети подтверждается, пользователь подвергается временной блокировке. Санкций от «Одноклассников» теперь также можно добиться, получив множество жалоб от других пользователей, и если алгоритм характеризует проблемные комментарии как токсичные и агрессивные.
Источник: Одноклассники