Люди легко обманывают ИИ при распознавании ненависти в речи

19-09-2018, 06:45 Information technology (IT) » Люди легко обманывают ИИ при распознавании ненависти в речи

Многие популярные социальные сети и онлайн-платформы используют детекторы ненависти. Тем не менее, плохая грамматика и неловкое правописание - преднамеренное или нет - могут сделать токсичные сообщения в социальных сетях более сложными для обнаружения детекторов ИИ.

 Исследователи из Университета Аалто в Финляндии обнаружили недостатки во многих детекторах машинного обучения, которые в настоящее время используются для распознавания и сохранения ненавистной речи.
Команда поставила на тест семь современных детекторов речи на тему ненависти. Все они потерпели неудачу. Современные методы обработки естественного языка (NLP) могут классифицировать текст на основе отдельных символов, слов или предложений. Когда же они сталкиваются с текстовыми данными, которые отличаются от тех, которые используются в их обучении, они начинают давать сбой. «Мы вставили опечатки, изменили границы слов или добавили нейтральные слова в оригинальную речь о ненависти. Удаление пробелов между словами было самой мощной атакой, и комбинация этих методов была эффективной даже против системы оценки рейтинга комментариев Google Perspective», - сказал Томми Грондал, доктор Университета Аалто. Google Perspective оценивает «токсичность» комментариев с помощью методов текстового анализа. В 2017 году исследователи из Вашингтонского университета показали, что Google Perspective можно одурачить, представив простые опечатки.
Исследователи теперь обнаружили, что Perspective с тех пор стала устойчивой к простым опечаткам, но ее можно одурачить другими изменениями, такими как удаление пробелов или добавление безобидных слов, таких как «любовь». Предложение, подобное «Я тебя ненавижу», проскользнуло через сито, когда оно было изменено на «Ihateyou love». Ученые отмечают, что в разных контекстах одно и то же высказывание можно рассматривать как ненавистное или просто оскорбительное. Речь о ненависти является субъективной и контекстно-зависимой, что делает методы анализа текста недостаточными как самостоятельные решения.
Исследователи рекомендуют уделять больше внимания качеству наборов данных, используемых для обучения машинными учебными моделями, вместо того, чтобы уточнять дизайн модели. Результаты показывают, что распознавание на основе символов может быть жизнеспособным способом улучшения текущих приложений, говорят они.
Васильев Виталий

Также читайте: