Исследование: крупные языковые модели ИИ ошибаются в определении каламбуров в четырех случаях из пяти

Ученые из Кардиффского университета и университета Ка-Фоскари в Венеции исследовали, как крупные языковые модели распознают каламбуры. Они проверили десятки примеров и обнаружили, что модели уверенно отмечают форму шутки, но не понимают ее смысл, пишет The Guardian. Команда подчеркивает, что алгоритмы часто воспринимают каламбур там, где игра слов отсутствует.

Эксперты отмечают, что модели полагаются на шаблоны. Нейросети уверенно определяют знакомые конструкции, но не анализируют двоякое значение. Исследователи подчеркивают, что небольшое изменение формулировки полностью разрушает механизм шутки, но модели продолжают приписывать ей скрытый смысл.

По данным исследования, при столкновении с новым или измененным каламбуром точность распознавания падает до 20%. В одном из примеров ученые проверили фразу «Старые LLM не умирают, они просто теряют внимание». При замене слова «внимание» на «укулеле» модели продолжали считать фразу каламбуром и пытались объяснить связь звуковыми ассоциациями.

Исследователи представили работу на конференции Empirical Methods in Natural Language Processing 2025 года в Сучжоу. В докладе под названием Pun unintended: LLMs and the illusion of humor understanding команда заявила, что такие ошибки показывают ограничения ИИ в понимании юмора, эмпатии и культурных оттенков. Они советуют учитывать эти данные при использовании языковых моделей в задачах, где требуется корректная интерпретация шуток или контекстных намеков.

Все важное о книжной индустрии и литературе читайте в нашей рубрике «Книжная полка».