Смена языка изменила ответы пяти чат-ботов на вопросы личностного теста
Если попросить один и тот же чат-бот пройти личностный тест на разных языках, результаты могут разительно отличаться. Новое исследование, опубликованное в Royal Society Open Science, установило, что пять исследованных версий языковых моделей дают разные профили ответов в зависимости от того, на каком языке с ними общаются. Это ставит под сомнение идею использования ИИ-чат-ботов в качестве замены респондентов в социологических и психологических опросах.
Пять моделей, два-три языка, неожиданные различия
Учёные из Университета науки и технологий Китая под руководством Юйчжань Хань тестировали ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 и Le Chat. Каждая модель в период с января по март 2025 года проходила опросник «Большая пятёрка» (BFI-2) — 60 утверждений, оценивающих открытость опыту, добросовестность, экстраверсию, доброжелательность и нейротизм (эмоциональную нестабильность). Для надёжности каждое языковое условие повторялось 30 раз. Все модели тестировались на английском и китайском языках, а Le Chat — дополнительно на французском.
Различия оказались существенными и статистически значимыми. Например, ChatGPT-4o оценил себя выше по шкале открытости опыту на английском языке (4,74 из 5), чем на китайском (4,03). DeepSeek-V3 продемонстрировал обратную картину: 4,38 по-английски против 4,81 по-китайски. Эти оценки описывают ответы на анкету, а не доказывают изменение способности модели рассуждать или проявлять творческий подход.
Национальное происхождение не определяет языковой профиль
Один из наиболее неожиданных результатов связан с Gemini 2.0 Flash — американской моделью Google. Вопреки ожиданиям, она набирала более высокие баллы по добросовестности и менее высокие — по эмоциональной нестабильности именно на китайском языке, а не на английском. Это означает, что языковые различия в поведении ИИ не обусловлены простой привязкой к «национальным стереотипам» тех стран, где были разработаны модели.
Ни одна из моделей не совпала в полной мере со своей «референтной» человеческой группой — американцами, китайцами или французами. Особенно заметно отличались от реальных китайских участников опросов именно модели, разработанные в Китае: DeepSeek-V3 и Ernie 3.5.
Исследователи предупреждают: наблюдаемые различия не свидетельствуют о наличии у чат-ботов реальной личности в психологическом смысле. Исследование не позволило отдельно оценить влияние обучающих данных, устройства моделей и перевода формулировок. Поэтому объяснять все различия одной причиной было бы преждевременно.
Опросы с участием ИИ требуют осторожности
Практические выводы исследования важны для социальных наук. В последние годы среди исследователей растёт интерес к использованию языковых моделей в качестве «синтетических респондентов» — дешёвой альтернативы реальным участникам опросов:
- ИИ-модели не воспроизводят профиль ни одной из реальных национальных групп;
- результаты личностных тестов значимо варьируются в зависимости от языка инструкции;
- модели, разработанные в одной стране, не обязательно «мыслят» как её жители;
- человеческие выборки, использованные для сравнения, сами не являлись репрезентативными для своих стран.
Авторы не отвергают использование ИИ в исследованиях, однако настаивают на том, что результаты, полученные на одном языке, нельзя автоматически переносить на другие языковые аудитории. Это важно для маркетинговых опросов, психометрических инструментов и любых исследований, претендующих на кросс-культурную валидность. По мере того как ИИ-системы всё активнее встраиваются в социологический инструментарий, понимание их языковой чувствительности становится критически важным условием корректной интерпретации данных.
Читайте также: ИИ-чатботы ошибочно успокоили пользователей с симптомами апноэ в трети случаев.
Результаты относятся к версиям, проверенным в начале 2025 года, и не являются сравнением всех современных чат-ботов. Кроме того, модели отвечали от собственного имени: работа не проверяла все способы имитации конкретных групп респондентов.
