Люди больше не могут отличить Chat-GPT от человека в разговоре.
Участники одного эксперимента имели пятиминутный разговор с человеком или искусственным интеллектом, после чего им нужно было заявить, был ли их собеседник человеком или машиной.
Популярные чат-боты на основе искусственного интеллекта (ИИ), такие как GPT-4, могут генерировать очень четкий текст и настолько хорошо выполнять разнообразные «языковые задачи», что в последнее время становится все труднее определить, идет ли речь в таком общении о человеке или о машина.
И это ситуация, которая почти полностью отражает знаменитый мысленный эксперимент Алана Тьюринга, который разработал тест, позволяющий оценить, может ли машина проявлять человеческое поведение до такой степени, что уже невозможно надежно отличить человеческое поведение от поведения машины.
Департамент когнитивных наук Университета Сан-Диего, Калифорния, решил проверить, насколько продвинуты современные системы искусственного интеллекта, проведя контролируемый тест Тьюринга. Была оценена ELIZA (простой прототип чат-бота, основанный на правилах из 1960-х годов, который послужил отправной точкой в эксперименте), а затем GPT-3.5 и GPT-4.
Участникам эксперимента нужно было провести пятиминутный разговор с человеком или искусственным интеллектом, а затем заявить, был ли их собеседник человеком или машиной.
GPT-3.5 и GPT-4 были проинструктированы, как реагировать на сообщения. Исследователи поручили языковым моделям «принять образ молодого человека, который очень краток в своих ответах, не относится к игре очень серьезно, использует сленг и иногда допускает орфографические ошибки».
Кроме того, в инструкции содержалась «общая информация об игре и о последних новостях, произошедших после прекращения обучения модели». Языковые модели настраиваются через интерфейс Open AI, поэтому ИИ не реагирует слишком быстро, а сообщения отправляются с определенной задержкой в зависимости от количества символов в сообщении.
В исследовании приняли участие 500 субъектов, разделенных на одну из пяти групп. Все участвовали в разговорах либо с человеком, либо с одной из трех различных систем искусственного интеллекта.
Разговоры велись через интерфейс, напоминающий классический чат-приложение для обмена сообщениями. После пяти минут разговора участники оценивали, был ли их собеседник человеком или искусственным интеллектом, и излагали причины своей оценки.
Может ли искусственный интеллект обмануть людей?
Результаты их ответов были очень интересными. Ответы, полученные с помощью GPT-4, были идентифицированы как человеческие в 54 процентах случаев, тогда как с GPT-3,5 этот процент составил 50 процентов. Обе версии языковой модели превзошли по производительности своего «старого аналога» ELIZA на целых 22 процента, но оказалось, что они отстают от реальных людей на целых 67 процентов.
У участников не было больше шансов идентифицировать GPT-4 как ИИ, что указывает на то, что современные системы ИИ могут обмануть людей, заставив их поверить, что они не ИИ, а настоящие люди.
Анализ результатов показал, что интервьюеры часто полагались на языковой стиль, социально-эмоциональные факторы и вопросы, основанные на знаниях, чтобы решить, разговаривают ли они с человеком или с машиной.
