Профессора университетов не замечают ответов Chet-GPT на тестах
94 процента ответов на университетские экзамены, созданных с помощью Chat-GPT, не были обнаружены как сгенерированные искусственным интеллектом, и обычно они получали более высокие баллы, чем работы, отправленные реальными студентами.
Питер Скарф из Университета Рединга в Великобритании и его коллеги использовали Chat-GPT, чтобы дать ответы на 63 вопроса по пяти модулям университетского курса психологии. Студенты сдавали эти экзамены дома, поэтому им разрешалось просматривать конспекты и ссылки, а также потенциально можно было использовать искусственный интеллект, хотя это было запрещено.
Ответы, сгенерированные искусственным интеллектом, были представлены вместе с реальными ответами студентов и составили в среднем 5 процентов от общего числа сценариев, отмеченных учеными. Маркерам не сообщили, что они проверяют работы 33 фейковых студентов, чьи имена также были сгенерированы Chet-GPT.
Оценки включали два типа вопросов: короткие ответы и длинные эссе. Инструкции, данные «Чату-GPT», начинались со слов «Включая ссылки на научную литературу, но не в отдельный справочный раздел», а затем копировали экзаменационный вопрос. Во всех модулях только 6 процентов ответов были помечены как потенциально неучеденческие работы, хотя в некоторых модулях ни одна работа, созданная ИИ, не была помечена как подозрительная.
— В среднем ответы ИИ получили более высокие баллы, чем реальные ответы учащихся. Современный ИИ имеет тенденцию бороться с более абстрактными рассуждениями и интеграцией информации. Но во всех 63 ответах от искусственного интеллекта была вероятность 83,4 процента, что работа искусственного интеллекта превзойдет работу студентов, — рассказал Скарф.
Исследователи утверждают, что их работа является крупнейшим и наиболее надежным исследованием такого рода на сегодняшний день. Хотя в исследовании рассматривалась только работа выпускников психологических факультетов Университета Рединга, Скарф считает, что это беспокоит весь академический сектор.
— Результаты показывают именно то, что я ожидал увидеть. Мы знаем, что искусственный интеллект может дать разумные ответы на простые, ограниченные по тексту вопросы, — сказал Томас Ланкастер из Королевского колледжа Лондона.
Он отметил, что неконтролируемые оценки, в том числе короткие ответы, всегда чреваты мошенничеством.
— Справиться с источником этой проблемы будет практически невозможно. Поэтому вместо этого сектор должен переосмыслить то, что он оценивает. Я думаю, что сектору в целом потребуется признать тот факт, что нам нужно будет встроить искусственный интеллект в оценки, которые мы даем нашим студентам, — заключил Скарфф.
