Исследователи Университета Боккони совместно с OpenAI Economic Research провели рандомизированный эксперимент с более чем тысячей студентов первого курса. Доступ к ChatGPT помог участникам подготовить более качественные и связные рекомендации. Короткая тренировка причинного мышления дала другой эффект: идеи стали разнообразнее и чаще отличались от ответов однокурсников.
Студенты, получившие и ChatGPT, и тренировку, сохранили преимущества обоих подходов. Исследование не доказывает, что ИИ делает человека умнее или что навык переносится на все дисциплины. Оно показывает более узкий результат: в конкретном бизнес-задании инструмент и обучение влияли на разные измеримые свойства ответа.
Как был устроен эксперимент
В исследовании участвовали более 1000 студентов первого курса Университета Боккони. Они решали реальную маркетинговую задачу: разрабатывали рекомендации для университетского магазина сувениров.
Учебные группы случайным образом распределили по четырем условиям:
- Без ChatGPT и без дополнительной тренировки.
- С доступом к ChatGPT на основе GPT-4o.
- С тренировкой причинного мышления, но без ChatGPT.
- С ChatGPT и тренировкой одновременно.
Причинное мышление — это способность связывать причину и следствие, объяснять механизм решения и указывать условия, при которых идея может не сработать. Тренировка не была уроком по работе с ИИ. Студенты проходили упражнение с игрой, примерами, вопросами и обратной связью.
Готовые работы оценивали обученные проверяющие по пятибалльной шкале. Отдельно исследователи применяли автоматический анализ текста: считали число и разнообразие идей, признаки причинного рассуждения и сходство с рекомендациями трех экспертов.
Что дал доступ к ChatGPT
По данным авторов, группа с ChatGPT получила почти на один балл больше по пятибалльной шкале. Ответы содержали больше идей, были логичнее и сильнее напоминали рекомендации экспертов.
Это можно интерпретировать как сокращение разрыва между новичком и специалистом в оформлении задачи. Модель помогает структурировать материал, предлагать варианты и связывать аргументы. Студенту все равно нужно задать вопрос, оценить ответ и выбрать итоговую формулировку, но часть когнитивной и редакторской нагрузки снижается.
При этом сходство с экспертами не означает глубокое понимание. Модель могла помочь воспроизвести типовую структуру хорошего маркетингового ответа. Чтобы проверить знание, нужны отдельные задания: объяснить выбор без подсказки, применить принцип в новой ситуации или защитить решение перед вопросами преподавателя.
Что изменила тренировка причинного мышления
Студенты после упражнения чаще объясняли, почему идея должна сработать и при каких условиях она может провалиться. Однако их итоговая оценка по стандартной шкале не выросла.
Автоматический анализ обнаружил другую пользу: набор идей стал шире, а ответы разных студентов меньше походили друг на друга. Традиционная шкала оценивала, насколько рекомендации решают две заданные маркетинговые цели. Она не награждала отдельно за идею, которой не было у других.
Это важный методический результат. Система оценки определяет, какое улучшение мы увидим. Если рубрика вознаграждает ясность и соответствие стандарту, ChatGPT может заметно поднять балл. Если важны оригинальность, разнообразие и способность оспорить исходные допущения, понадобится другая шкала.
Почему сочетание оказалось сильнее
Группа с обоими вмешательствами получила более профессионально оформленные ответы и сохранила разнообразие идей. По числу идей и оценке она была близка к группе только с ChatGPT, а по разнообразию — к группе с тренировкой мышления. Дополнительно в работах чаще встречались логические связи и проверка предположений.
Это противоречит простой схеме «ИИ или самостоятельное мышление». Инструмент и навык могут дополнять друг друга. Модель помогает быстро построить базовый ответ, а обучение дает критерии, по которым этот ответ следует разобрать, расширить и поставить под сомнение.
Но сочетание не гарантирует результат автоматически. Если студент бездумно принимает первый ответ модели, наличие урока по критическому мышлению мало что меняет. Учебный процесс должен требовать показать ход решения, альтернативы и проверку.
Почему итоговый текст хуже показывает знания
До распространения генеративного ИИ преподаватель мог использовать качество письменной работы как приближенную меру знаний. Теперь студент способен получить профессионально выглядящий текст даже при слабом понимании темы. Внешнее качество сохраняет значение, но перестает быть достаточным доказательством.
Исследование предлагает учитывать оригинальность, рассуждение и рассмотрение альтернатив. Практически это может означать:
- короткую устную защиту;
- черновики и журнал изменений;
- объяснение причин каждого выбора;
- перенос решения на новый кейс;
- сравнение нескольких ответов ИИ;
- указание ошибок и ограничений модели;
- индивидуальные данные или контекст, которого нет в открытом шаблоне.
Такие задания сложнее проверять. Университетам придется менять не только правила использования ChatGPT, но и экономику оценки: нагрузку преподавателей, критерии и цифровые инструменты.
Сильные стороны исследования
Рандомизированный дизайн лучше обычного опроса отделяет эффект вмешательства. Студенты не просто рассказывали, что им нравится ChatGPT; исследователи сравнивали группы, которые получили разные условия.
Эксперимент проходил на реальном учебном задании, а не на абстрактном тесте. Использовались и человеческие оценки, и автоматический анализ. Это позволило увидеть эффект, который обычная рубрика пропустила.
Наличие четырех групп помогает разделить влияние инструмента, тренировки и их сочетания. Такой дизайн полезнее сравнения «с ИИ» и «без ИИ», потому что показывает механизм улучшения.
Ограничения и возможные искажения
Один университет и один маркетинговый кейс не представляют все образование. Боккони — специализированная среда, а студенты первого курса могут отличаться от школьников, инженеров или аспирантов.
Использовалась GPT-4o и конкретная версия продукта. Другие модели, интерфейсы и инструкции могут дать иной результат. Поведение моделей меняется, поэтому эффект нельзя считать постоянным.
Оценка проводилась сразу после вмешательства. Исследование не показывает, запомнили ли студенты материал, улучшились ли навыки через месяц и смогут ли они решить новую задачу без ИИ.
Автоматический анализ текста тоже имеет ограничения. Разнообразие формулировок не всегда равно оригинальности мысли, а сходство с экспертным ответом может отражать общий шаблон. Нужна проверка устойчивости метрик.
Наконец, OpenAI участвовала в исследовании и публикует его результаты. Это не делает работу неверной, но конфликт интересов следует учитывать. Важны полный текст статьи, открытая методика, данные в допустимом объеме и независимое повторение.
Что означает результат для школ и вузов
Полный запрет ИИ не выглядит единственным выводом. Эксперимент показывает измеримую пользу для качества работы. Но свободный доступ без изменения заданий также слаб: преподаватель может получить красивые ответы, не понимая, чему научился студент.
Более практичная стратегия — разделить цели. Для тренировки профессионального результата ИИ можно разрешать. Для проверки личного знания нужны контролируемые задания без внешней помощи. Для развития мышления студент должен анализировать ответы модели, искать альтернативы и объяснять причинные связи.
Прозрачность использования важнее попытки угадать авторство по стилю. Детекторы ИИ ошибаются и могут обвинять невиновных. Лучше требовать указать, где применялся инструмент, какие подсказки использовались и что студент изменил после проверки.
Что означает результат для бизнеса
Эксперимент относится к образованию, но его логика полезна компаниям. ИИ повышает качество типового результата новичка: письма, презентации, анализы и планы становятся структурнее. Одновременно ответы разных сотрудников могут сближаться к общему шаблону.
Чтобы сохранить разнообразие, команда должна отдельно стимулировать альтернативные гипотезы, разбор причин и поиск условий отказа. Полезный рабочий процесс: сначала сотрудник формулирует собственные предположения, затем использует модель для расширения, после чего сравнивает варианты и проверяет источники.
Оценивать сотрудника только по гладкости документа становится опасно. Важнее способность защитить решение, назвать допущения, показать данные и изменить позицию при новой информации.
Связь с AGI
По мере усиления моделей спор о «самостоятельном мышлении» станет острее. Если будущая система будет выполнять большинство интеллектуальных задач лучше среднего человека, образование не сможет ограничиться передачей готовых процедур.
Навыками человека останутся постановка целей, проверка ценностей, ответственность, выбор между конфликтующими критериями и понимание последствий. Исследование не доказывает приближение AGI, но показывает ранний эффект: инструмент улучшает видимый результат быстрее, чем меняется система измерения знаний.
Вывод
Главный результат эксперимента — не победа ChatGPT и не доказательство вреда ИИ. Инструмент улучшил качество и экспертоподобность ответов, а тренировка причинного мышления расширила пространство идей. Вместе они дали наиболее широкий набор преимуществ.
Для образования это сигнал пересмотреть оценивание. Хорошо оформленный ответ больше не равен глубокому пониманию. Нужны задания, которые показывают ход мысли, альтернативы, проверку и перенос навыка. ИИ может быть частью обучения, если система оценивает не только итоговый текст, но и то, как человек пришел к решению.
Добавить комментарий