Когнитивная капитуляция: как ИИ отучает нас думать

Когнитивная капитуляция: как ИИ отучает нас думать

Откройте любую соцсеть, и вы увидите посты, которые подозрительно похожи друг на друга. Комментарии к ним тоже всё чаще пишет ИИ, как и растущая доля академических статей, колонок в крупных газетах и даже литературных рассказов, получающих премии. Этан Моллик, профессор Wharton и автор рассылки One Useful Thing, придумал для таких текстов точное определение: «вампиры внимания в форме смысла». Они выглядят как содержательная проза, заставляют нас тратить умственные усилия на чтение, но не дают взамен никакого понимания. В новом эссе «Choosing to Stay Human» Моллик разбирает проблему глубже: дело не только в том, что читать машинные тексты скучно. Дело в том, что сам писатель, отдавший работу модели, перестаёт развивать навык, который строился десятилетиями.

Что такое когнитивная капитуляция

Когнитивная капитуляция (cognitive surrender): так коллеги Моллика по Wharton называют ситуацию, когда человек перестаёт думать над задачей и просто принимает ответ ИИ, даже если тот неверен. Это не лень в бытовом смысле, а системный эффект: инструмент спроектирован так, чтобы убрать все усилия, и человеческая природа охотно этому подчиняется. Моллик приводит три исследования, которые вместе рисуют неожиданно чёткую картину: одна и та же технология может как разрушать обучение, так и многократно его ускорять, и результат зависит не от модели, а от того, как именно её используют.

Два эксперимента, два противоположных результата

Самая наглядная иллюстрация приходит из образования, где две работы частично одной и той же исследовательской команды показали зеркальные итоги.

Первый эксперимент прошёл в турецкой школе: около тысячи учеников изучали математику, одна группа с доступом к обычному ChatGPT, другая без ИИ. Школьники с чат-ботом лучше справлялись с домашними заданиями и были уверены, что учатся эффективнее. Но на контрольной они показали результаты хуже одноклассников, которые решали задачи сами. Причина проста: ассистент, созданный быть полезным, просто выдавал готовые ответы. Обучение требует умственного усилия, а усилие было убрано из процесса. Короткое замыкание усилия даёт короткое замыкание обучения.

Вторая работа разворачивается на противоположном полюсе. Пятимесячный курс Python в десяти школах Тайбэя, снова около тысячи учеников, но теперь ИИ работал как тьютор: не решал задачи, а подбирал каждому ученику персональную последовательность упражнений. На итоговом экзамене, который сдавали уже без всякого ИИ, эта группа набрала на 0.15 стандартного отклонения больше контрольной. По некоторым оценкам, это эквивалент шести-девяти месяцам дополнительного обучения, полученным без единого лишнего часа занятий и без дополнительной нагрузки на учителей. Это согласуется с другими работами об ИИ-тьюторах: персонализация при правильном применении заметно усиливает обучение.

Разница между провалом и приростом в полгода учёбы свелась к одному: решал ли ИИ задачи за ученика или подталкивал ученика решать их самостоятельно.

Почему мы сами выбираем худший вариант

Проблема в том, что человеческая природа толкает нас к неправильному выбору. Учиться означает регулярно сталкиваться с собственным незнанием и делать тяжёлую интеллектуальную работу, а это искренне неприятно. Студенты стабильно оценивают занимательные лекции как более полезные, чем решение сложных задач на семинаре, хотя объективно учатся больше именно на тяжёлой работе. Когда рядом инструмент, который снимает дискомфорт одним запросом, устоять трудно.

Инструменты для «правильного» использования, кстати, уже существуют у всех трёх крупных вендоров, но спрятаны неочевидно. В Gemini нужно нажать плюс и выбрать режим Guided Learning. В ChatGPT режим обучения включается командой «/learn» в строке ввода. В Claude нужно нажать плюс, выбрать стиль и переключиться на learning (Anthropic объявила, что схема меняется, но документации пока нет). Для точных наук Моллик советует обязательно брать thinking-версии моделей. При этом он честно оговаривается: эти режимы помогают тому, кто хочет учиться, но не остановят того, кто хочет списать.

Консультанты, которые поверили неправильному ответу

Эффект капитуляции не ограничивается школой. В уже ставшем классическим эксперименте, который Моллик провёл с Фабрицио Делл'Аква и коллегами из Harvard, MIT, Университета Уорика и BCG, участвовали 758 консультантов Boston Consulting Group. Половина получила доступ к GPT-4 и на большинстве задач заметно обошла коллег без ИИ. Но исследователи подложили задачу, которую модель заведомо решала неправильно. Консультанты с ИИ дали верный ответ значительно реже тех, кто работал сам. Модель выдала уверенно выглядящий, но неверный результат, и элитные специалисты, превосходившие всех на остальных заданиях, в массе своей его не проверили.

Моллик подчёркивает важный нюанс: сегодняшние модели ту конкретную задачу уже решают. Проблема сместилась с частоты ошибок на другой уровень: человек, который регулярно отдаёт работу модели без разбора, не учится быть хорошим консультантом. Ошибки ИИ лечатся следующей версией модели, а недополученный опыт специалиста нет.

Похожую картину показало небольшое исследование Anthropic с программистами. Те, кто просто поручил ИИ выполнить новую для себя задачу, потом не могли ответить на вопросы о том, что именно было сделано. Те, кто просил модель объяснять свои действия или использовал её только для части работы, этой ловушки избежали. Разница снова не в инструменте, а в позиции пользователя.

Почему письмо страдает первым

Моллик пишет десятилетиями и отмечает, что его стиль, узнаваемый и в книге, и в твите, и в посте, дался дорогой ценой: хорошие учителя, бесконечные переписывания, злые комментарии в интернете. Если бы ИИ с самого начала писал за него «достаточно хорошо», всю эту работу можно было бы пропустить, но вместе с ней исчезло бы то, что стало основой его карьеры. При этом он не предлагает отказаться от помощи моделей: сам он прогоняет через ИИ каждый свой текст и просит модель сыграть роль разных читателей, чтобы проверить, не упустил ли чего-то важного. Для людей, которым трудно формулировать мысли, ассистент вообще может стать способом быть услышанным.

Отдельно Моллик проходится по художественным текстам. ChatGPT обожает пустозвучные сравнения вроде «улица была похожа на улыбку с выбитыми зубами» или «он сидел так, что деревья позавидовали бы». На первый взгляд это выглядит глубокомысленно, но только потому, что мы привыкли считать сложную прозу осмысленной и изо всех сил додумываем за автора смысл. Люди вообще мастера приписывать значение бессмысленному материалу, если постараться. Именно поэтому «вампиры внимания» так эффективны: они эксплуатируют нашу готовность искать в тексте человеческое усилие, которого там не было.

Агенты делают проблему острее

Когда ИИ требовал длинных диалогов и часто ошибался, человек был вынужден участвовать в каждом шаге. Агентные системы спроектированы иначе: они просто делают дело от начала до конца. Для продуктивности это подарок, а для обучения, аутентичности и сохранения мышления это угроза. Получил на сложный запрос готовый ответ, и рука так и тянется принять его без проверки.

Могут ли помочь сами инструменты? Моллик скептичен. Версия ChatGPT, которая перед каждым ответом спрашивает «хотите, я подтолкну вас подумать самостоятельно, или просто выдам результат?», была бы невыносимой. Хотя в некоторых местах такие напоминания необходимы. Тайбэйский результат намекает на верное направление: системные ограничения работают лучше, чем сила воли отдельного пользователя. Но в потребительских продуктах таких ограничений почти нет, и коммерческое давление толкает в противоположную сторону, к максимально бесшовному использованию.

Что отдавать, а что оставить себе

Моллик не призывает к луддизму и честно перечисляет, с чем сам расстался без сожалений. Он не помнит телефонные номера, потому что их хранит телефон. Рад, что его дети не учили прописи. Спокойно отдал калькулятору бытовую арифметику, а компьютеру планирование расписания. Эти навыки когда-то были полезны, но отказ от них оказался верным решением.

С ИИ всё сложнее именно из-за его общности. Калькулятор забирал одну конкретную операцию, а языковая модель может частично взять на себя практически любую когнитивную задачу. Нет никакого закона природы, по которому вычурный черновик письма обязан выходить из человеческой головы, точно так же, как и столбец арифметики. Проблема в другом: мы пока не знаем ни для одной конкретной задачи, что именно важно оставить себе, а что безопасно отдать. И этот выбор придётся делать всерьёз.

Что это значит для работы и найма

Из этих исследований следует неудобный вывод для работодателей. Если джуниор решает задачи через агента, его метрики в первые месяцы выглядят отлично, а вот фундамент под ними не формируется. Эксперимент BCG показал, что даже опытные специалисты склонны принимать правдоподобный неверный ответ модели; для новичка, у которого нет собственной базы для проверки, такой ответ становится единственной реальностью. Компании, которые сейчас определяют, что считать «хорошим применением ИИ», фактически решают, вырастет ли у них следующее поколение сильных специалистов или поколение операторов подсказок. Практический ориентир здесь простой: ценность сотрудника всё больше смещается от умения получить ответ к умению его проверить, а проверка невозможна без собственной экспертизы, которую нужно где-то нарабатывать.

Дефолты устанавливаются прямо сейчас

Самое тревожное в эссе Моллика это наблюдение о времени. Настройки по умолчанию для работы с ИИ формируются именно сейчас: компании проектируют продукты на бесшовное использование, работодатели решают, что считать «хорошим применением ИИ», преподаватели определяют, что входит в постоянно меняющееся понятие AI-грамотности. Ирония в том, что всё это происходит без сколько-нибудь серьёзного планирования. И если поколение работников и студентов выстроит привычки вокруг этих дефолтов, развернуть их назад будет очень трудно.

Отсюда и главный тезис: задача не в том, чтобы избегать ИИ, а в том, чтобы быть намеренным. Осознанный выбор вместо рефлекторной зависимости или рефлекторного отказа. Стоит постоянно спрашивать себя, что мы передаём машине, а что оставляем себе, и не ждать, что кто-то, включая сам ИИ, ответит на этот вопрос за нас.

Часто задаваемые вопросы

ИИ вреден для обучения?

Нет, вреден конкретный способ использования. В турецком эксперименте ChatGPT, выдававший готовые ответы, ухудшил экзаменационные результаты. В Тайбэе ИИ-тьютор, подбиравший персональные задачи, дал прирост в 0.15 стандартного отклонения, что эквивалентно шести-девяти месяцам дополнительной учёбы.

Как пользоваться ИИ, чтобы не разучиться думать?

Просите модель объяснять решения, а не только выдавать их, отдавайте ей часть работы вместо целой задачи и используйте учебные режимы: Guided Learning в Gemini, команду /learn в ChatGPT или стиль learning в Claude. Исследование Anthropic показало, что такие пользователи сохраняют понимание сделанного.

Что такое когнитивная капитуляция?

Это состояние, когда человек перестаёт думать над задачей и без проверки принимает ответ ИИ, даже ошибочный. В эксперименте с 758 консультантами BCG те, кто пользовался GPT-4, реже других находили правильное решение задачи, на которой модель заведомо ошибалась: авторитетно выглядящий неверный ответ принимали на веру.

Итог

Когнитивная капитуляция не приговор, а выбор, который мы делаем десятки раз в день, чаще всего не замечая этого. Одна и та же модель в одних руках съедает навык, в других добавляет полгода обучения за пять месяцев курса. Практический шаг на сегодня простой: возьмите одну задачу, которую вы привыкли целиком отдавать ИИ, и попробуйте вместо этого попросить модель объяснить, как бы она её решила, а финальную часть сделайте сами. Разница в понимании удивит.

← Все записи