Отупение - пожалуй, это один из самых недооцененных рисков ИИ-трансформации.
Все обсуждают, как искусственный интеллект ускорит науку, разработку, образование и экономику.
Но почти никто не обсуждает обратную сторону:
ИИ способен резко увеличить интеллектуальную производительность общества и одновременно сделать людей глупее.
И самое неприятное — эти процессы прекрасно совместимы.
Общество может выглядеть все умнее, производить все больше сложного интеллектуального продукта и при этом постепенно терять способность создавать этот продукт самостоятельно.
Интеллект формируется не правильными ответами
Человек становится умнее не потому, что потребляет хорошие объяснения.
Интеллект формируется в процессе самостоятельного преодоления сложности.
Чтобы решить нетривиальную задачу, приходится понять условия, вспомнить знания, удержать множество ограничений, декомпозировать проблему, построить гипотезы, ошибиться, обнаружить противоречие, вернуться назад и пересобрать собственную модель происходящего.
Правильный ответ — лишь конечный продукт.
Главное происходит внутри человека по дороге к этому ответу.
Именно поэтому списывание разрушает обучение.
Проблема не в том, что ученик получил пятерку нечестно.
Проблема в том, что он получил результат, не выполнив работу, которая должна была изменить его мозг.
ИИ — это шпаргалка, способная списать не только ответ, но и практически весь мыслительный процесс.
Впервые можно пользоваться интеллектом, не приобретая интеллект
Интернет вынес наружу память.
Теперь необязательно помнить факт — достаточно знать, где его найти.
LLM идут гораздо дальше.
поиск, анализ, декомпозицию, сравнение, аргументацию, синтез, планирование и значительную часть причинного мышления.
Это принципиально новая ситуация.
Человечество впервые получило возможность пользоваться интеллектом, практически не приобретая интеллект.
Ты задаешь сложный вопрос.
Получаешь прекрасный ответ.
Читаешь его.
Все понятно.
Именно здесь возникает ловушка.
Понимать чужое рассуждение и уметь построить его самостоятельно — не одно и то же.
Любой студент знает этот эффект.
Пока смотришь на чужое решение задачи — все очевидно.
Закрыл тетрадь — и внезапно выясняется, что ты ничего не умеешь.
Теперь эта тетрадь стала бесконечной.
И лежит в кармане у каждого человека.
ИИ делает усилие необязательным
Сложное мышление медленное, дорогое и неприятное.
Оно требует часами удерживать проблему, не имея ответа.
Терпеть неопределенность.
Ошибаться.
Возвращаться назад.
ИИ предлагает мгновенный выход.
Или, что значительно опаснее, убедительную имитацию выхода.
Если человек привыкает к этому с детства, возникает риск интеллектуальной непереносимости усилия.
Зачем десять часов ломать голову над проблемой, если ответ появляется через двадцать секунд?
Зачем читать три книги, если можно попросить пересказать?
Зачем самостоятельно искать ошибку в программе, если модель найдет ее быстрее?
Зачем строить аргументацию, если ее можно заказать?
В каждом отдельном случае использование ИИ рационально.
В совокупности миллиарды таких рациональных решений могут дать совершенно иррациональный результат:
общество перестанет тренировать собственное мышление.
Кто тогда станет экспертом?
Эксперт не возникает из диплома.
Эксперт — это тысячи решенных задач.
Тысячи ошибок.
Тысячи случаев, когда реальность отказалась работать так, как написано в учебнике.
Именно поэтому старший инженер видит проблему, которую молодой инженер даже не замечает.
Поэтому опытный врач чувствует опасность по слабым признакам.
Поэтому хороший программист иногда находит источник ошибки почти интуитивно.
Но эта «интуиция» оплачена годами практики.
И здесь появляется простой вопрос:
если младшие специалисты перестанут делать работу, на которой формируется экспертиза, откуда через двадцать лет возьмутся старшие специалисты?
Сегодняшний эксперт прекрасно работает с ИИ.
Он знает предмет.
Он видит ошибку модели.
Он понимает, когда ответ подозрителен.
Но сегодняшний эксперт стареет.
Его должен заменить человек, который сегодня только учится.
А если значительную часть его профессионального пути пройдет машина, следующего поколения экспертов может просто не оказаться в прежнем количестве.
Парадокс верификатора
И здесь начинается действительно опасная часть.
Все говорят:
«Ничего страшного. ИИ будет работать, а человек будет его проверять».
Прекрасно.
Только чтобы проверить ИИ, надо самому понимать предмет.
Для контроля искусственного интеллекта требуется человеческая компетентность, которую массовое использование искусственного интеллекта может постепенно уничтожать.
Первое поколение умеет решать задачи самостоятельно и прекрасно проверяет машину.
Второе уже значительно чаще решает вместе с машиной.
Третье практически никогда не выполняло многие задачи полностью самостоятельно.
Но именно третьему поколению придется контролировать значительно более мощные системы ИИ.
Человек формально останется «в контуре».
А реально его роль может свестись к нажатию:
«Одобрить».
Потому что если собственной модели предмета в голове нет, проверка превращается в ритуал.
Мы берем интеллект в кредит
Я бы назвал это когнитивным долгом.
Мы занимаем компетентность у машины сегодня.
А платить придется завтра.
ИИ экономит время текущего сотрудника.
Но если вместе с временем исчезает практика, необходимая для формирования специалиста, мы фактически обмениваем будущую компетентность на сегодняшнюю производительность.
Компания выигрывает.
Сотрудник выигрывает.
Студент выигрывает.
Экономика выигрывает.
Сегодня.
А счет приходит через десять или двадцать лет.
И никто не видит его в квартальном отчете.
Самое страшное — деградация будет выглядеть как прогресс
Это ключевой парадокс.
Способности отдельного человека могут снижаться.
А способности системы
«человек + ИИ»
будут расти.
Программист пишет больше кода.
Аналитик выпускает больше отчетов.
Студент пишет великолепные тексты.
Менеджер производит прекрасные презентации.
Инженер быстрее делает расчеты.
По всем внешним показателям человечество становится умнее.
Но это может быть иллюзией.
Мы измеряем количество произведенного интеллектуального продукта.
А надо было бы измерять способность человека произвести его без внешнего интеллектуального протеза.
И эти показатели способны двигаться в противоположных направлениях.
Производительность будет скрывать деградацию компетентности.
Причем скрывать ее чрезвычайно долго.
ИИ сам по себе не враг
Самое важное: проблема не в существовании ИИ.
ИИ способен стать лучшим преподавателем в истории.
Он может не выдавать ответ, а задавать вопросы.
Заставлять человека объяснять собственную логику.
Искать слабые места аргументации.
Создавать задачи.
Спорить.
Предлагать альтернативные гипотезы.
То есть работать не вместо мозга, а как тренажер для мозга.
Поэтому формула
«ИИ делает людей тупыми»
слишком примитивна.
Правильнее сказать иначе:
ИИ сделал мышление необязательным.
И теперь человечеству придется каким-то образом убедить человека выполнять тяжелую интеллектуальную работу, когда рядом постоянно доступна почти бесплатная ее замена.
Вот только вся экономика толкает нас в противоположную сторону.
Бизнесу нужен результат быстрее.
Студенту нужно быстрее сдать работу.
Сотруднику нужно быстрее закрыть задачу.
Государству нужны красивые показатели.
Никто не получает счет за компетентность, которая не сформируется через пятнадцать лет.
И вот здесь возникает настоящий риск
Я не особенно боюсь сценария, в котором искусственный интеллект внезапно восстанет против человечества.
Меня куда больше беспокоит значительно более скучный сценарий.
ИИ будет прекрасно работать.
Экономика будет расти.
Производительность будет увеличиваться.
Системы будут становиться все сложнее.
А человек постепенно перестанет учиться делать то, что теперь умеет машина.
И однажды мы можем обнаружить, что живем внутри невероятно интеллектуально мощной цивилизации, которую почти никто из живущих людей уже не способен понять целиком.
А дальше возникает очень простой вопрос:
кто контролирует систему, если контролирующий больше не способен самостоятельно понять результат ее работы?
В этот момент проблема перестает быть образовательной.
Это уже проблема управления цивилизацией.
Главная опасность ИИ не в том, что машина научится думать как человек.
Главная опасность в том, что человек перестанет учиться делать то, что теперь умеет машина.
И тогда произойдет, пожалуй, самый странный технологический переход в истории:
человечество сохранит интеллект как сервис, постепенно утратив интеллект как собственное свойство.