Рекурсивное самоулучшение ИИ: как AGI может стать суперинтеллектом за недели

Один из ключевых сценариев перехода от AGI к суперинтеллекту — рекурсивное самоулучшение. Разбираем механику и почему это пугает исследователей.

Что такое рекурсивное самоулучшение?

AGI, достаточно умный для того, чтобы улучшать собственные алгоритмы, обучает более умную версию себя. Эта версия ещё умнее улучшает следующую. Процесс ускоряется экспоненциально — «интеллектуальный взрыв».

Почему это может быть быстро?

Человек улучшает ИИ медленно: нужны годы исследований, эксперименты, конференции. ИИ может проводить миллионы экспериментов в секунду. Если AGI достигнет порога, за которым он умнее лучших ИИ-исследователей — темп станет недоступным человеческому пониманию.

Реалистично ли это?

Спорно. Аргументы «за»: мы уже видим ИИ, помогающий писать ИИ-код (AlphaCode, Copilot). Аргументы «против»: улучшение алгоритмов — не механическая задача, нужны реальные научные инсайты. Большинство исследователей считают взрывной сценарий возможным, но не неизбежным.

Как это связано с проблемой безопасности?

Если рекурсивное самоулучшение реально, у нас может не быть времени на корректировку курса после запуска AGI. Именно поэтому Anthropic, MIRI и другие организации работают над alignment до, а не после создания AGI.