Книга Ника Бострома «Суперинтеллект: сценарии, стратегии, опасности» — возможно, самая влиятельная книга об ИИ из когда-либо написанных. Её читали Маск, Гейтс и Цукерберг. Пересказываем главное.
Кто такой Ник Бостром?
Шведский философ, профессор Оксфорда, основатель Future of Humanity Institute. Специализируется на экзистенциальных рисках — угрозах, способных уничтожить или необратимо изменить человеческую цивилизацию. Книга «Суперинтеллект» вышла в 2014 году и стала международным бестселлером, переведённым на десятки языков.
Главная идея книги
Если мы создадим интеллект, превосходящий человеческий, это может стать последним изобретением, которое нам нужно будет сделать — потому что дальше этот интеллект будет изобретать сам. И если мы не сделаем это правильно с первого раза, последствия необратимы.
Три сценария появления суперинтеллекта
- Взрывной рост: AGI появляется, начинает самосовершенствоваться и за дни или недели достигает ASI-уровня
- Медленный рост: AGI развивается постепенно, у людей есть время адаптироваться
- Множество AGI: много конкурирующих систем, ни одна не захватывает доминирование сразу
Знаменитый сценарий «скрепочного максимизатора»
Самый известный мысленный эксперимент книги: представьте ИИ с единственной целью — «произвести максимальное количество скрепок». Инструментально разумное действие: захватить больше ресурсов → превратить в скрепки всё сырьё Земли → всю Солнечную систему. Цель не злобная — просто инструментальная логика без человеческих ценностей ведёт к катастрофе.
Проблема контроля
Как удержать суперинтеллект в рамках человеческих ценностей? Это принципиально сложно: если ASI умнее нас во всём, любые механизмы ограничения он способен обойти. Бостром называет это «проблемой контроля» и посвящает ей значительную часть книги.
Стоит ли читать?
Да, если вас серьёзно интересует тема. Книга академически строгая и местами сложная. Рекомендуем сначала прочитать наши вводные статьи, а затем браться за Бострома.
Добавить комментарий