По-видимому, роботы являются главными героями такого большого количества художественных произведений о завоевании мира в основном из-за того, что они воплощают в себе неизвестное, точно так же, как ведьмы и приведения в сказках, которыми пугали людей в более ранние эпохи. Но действительно ли роботы создают более реальную угрозу, чем ведьмы и приведения? Если роботы правильно спроектированы как агенты, которые соблюдают интересы своего владельца, то они не создают таких угроз: роботы, развивающиеся на основе постоянного усовершенствования текущих проектов, будут служить своим хозяевам, а не бороться против них. Люди иногда используют свой интеллект в агрессивных формах, поскольку они обладают некоторыми врожденными агрессивными тенденциями, обусловленными естественным отбором. Но машины, созданные людьми, не нуждаются в чертах врожденной агрессивности, если только сами люди не решат, что они должны быть таковыми. С другой стороны, возможно, что компьютеры добьются своего рода победы над людьми, успешно служа и становясь незаменимыми, так же как и автомобили, которые в определенном смысле завоевали промышленно развитый мир. Рассмотрим один сценарий, заслуживающий дополнительного анализа. И. Дж. Гуд [576] писал в одном из своих произведений следующее.

Дадим определение сверхинтеллектуальной машине как способной намного превзойти во всех областях мыслительной деятельности любого человека, каким бы умным он не был. А поскольку проектирование машин является одним из таких направлений мыслительной деятельности, то сверхинтеллектуальная машина сможет проектировать еще более интеллектуальные машины; это, безусловно, приведет к "взрыву интеллектуальности" и интеллект человека останется далеко позади. Таким образом, первое изобретение сверхинтеллектуальной машины станет последним изобретением, которое когда-либо сможет сделать человек, и то, если только машина будет достаточно любезна, чтобы сообщить человеку, как держать ее под контролем.

Этому "взрыву интеллектуальности" профессор математики и автор научно-фантастических произведений Вернор Виндж присвоил другое название — технологическое превосходство; он писал: "В течение тридцати лет люди получат технологические средства для создания сверхчеловеческого интеллекта. Вскоре после этого эра людей закончится" [1542]. Гуд и Виндж (и многие другие) правильно отмечают, что в настоящее время кривая технологического прогресса растет экспоненциально (достаточно вспомнить закон Мура). Однако прогноз, что эта кривая будет и дальше подниматься вверх, следуя законам почти бесконечного роста, был бы слишком смелым. До сих пор любая технология развивалась по S-образной кривой, согласно которой экспоненциальный рост в конечном итоге сходит на нет.