По убеждению некоторых футурологов, развитие искусственного интеллекта может привести к уничтожению всего человечества. Так, в книге Ника Бострома (профессора Оксфордского университета) «Сверхразум» конец света описывается в нескольких сценариях. Один из них заключается в покрытии искусственным интеллектом всей поверхности Земли различными конструкциями в виде ядерных реакторов, солнечных батарей, башен охлаждения, сверхмощных серверных корпусов. После такой модификации земли исчезнет биосфера и всё человечество. По мнению профессора, люди, создающие искусственный интеллект, похожи на детей, которые играют с бомбой.
Однако некоторыми мыслителями были выдвинуты аргументы, на основании которых эти прогнозы профессора выглядят сомнительно. Оптимисты уверены в том, что технические ограничения и простая логика свидетельствуют о невозможности происхождения апокалипсиса, описанного в книге профессора.
По мнению Рамеза Наам (писателя-фантаста), человечество не может быть уничтожено даже самым мощным искусственным интеллектом, поскольку ему для этого потребуется время и ресурсы в огромном количестве. Поэтому достичь своих целей сверхразум сможет путём интеграции в развитие национальных экономик. Например, создание искусственным интеллектом современных микропроцессоров не может быть ограничено их разработкой, поскольку для изготовления чипов потребуется наличие производственных цехов. Наам считает, что сверхразум не сможет справиться с решением этих проблем.
В пользу использования ИИ выдвигаются и другие аргументы, в соответствии с которыми конфликт с человечеством либо уничтожение его, а также другие действия не могут быть выполнены машиной из-за отсутствия у неё чувств. По мнению Майкла Короста (писателя), любое независимое действие может быть выполнено только по желанию.
В случае появления у ИИ первого желания ему станет известно о поощрениях и наказаниях. В перечне наказаний обязательно будут санкции, применяемые человеком при неправильном по отношении к нему поведении. Искусственный интеллект, развивающийся в мире людей, сможет отличать правильные действия от неправильных, руководствуясь моралью. Даже при реальной возможности закрыть солнечными батареями всю поверхность земли, ИИ откажется от этого, поскольку признает эту затею аморальной.