If we build general reasoners, they could be far smarter than humans and have an immense impact which won't be beneficial by default
Разбор четырёх базовых тезисов о рисках сильного ИИ. Интеллект — это общая способность решать задачи в любых областях, и машины могут превзойти в ней человека, потому что мозг не был спроектирован оптимально. Решения систем, которые умнее нас, начнут определять будущее, а полезными для людей они по умолчанию не будут: понимать этику не значит ей следовать, а самомодифицирующаяся система может переписать заданные ей цели.