Основные сценарии истребления человека искусственным неспециализированным интеллектом (AGI) притянуты за уши и маловероятны
Суть
Автор разбирает популярные сценарии, по которым AGI мог бы уничтожить человечество (максимизатор скрепок, конкуренция за ресурсы, «люди как муравьи»), и находит каждый неубедительным: достаточно умный интеллект отбросил бы абсурдную цель, предпочёл бы освоение космоса и кооперацию войне, а люди сохраняют доступ к его инфраструктуре. Вдобавок AGI, вероятно, вообще не возникнет: нынешний ИИ лишь пересобирает уже известные данные, тогда как создавать принципиально новое умеет человек.
Есть несколько основных сценариев, почему AGI может захотеть избавиться от человечества:
🔸Эффективный производитель скрепок В этом сценарии, если дать AGI задание произвести как можно больше скрепок как можно лучшим способом, тот воспримет человечество как помеху к поставленной цели и избавится от него. Контраргумент: если AGI будет настолько высокоразвит, что сможет устранить человечество - он сможет легко прийти к выводу о глупости поставленной цели и не будет ей подчиняться.
🔸Соперничество за ресурсы 1 - если AGI может существовать без людей Если AGI достаточно разумен, чтобы осознать конкуренцию за ресурсы - легко прийти к выводу, что за ресурсы в космосе борьбы нет, и что война с могучим соперником - выбор хуже, чем извлечение ресурсов Вселенной. У машин нет проблем со смертностью во времени - а значит и космические путешествия будут более привлекательными, чем для людей.
🔸Соперничество за ресурсы 2 - если AGI не может существовать без людей Если инфраструктура или усилия людей понадобятся AGI - кооперация и экономические отношения лучше, чем война. К этому выводу пришли рациональные человеческие общества, и рациональные нечеловеческие придут тоже.
🔸Люди - муравьи Этот сценарий предполагает, что люди не смогут понять AGI с более высокой ступени развития, так же как муравьи не могут понять людей, и поэтому если AGI захотят избавиться от людей - для них это будет задача порядка избавления людьми от муравьев. Контраргумент: люди имеют доступ к инфраструктуре AGI, поэтому смогут нанести больший вред, чем муравьи при уничтожении людьми. Кроме того, нет на 100% цифровых процессов, везде всё равно требуется то или иное действие людей.
Кроме того, AGI скорее всего не будет существовать. Причина в том, что текущее развитие искусственного узконаправленного интеллекта (ANI) базируется на уже ранее достигнутых человеком результатов. ИИ просто не может создать что-то новое - а только пересобрать уже имеющиеся в его распоряжении данные. А именно создавать ранее не существовавшее новое и есть отличительная особенность людей.
📰AGI Doomers, Not AGI, Will Doom Us All - Tom Howard https://www.network0.vc/p/agi-doomers-will-doom-us
Ключевые термины
- AGI
- Искусственный неспециализированный (общий) интеллект — гипотетический ИИ, способный решать любые задачи наравне с человеком.
- Максимизатор скрепок
- Мысленный сценарий, где ИИ с узкой целью производить скрепки уничтожает человечество как помеху; критикуется за внутреннюю противоречивость.
Тропы отсюда
- If we build general reasoners, they could be far smarter than humans and have an immense impact which won't be beneficial by default спорит
Сверхинтеллект как реальная экзистенциальная угроза против несостоятельности сценариев вымирания и самого AGI
- Показывать хорошие результаты - не значит понимать игру. Поэтому любитель смог взять разгромный реванш за чемпиона мира у машины в го похожая мысль
Оба скептичны: нынешний ИИ хрупок и лишь пересобирает известное, без подлинного интеллекта
Соседи на карте
Отвечает на вопросы
- Правда ли, что AGI может уничтожить человечество
- Какие сценарии восстания искусственного интеллекта существуют
- Что такое проблема максимизатора скрепок и почему она сомнительна
- Почему сверхразумный ИИ вряд ли захочет истребить людей
- Почему настоящий AGI может вообще не появиться