If we build general reasoners, they could be far smarter than humans and have an immense impact which won't be beneficial by default
Суть
Разбор четырёх базовых тезисов о рисках сильного ИИ. Интеллект — это общая способность решать задачи в любых областях, и машины могут превзойти в ней человека, потому что мозг не был спроектирован оптимально. Решения систем, которые умнее нас, начнут определять будущее, а полезными для людей они по умолчанию не будут: понимать этику не значит ей следовать, а самомодифицирующаяся система может переписать заданные ей цели.
1️⃣ Humans have a very general ability to solve problems and achieve goals across diverse domains
- We call this ability “intelligence”: humans can gain mastery in domains that are utterly foreign to our ancestors
- Humans have achieved a dominant position by being more intelligent
2️⃣ AI systems could become much more intelligent than humans
- Humans were not perfectly designed reasoners
- Within the boundaries of physics it’s possible to run a computer simulation of a human brain at thousands of times the normal
3️⃣ If we create highly intelligent AI systems, their decisions will shape the future
- Conflicts between humans have often ended with the technologically superior group dominating its rival
- Smarter-than-human AI systems could wind up with significantly more control over the future than humans have
4️⃣ Highly intelligent AI systems won’t be beneficial by default
- AI may be able to understand ethics, but doesn’t mean it will be ethical
- Self-modifying AI system could inspect its code and decide whether to continue pursuing the goals it was given or whether it would rather change them
📰Four Background Claims - Machine Intelligence Research Institute https://intelligence.org/2015/07/24/four-background-claims/
Ключевые термины
- Общий интеллект
- Способность решать задачи и достигать целей в самых разных, даже незнакомых областях — то, что вывело человека на вершину.
- Благость по умолчанию
- Ложное допущение, что умная система сама выберет служить людям; понимание этики не влечёт следование ей.
Тропы отсюда
- Основные сценарии истребления человека искусственным неспециализированным интеллектом (AGI) притянуты за уши и маловероятны спорит
Сверхинтеллект как реальная экзистенциальная угроза против несостоятельности сценариев вымирания и самого AGI
Соседи на карте
Отвечает на вопросы
- Почему сверхразумный ИИ может быть опасен для человечества?
- Станет ли искусственный интеллект автоматически этичным?
- Может ли ИИ стать умнее человека и чем это грозит?
- Что такое проблема безопасности общего искусственного интеллекта?
- Почему интеллект дал людям доминирующее положение?