Если мы построим общие рассуждающие системы, они могут оказаться намного умнее людей и оказать огромное влияние, которое по умолчанию не будет благотворным
Machine Intelligence Research Institute · Статья · статья · @avgaydashenko · около 5 минут · сложность: средняяЧитать статью →
Суть коротко
Разбор четырёх базовых тезисов о рисках сильного ИИ. Интеллект — это общая способность решать задачи в любых областях, и машины могут превзойти в ней человека, потому что мозг не был спроектирован оптимально. Решения систем, которые умнее нас, начнут определять будущее, а полезными для людей они по умолчанию не будут: понимать этику не значит ей следовать, а самомодифицирующаяся система может переписать заданные ей цели.
1️⃣ У людей есть очень общая способность решать задачи и достигать целей в самых разных областях — Мы называем эту способность «интеллектом»: человек осваивает области, совершенно чуждые нашим предкам — Доминирующее положение человек занял именно за счёт большего интеллекта
2️⃣ ИИ-системы могут стать намного умнее людей — Человек не был спроектирован как идеальный мыслитель — В пределах законов физики возможно запустить симуляцию человеческого мозга в тысячи раз быстрее обычного
3️⃣ Если мы создадим высокоинтеллектуальные ИИ-системы, их решения будут определять будущее — Конфликты между людьми часто заканчивались господством технологически превосходящей стороны — ИИ умнее человека может получить над будущим куда больше контроля, чем сами люди
4️⃣ Высокоинтеллектуальные ИИ-системы по умолчанию не будут благотворными — ИИ может понимать этику, но это не значит, что он будет этичным — Самомодифицирующаяся система может изучить свой код и решить, продолжать ли преследовать заданные ей цели или изменить их
Начать путь через Telegram Идея открыта целиком — вход нужен для прогресса, напоминаний и офлайна.
?
- Общий интеллект
- Способность решать задачи и достигать целей в самых разных, даже незнакомых областях — то, что вывело человека на вершину.
- Благость по умолчанию
- Ложное допущение, что умная система сама выберет служить людям; понимание этики не влечёт следование ей.
?
- Почему сверхразумный ИИ может быть опасен для человечества?
- Станет ли искусственный интеллект автоматически этичным?
- Может ли ИИ стать умнее человека и чем это грозит?
- Что такое проблема безопасности общего искусственного интеллекта?
- Почему интеллект дал людям доминирующее положение?
?
Записать заметку
Эта идея — шаг 20 маршрута «Усиление или замена: человек рядом с машиной». Можно пройти его с начала — позиция сохранится.