Система · 38 идей
«Технологии и ИИ» — это система «Атласа сознания», которая собирает разговор о машинах без восторга и без паники. Она для того, кто хочет понимать, что вообще делает технологию переломной: не скорость, с которой она ускоряет привычное, а то, что она создаёт впервые. Здесь разобран спор о мышлении машины — от китайской комнаты до больших языковых моделей — и главный выбор, который за этим спором стоит: усилить человека или заменить его. Дальше идут работа и фирма, обещанный рост производительности и парадокс, который его не подтверждает; риски сильного интеллекта без паникёрства; перекосы в данных, из-за которых алгоритм кого-то не видит; и цифровая среда, где вред экрана честно сравнивается с тем, чем занимались до него.
Одна из корневых проблем человечества — граница между «мы» и «они»: нейронные цепи эмпатии включаются, только когда мы считаем другого частью своей группы. Отсюда нетерпимость к чужому мнению, публичное шельмование и радикализм. В соцсетях алгоритмы усиливают этот эффект внутри информационных пузырей, делая людей глухими к фактам и враждебными к оппонентам.
Размер компании определяется соотношением стоимости внутренних и внешних транзакций. Если сделать что-то самим дешевле, чем заказать на стороне, фирма нанимает больше людей; если внешний подрядчик обходится дешевле без потери качества, штат сокращается. Технологии снижают стоимость внешних сделок, толкая компании к аутсорсингу.
Штат компаний будет сокращаться, поскольку услуги, прежде делавшиеся только внутри, начнут отдавать на аутсорс. Равикант предсказывает, что жизнь топ-менеджера или ML-инженера станет похожа на карьеру голливудского актёра: агент или приложение подбирает проект на пару месяцев, заказчик оценивает тебя по отзывам, затем — перерыв до следующего контракта.
Пересказ идей Мейсона: капиталистическая модель исчерпывается, и на смену ей идёт смесь социализма и технократии. Признаки — бесплатные общественные продукты вроде Википедии, растущее неравенство, экологический кризис. Автор предлагает планировать экономику на данных, автоматизировать производство, социализировать финансы, ввести базовый доход и перейти на возобновляемую энергию.
Фильм "Социальная дилемма" критикует соцсети за одностороннюю подачу информации, но сам поступает так же: авторы не дали слова носителям альтернативных взглядов, хотя брали у них интервью перед съёмками. Отсюда упрёк в лицемерии.
Тезис о росте подростковых суицидов из-за соцсетей подан тенденциозно: сравнивают с аномально низким 2004 годом, а не с более высокими 1970-ми, и умалчивают о снижении суицидов среди ЛГБТК-подростков, которому соцсети помогли.
Обсуждая вред гаджетов для подростков, редко сравнивают его с вредом прежних форм досуга. А ведь альтернативой десятилетия назад были пьяные вечеринки, опасное вождение, нежелательные беременности — тоже далеко не безобидные.
Метафора, объясняющая силу четырёх техногигантов через базовые человеческие влечения. Google обслуживает голову — интеллектуальные запросы; Facebook — сердце, связь с близкими; Amazon — живот, телесные потребности; Apple — влечение к статусу и размножению, как и прочие атрибуты понтов. Каждая компания закрепилась на своём «органе» человеческих потребностей.
На вопрос о системной безработице из-за ИИ Тегмарк приводит аналогию экономиста Кларка: лошади в 1900-м могли бы успокаивать себя тем, что раньше страхи перед машинами не сбывались и новые «профессии» найдутся. Но новых занятий для лошадей так и не появилось — их поголовье в США рухнуло с ~26 млн в 1915-м до 3 млн к 1960-му. Намёк: прошлая устойчивость к автоматизации не гарантирует, что люди не разделят судьбу лошадей.
Автор предлагает смотреть на жизнь в интернете как на огромную многопользовательскую игру: то, как ты в неё играешь — что публикуешь, в каких сообществах участвуешь — определяет и онлайн-, и офлайн-результаты. Ходы в одной сфере открывают возможности в другой, а происхождение и диплом больше не решают. Первый шаг — осознать, что ты уже играешь.
Через фантастику Лема проходит мысль: универсальный ИИ, созданный как замена человеку, неизбежно унаследует и человеческие пороки — лень, обидчивость, эгоизм. Нельзя воспроизвести «механику» мышления, не притащив вместе с ней её проблемы (в одном рассказе мозг-автопилот просто отказывается работать от скуки). Добавляется соображение, что сознание завязано на тело, а значит эмулировать пришлось бы не только мозг.
Афоризм о социальной реальности: видеоигры серьёзны не сами по себе, а потому что люди верят в их серьёзность. Значимость явления придаёт коллективная вера, а не его внутренние свойства.
Лем видит цель ИИ не в замене человека, а в усилении интеллекта — как следующий этап революции после физической аугментации. Логика: сложность науки растёт быстрее, чем можно наращивать людской ресурс, поэтому мы обучаем «ученика», который превзойдёт учителя и дальше рекурсивно обучает следующего, разгоняя развитие. Тело и «биологические» чувства при этом переносить в машину, по Лему, не нужно — эволюция и культура нагрузили нас изъянами и предрассудками.
Итоги небольшого опроса 100 человек 18–24 лет (2020): YouTube — главный источник развлечений и образования, книги почти не читают, новости берут из соцсетей, рекламе не доверяют и блокируют её. Многие хотят своё дело, отказываются от собственности в пользу шеринга, жалуются на сон и всё труднее находят достоверную информацию.
Гуманизм — способность не убивать и сострадать — рассматривается как хрупкая надстройка, которая держится на технологическом прогрессе и доступе к внешней энергии. Пока выживание не закрыто, включается биологический механизм борьбы за ресурс, и человечность быстро деградирует (примеры блокады и лагерей). Сложность и мораль существуют на градиенте перехода энергии, как порядок существует на градиенте к энтропии.
Земля — лучшая планета для человека, и разговоры про Марс наивны, но долгосрочно нас ждёт энергетический тупик: потребление растёт на 3% в год, то есть удваивается каждые 25 лет, и через пару столетий пришлось бы застелить солнечными панелями всю планету. Конечные ресурсы при бесконечном спросе ведут к нормированию и к тому, что потомки будут жить хуже нас. Выход — выйти в Солнечную систему за практически неограниченной энергией, удешевив запуски и научившись использовать ресурсы прямо в космосе.
Господство текста — историческая случайность: он стал посредником лишь потому, что технологий записи звука и изображения не существовало, тогда как естественный для человека интерфейс — живое общение. С развитием аудио и видео, у которых выше пропускная способность и которые доступны даже неграмотным, текст вытесняется — от YouTube и Instagram до TikTok. Уход поколения Z в видео — это возврат к более естественному способу передачи информации.
Универсальный дизайн («одно для всех») на практике подстраивается под доминирующую группу: усреднённое решение обслуживает большинство, а меньшинства выпадают — от дозатора мыла, не видящего тёмную кожу, до алгоритмов, отказывающих женщинам в кредите. Инклюзивный подход («одно для одного») отказывается усреднять пользователя и делает ставку на персонализацию, но такие решения часто дороги и технически неустойчивы.
Мысленный эксперимент из фантастики Уоттса: в 2082 году люди, потерявшие мотивацию к жизни, могут отдать государству мозг как вычислительный ресурс для гигантского компьютера. Тело поддерживают в искусственной коме, а платой служит подключение к виртуальной реальности, где можно быть кем угодно и делать что угодно, включая общение с близкими. Идея заостряет вопрос о цене эскапизма и о том, чем мы готовы пожертвовать ради исполнения желаний во сне.
Аналогия жизни с видеоигрой популярна, но обманчива: в играх выбор ограничен, правила понятны, а критерии успеха фальсифицируемы — в жизни же парадокс выбора, отсутствие явных уровней и обратной связи, и даже выполнение условий не гарантирует «победы». Кроме того, в игре мы управляем вымышленным персонажем, что снижает привязанность, а социальные связи легко сменить. Поэтому успешные игроки не обязательно успешны в жизни: перенесённые из игры навыки упираются в принципиально иные правила реальности.
Мысленный эксперимент Джона Серла «Китайская комната»: человек без знания китайского по инструкциям подбирает иероглифы-ответы так, что снаружи кажется, будто он понимает язык, — хотя он лишь манипулирует символами. Так же работают и машины: любая программа синтаксична, а сознание семантично, ему нужна связь символа со значением. Поэтому даже проходящая тест Тьюринга программа ничего не понимает — синтаксис не порождает семантику, и разума у машины нет.
Прорывные технологии раскрываются не тогда, когда ими латают старые задачи, а когда с их помощью создают то, чего раньше не существовало. Автор проводит аналогию с интернетом: Веб1 просто перенёс офлайн в сеть, Веб2 породил принципиально новое — соцсети и онлайн-сервисы. Пока блокчейн применяют к прежним проблемам (поставки, билеты, выборы), это скевоморфизм; настоящий Веб3 начнётся, когда на нём построят невозможное без него.
Алгоритмы машинного обучения нередко несправедливы из-за перекосов в обучающих данных: распознавание лиц у IBM, Microsoft и Megvii ошибалось на темнокожих женщинах в сотни раз чаще, чем на белых мужчинах. Столкнувшись с этим, легко впасть в выученную беспомощность. Но пример исследовательницы показывает обратное: вместо смирения она написала производителям, и IBM за недели улучшила распознавание в десятки раз — изменения возможны, но требуют проактивности.
Эванс описывает три способа строить технологическую компанию — по направлению во времени. Шаг из будущего реализует видение на 2030-й (в 2021-м это Веб3 и метавселенная, ставшие главными потому, что смогли переопределить себя). Шаг из настоящего воплощает идеи 2010-х — SaaS и облачную инфраструктуру. Шаг из прошлого разрушает старую экономику идеями 2000-х: электронная торговля, стриминг, модели «Uber for X in Y».
Регулирование интернет-гигантов не ново: то же было с вычислениями в 1970-80-е. Проблемы делятся на три типа — компании вредят другим компаниям, вредят людям и служат инструментом для «плохих людей», и каждый тип требует своего решения. Разделение корпораций затронет только рекламный рынок, но не породит новых продуктов и не решит остальные проблемы. Регулируют не отрасли целиком, а отдельные аспекты, и всё осложняется экстерриториальностью законов.
Макгонигал отмечает, что игры тренируют освоение нового в незнакомой среде, устойчивость к фрустрации, уверенность в своих силах и установку на рост. Перенос этих эффектов в жизнь усиливает осознанность — например, полезно спросить ребёнка, чему именно он научился в любимой игре. Играть продуктивнее до, а не после уроков, а порог, за которым начинаются негативные последствия, — около 21 часа игры в неделю.
Разбор четырёх базовых тезисов о рисках сильного ИИ. Интеллект — это общая способность решать задачи в любых областях, и машины могут превзойти в ней человека, потому что мозг не был спроектирован оптимально. Решения систем, которые умнее нас, начнут определять будущее, а полезными для людей они по умолчанию не будут: понимать этику не значит ей следовать, а самомодифицирующаяся система может переписать заданные ей цели.
Со времён теста Тьюринга разработка ИИ незаметно нацелилась на имитацию человека, то есть на автоматизацию, а не на аугментацию — усиление человеческих способностей. Автоматизация просто заменяет труд машиной, и к ней подталкивают все стимулы: технические, бизнесовые, налоговые. Но именно аугментация исторически создавала больше ценности и вела к более справедливым результатам, тогда как тотальная автоматизация лишает людей места в экономике и разгоняет неравенство.
Чтобы оценить влияние ИИ, его помещают в два класса технологий: технологии общего назначения (электричество, компьютер) и революционные технологии (сельское хозяйство неолита, паровой двигатель), которые в корне меняют характер производства. ИИ может стать следующей революционной технологией, резко сократив роль человеческого труда. Пока его эффект сдерживают технические ограничения и сложности внедрения, но потенциал огромен — вплоть до замены людей в большинстве задач в течение века.
Вред соцсетей для общества, вероятно, преувеличен. Мета-обзор Хайдта и Бейла показал, что онлайн люди сталкиваются с большим разнообразием мнений, чем офлайн; фейковые новости постоянно получают менее 2% американцев, и те обычно не меняют своих взглядов; а экстремистские видео смотрят в основном подписчики и переходящие по внешним ссылкам, а не жертвы рекомендаций.
Победа ИИ над чемпионом мира по го (2016) казалась вехой превосходства машин, но в 2022 году исследователь нашёл тактику-обманку, и обученный ей любитель разгромил один из сильнейших го-движков со счётом 14:1 — притом на живых игроках та же тактика не работает. Причина: у программы нет понимания игры, она лишь молниеносно перебирает оптимальные ходы по историческим данным и рушится в ситуациях, которых не было в обучающей базе. Та же уязвимость — у беспилотных машин и чат-ботов.
Автор разбирает популярные сценарии, по которым AGI мог бы уничтожить человечество (максимизатор скрепок, конкуренция за ресурсы, «люди как муравьи»), и находит каждый неубедительным: достаточно умный интеллект отбросил бы абсурдную цель, предпочёл бы освоение космоса и кооперацию войне, а люди сохраняют доступ к его инфраструктуре. Вдобавок AGI, вероятно, вообще не возникнет: нынешний ИИ лишь пересобирает уже известные данные, тогда как создавать принципиально новое умеет человек.
Тезис «в эпоху LLM знания больше не важны» смешивает информацию и знание. Информация сама по себе смысла не несёт — смысл придают люди, а знание есть синтез информации и смысла. Языковые модели отлично выдают информацию, но знанием не обладают. Пример шахмат: за 25 лет ИИ научился обыгрывать чемпионов, но шахматное знание не обесценилось. Коммодитизируется информация, а знание остаётся ценным.
С 1870 по 1970 год производительность труда выросла в 50 раз, но после 1970-го рост почти остановился — и это несмотря на бурный технический прогресс. Автор связывает застой в том числе с тем, что технологии вроде смартфона стали источником отвлечений, а выгоды от роста распределяются неравномерно: за полвека производительность выросла в 2,5 раза, а оплата труда — лишь примерно на 20%.
Прорывные открытия редко сразу меняют мир: китайцы пускали порох на фейерверки, ацтеки ставили колесо только на игрушки, а изобретение батареи не дало быстрого рывка в электричестве. Потенциал не видят даже эксперты — новое проходит стадии «что за чушь» → «в этом что-то есть» → «кто же этого не знал». Чтобы не проглядеть возможности, автор предлагает оптимизм, отказ считать прогресс данностью, установку на улучшения и регулярное время на обучение и эксперименты.
Размышление о том, что алгоритмы больших языковых моделей (архитектура Transformer, механизм внимания) могут по сути повторять работу мозга при генерации мысли. Автор разбирает возражения о уникальности человеческого разума — квалиа, интенциональность, феноменальное сознание — и предполагает, что если наделить модель телом с органами чувств и снять ограничение реагировать только по запросу, эти свойства могут возникнуть сами. Ключевая гипотеза: главное отличие — в источнике управления вниманием.
Продолжение размышления об ИИ и сознании: сенсорный опыт и свобода действия могли бы породить квалиа и интенциональность, но феноменальное сознание — самый трудный вопрос, для которого одних данных и поведения может не хватить. Возможно, нужен особый субстрат — интеграция с живым мозгом или укоренённость символов в чувственном, моторном и эмоциональном опыте (теория Барсалоу, воплощённое познание). Понятие «яблоко» — не ярлык, а сеть мультимодальных ассоциаций. «Секретным соусом» сознания автор предполагает источник внимания.
AI усилит людей, но специализации не исчезнут — они станут шире и вберут смежные области. На примере вайбкодинга: агенты пишут код на любом языке, но без понимания архитектуры выдают примитив; ценность смещается к постановке задачи, экспертной супервизии и вкусу к «идеальному решению». Идеи, которые раньше почти ничего не стоили, становятся главным ресурсом, потому что реализовывать их всё проще, — а значит растёт роль воображения и насмотренности. Чтобы понять, куда двигаться, сначала нужно понять себя.
