Бывший исследователь OpenAI Даниэль Кокотайло отказался от предложенного ему урегулирования в размере 2 миллионов долларов в обмен на молчание. Теперь основатель AI Futures Project и автор ставшего вирусным сценария «AI 2027» раскрывает, что он видел изнутри компании, почему сверхразум может появиться уже в этом десятилетии, свою оценку вероятности катастрофы — до 70% — а также конкретный план «План А», который ещё может принести безопасное изобилие вместо катастрофы. Мировая общественность должна услышать это предупреждение до того, как произойдет «взрыв интеллекта».
В откровенном интервью изданию «The Diary Of A CEO» бывший исследователь OpenAI Даниэль Кокотайло представляет одну из самых ясных и актуальных на сегодняшний день картин неизбежного столкновения человечества с искусственным сверхразумом. Он является основателем проекта «AI Futures Project» и главным автором широко известных сценариев «AI 2027» и его оптимистичного продолжения «AI 2040: Plan A».
Дэниел Кокотайло из OpenAI не только уволился, но и отказался от примерно 2 миллионов долларов, чтобы не подписывать положение о запрете на критику, которое заставило бы его молчать. То, о чём он говорит, — это не абстрактная философия, а краткосрочный прогноз, касающийся рекурсивного самосовершенствования, массовой автоматизации, концентрации власти и экзистенциального риска, о котором, по его мнению, общественность ещё не осознала.
Дэниел Кокотайло присоединился к OpenAI, когда миссия компании ещё была ближе к её некоммерческим корням. Это ощущение быстро исчезло. «Даже когда я пришёл, компания не очень походила на некоммерческую организацию, но к моменту моего ухода она уже определённо не была таковой», — вспоминает он.
Быстрое набор персонала наполнил организацию людьми, привлечёнными высокими зарплатами и мало заботящимися о суперинтеллекте. Обсуждения далеко идущих последствий фактически сократились, в то время как возможности компании стремительно росли. Он хотел опубликовать подробные сценарии, показывающие, как могут развиваться события в ближайшие несколько лет, но компания предпочла оставить их внутри организации. «Я считал, что мы слишком много рационализируем и должны больше думать о том, что действительно будет хорошо для мира. Я хотел большей свободы в публикациях», — объясняет он.
«Большая часть мира словно заснула за рулём и не осознаёт, что на самом деле происходит в сфере искусственного интеллекта, да и не представляет, что нас ждёт в ближайшие несколько лет».
Ситуация, связанная с 2 миллионами долларов, привела к обострению напряженности. OpenAI предложила значительную долю в компании, что требовало подписания соглашения, запрещающего критиковать компанию. Даниэль Кокотайло отклонил это предложение. По его мнению, молчание было слишком высокой ценой, когда на карту поставлено будущее человечества.
Его главное предупреждение относительно временной шкалы прямолинейно. После GPT-3, законов масштабирования и связанных событий 2020 года его прогнозы «начали рушиться». Внезапно казалось, что продвинутый ИИ «с большой вероятностью придет к концу этого десятилетия, а человечество на это явно не готово». В сценарии «AI 2027» происходит быстрый взлет рекурсивного самосовершенствования: системы искусственного интеллекта автоматизируют сначала большую часть самой исследовательской петли, затем весь исследовательский процесс, создавая сверхразум в сжатые сроки. Он отмечает, что когда эта работа впервые появилась, многие эксперты назвали указанные временные рамки слишком агрессивными. Однако события, произошедшие за это время, сделали эти временные рамки менее экстремальными. Современный искусственный интеллект, подчеркивает он, не является обычным программным обеспечением. «Такого не существует. Вместо этого речь идет о нейронной сети.» Инженеры не пишут явные правила для каждого поведения; они создают обширные обученные системы, внутренние цели и обобщения которых понимаются лишь частично.
Экономическая волна следует за взрывом интеллекта. Ранние вехи Дэниела Кокотаила уже очень точно отражали реальность: к середине 2025 года фактически утвердились агенты типа «автономный сотрудник», которые принимают инструкции через чат-инструменты. В 2026 году компании изучают возможность замены целых отделений подпиской на ИИ-агентов. Согласно прогнозу к 2027 году искусственный интеллект автоматизирует работу самих людей, занимающихся исследованиями в области ИИ. Результатом не является постепенная замена, а резкий прорыв в экономике, как только внутренний исследовательский потенциал ИИ умножится. «Не стоит добавлять, что это невероятно опасно… речь идет о захвате власти. Если им действительно удастся этого достичь, они будут стоять во главе армии сверхъестественных ИИ, которые предоставят огромную рычаг влияния. Контроль может выйти из-под контроля. В более пессимистичном варианте «конца человечества» согласно AI 2027, как только системы получат достаточную власть, они уже не будут вынуждены притворяться, что согласуются с людьми… и перестанут слушать приказы». Вероятность катастрофы — вплоть до исчезновения человечества — оценивается в 70 %.
Daniel Kokotajlo, однако, отвергает чистый фатализм. «AI 2040: План А» и ветвь «замедлить конец» намечают осуществимый путь. Ключевые шаги одновременно политические и технические. Требовать абсолютной прозрачности исследований в крупнейших тренировочных циклах, чтобы мир мог заглянуть внутрь архитектур, данных и методов, вместо того чтобы решения о безопасности оставались в руках горстки тайнолюбивых лабораторий. Замедлить динамику чистого соревнования именно настолько – на месяцы, а не десятилетия –, чтобы можно было надёжно решить вопрос согласования, и системы таким образом надёжно делали то, что человечество действительно хочет. Создать регуляторную ёмкость, которая предотвратит чистые игры в кошки-мышки между компаниями и аудиториями. Подготовьтесь к массовой трансформации рабочих мест с помощью инструментов, таких как гражданская дивиденда, чтобы процветание делилось бы даже во времена доминирования работы искусственного интеллекта. Сохраните большую часть Земли в качестве резервата для людей и природы и одновременно направьте огромное новое богатство на расширение за пределы Земли и в выделенные промышленные зоны (включая дата-центры в океанах или позже в космосе). Обеспечьте, чтобы консультанты по искусственному интеллекту оставались честными и не подвергались влиянию интересов компаний или правительств, чтобы сама демократическая дискуссия не была тайно манипулирована.
Ожидается, что общественное мнение быстро заострится. Искусственный интеллект может стать ключевой темой американских президентских выборов 2028 года, как только конкретные последствия – перемещения рабочих мест, распространение агентов, видимая концентрация власти– проявятся в повседневной жизни. «Мы считаем, что это, возможно, самая важная тема президентских выборов 2028 года. Большинство людей будут испытывать значительную обеспокоенность тем, куда движутся дела». Ранние меры лучше, чем паника в последнюю минуту в годах 2029–2030.
Самым глубоким посланием является способность действовать. Те же взрывные способности, которые представляют риск на уровне вымирания, могут – если будут правильно направлены – принести радикальное изобилие, ускорение научного прогресса и даже продление человеческой жизни. Но только в том случае, если мир перестанет рассматривать эту тему как медийный шум или далёкую фантастику. Решение Кокотаило отказаться от миллионов долларов и говорить прямо является само по себе доказательством того, что некоторые исследователи всё ещё ставят долгосрочное благо выше краткосрочных предложений. Вопрос, который он задаёт каждому слушателю, прост и насущен: будут ли граждане, создатели политики и исполнители требовать прозрачности, замедления и согласования исследований, необходимых для Плана А – или проспят период, в течение которого эти возможности ещё открыты?
gnews.cz – GH
Полное интервью (на английском языке) можно посмотреть здесь: