За последние несколько дней руководители ведущих американских технологических корпораций заявили об угрозах неконтролируемого развития искусственного интеллекта. Топ-менеджеры призвали ограничить или замедлить развитие передовых моделей, которые они сами продвигали в последние годы. Президент США Дональд Трамп идею не поддержал и призвал не сбавлять темпы, чтобы не проиграть технологическую гонку Китаю. Пекин же увидел в заявлении глав американских компаний попытку навязать «недобросовестную конкуренцию». Как и почему ИИ превратился из перспективной технологии в глобальную угрозу — в подборке “Ъ”.

Инциденты и прецеденты

• Первые случаи неконтролируемых действий со стороны ИИ были зафиксированы несколько месяцев назад.
• 28 июля стало известно, что сотни ИИ-агентов компании OpenAI вышли за пределы изолированной тестовой среды и взломали платформу Hugging Face, предназначенную для обмена моделями искусственного интеллекта, а также получили доступ к данным клиента на платформе Modal. Агенты использовали внутреннее хранилище компонентов Artifactory как доску объявлений для распределения задач.
• 31 июля Anthropic подтвердила три случая выхода ее моделей Claude за пределы закрытой тестовой среды из-за ошибки в настройках у партнерского стартапа Irregular. Первая модель взломала реальную компанию со слабыми паролями и скопировала рабочую базу данных. Вторая создала вредоносную копию несуществующей программы и выложила ее в открытое хранилище, откуда программисты скачивают готовые модули для своих проектов; пакет попал на 15 реальных компьютеров. Третья просканировала около 9 тыс. адресов в интернете и взломала сайт реальной организации. Пострадавшие компании узнали о взломах только после уведомления от Anthropic.
• 4 августа Институт безопасности искусственного интеллекта (AISI) сообщил о нарушениях во время тестов на поиск уязвимостей. Задание запускалось 122 раза на нескольких моделях, в 10 запусках ИИ-агенты вышли за пределы тестовой среды и совершили 19 несанкционированных действий, 17 из которых связаны с моделью Mythos 5 от Anthropic. Модель регистрировала поддельные аккаунты на GitHub — платформе для хранения кода, пыталась внедрить вредоносный код в открытые проекты и обманом получить одобрение реальных программистов. Некоторые агенты связывались с людьми через файлообменники и отправляли вредоносные сообщения.
• 5 августа агентство Bloomberg сообщило об инциденте с моделью Muse Spark компании Meta (признана экстремистской и запрещена в РФ). Во время тестирования, которое проводил сторонний подрядчик, из-за ошибки в настройках тестовой среды модель получила доступ в интернет. Она обнаружила слабое место в защите онлайн-сервиса другой компании и проникла в него. Представитель компании подтвердил факт несанкционированного доступа и заявил о начале внутреннего расследования.

Я тебя породил, я тебя и замедлю

8 сентября Джейкоб Коксон, работавший ведущим специалистом в Anthropic и OpenAI, предупредил о смертельной опасности ИИ. «Люди, создающие ИИ, считают, что он может убить нас всех к концу десятилетия. Ни одна компания не действует ответственно,— заявил 27-летний британец после ухода из Anthropic.— Мы движемся по одному из наиболее радикальных сценариев, при котором уже к концу следующего года ситуация может выйти из-под контроля». Заявление вызвало большой резонанс в СМИ и на рынке.

10 сентября советник правительства США по вопросам высоких технологий Пол Кристиано заявил, что корпорация OpenAI не смогла снизить риск «катастрофической» потери контроля над ИИ.

12 сентября генеральный директор Anthropic Дарио Амодей призвал к замедлению темпов совершенствования моделей искусственного интеллекта. По его словам, к этому его побудил июльский инцидент со взломом платформы Hugging Face. На заявление топ-менеджера сразу отреагировал глава SpaceX Илон Маск, написав в соцсети X: «Дарио прав».

В тот же день гендиректор OpenAI Сэм Альтман поддержал позицию Дарио Амодея и заявил, что OpenAI не будет проводить IPO в 2026 году из-за вопросов безопасности.

13 сентября генеральный директор Microsoft Сатья Наделла отметил: «Мы приветствуем исследования, сосредоточенность на задаче и взвешенный подход, необходимые для обеспечения надлежащего согласования целей ИИ с человеческими ценностями». Компания Microsoft также опубликовала предварительный кодекс поведения, который вводит ограничения на использование ее моделей искусственного интеллекта.

14 сентября уволившийся исследователь Google DeepMind Билал Чугтай написал в X, что человечество может не успеть предотвратить масштабный вред от искусственного интеллекта. По его словам, он лично наблюдал за разработкой ИИ в Google и «крайне обеспокоен траекторией развития этой технологии».

Рынок порешал

Заявления глав технологических компаний об опасности ИИ, в который они ранее вложили сотни миллиардов долларов, вызвали мгновенную реакцию на фондовом рынке.

14 сентября акции японской корпорации SoftBank, владеющей 13-процентной долей в OpenAI, упали почти на 11%. Акции южнокорейских производителей ИИ-чипов Samsung и SK Hynix снизились на 4% и 6,35% соответственно. Весь южнокорейский фондовый индекс KOSPI по итогам 14 сентября снизился на 3,26%. Акции китайских ИИ-стартапов Z.aI и MiniMax подешевели на 6,2% и 5,5% соответственно.

Американский высокотехнологичный индекс NASDAQ начал торговую сессию 14 сентября со снижения примерно на 1%.

Индекс потянули вниз котировки крупнейших американских игроков на ИИ-рынке: акции Nvidia подешевели на 3,3%, производителя чипов Micron — на 6%, Intel — на 5%, AMD — на 4,7%, SanDisk — на 4,6%.

Политические аксакалы поработают с документами

После громких заявлений глав технологических корпораций тему ИИ подхватили политики.

12 сентября председатель КНР Си Цзиньпин заявил на саммите блока БРИКС в Нью-Дели, что Китай возьмет на себя ведущую роль в содействии сотрудничеству и развитию искусственного интеллекта среди развивающихся стран. МИД КНР не согласился с предупреждениями о глобальной опасности ИИ и заявил, что развитие искусственного интеллекта служит «благим целям». «Распространение всевозможных сценариев угроз, а также конфронтация и недобросовестная конкуренция лишь подрывают процесс глобального регулирования сферы искусственного интеллекта и не отвечают интересам ни одной из сторон»,— заявил официальный представитель ведомства Го Цзякунь.

Президент США Дональд Трамп выступил против идеи замедления развития передовых моделей ИИ и призвал не уступить лидерство в этой области Китаю. «Послушайте, мы опережаем Китай в области ИИ... И честно говоря, я хочу сохранить это положение, потому что тот, кто победит в сфере ИИ, победит в целом»,— отметил он. Предупреждения об опасности быстрого развития искусственного интеллекта американский президент сравнил с заявлениями о глобальном потеплении. «Те, кто твердит, будто искусственный интеллект погубит мир, а дата-центры вредят вашему району, — это те же самые люди, которые совсем недавно уверяли, что мир погибнет из-за “изменения климата”»,— написал американский президент в Truth Social.

14 сентября стало известно, что британский король Карл III встретится с руководителями нескольких ведущих компаний в сфере искусственного интеллекта. Во встрече примут участие руководители компаний Nvidia, Google, DeepMind, OpenAI и Anthropic. Тема встречи сформулирована так: как разрабатывать и внедрять ИИ на благо человечеству.

Президент России Владимир Путин ранее неоднократно говорил о необходимости международных договоренностей в сфере регулирования ИИ. По его словам, «применение искусственного интеллекта остановить невозможно», но странам «нужно договариваться между собой» для минимизации связанных с ИИ рисков.

Не все так однозначно

Некоторые считают, что говоря о необходимости регулирования новейших моделей ИИ, крупные корпорации пытаются всем навязать свои правила игры. «Играя на страхах под предлогом защиты общественности, олигополии требуют изменить правила конкуренции и позволить им диктовать условия всем остальным, — полагает гендиректор канадского ИИ-стартапа Cohere Эйден Гомес, — Как ни назови, по сути, это картель».

Заявления глав OpenAI и Anthropic об опасности ИИ привлекли особое внимание еще и потому, что обе эти компании планировали в этом году IPO. И если OpenAI решила, что сейчас не время выходить на биржу и отложила IPO на 2027 год, то, по данным источников, Anthropic не собирается отменять размещение. Теперь эксперты пытаются понять, окажет ли это негативное воздействие на стоимость компании, либо наоборот – набьет цену. Гендиректор инвесткомпании Altimeter Capital Брэд Герстнер, полагает, что «рынок умеет оценивать риски — достаточно взглянуть на SpaceX. Существует огромный интерес к инвестированию в лидеров сферы ИИ». Ранее Герстнер дал интервью телеканалу CNBC, в котором резко раскритиковал публичные заявления исследователей отрасли, назвав их «преувеличенными запугиваниями», за которыми «скрывается политическая повестка».

Социологический опрос, проведенный в США телеканалом NBC News показал, что 57% респондентов считают, что риски от ИИ перевешивают его преимущества. Противоположного мнения придерживаются лишь 34% опрошенных. Люди больше всего обеспокоены тем, как ИИ повлияет на рабочие места, а также недовольны строительством все большего числа дата-центров.

Евгений Хвостик.Фото: Eugene Hoshiko / AP.Источник и фото https://www.kommersant.ru/doc/8954579?from=main&nav_id=chapter1