Глава Anthropic призвал ужесточить надзор за ИИ-моделями

США необходимо ужесточить подход к регулированию искусственного интеллекта и перейти от режима раскрытия информации к обязательным проверкам безопасности наиболее мощных ИИ-моделей. Такое предложение сделал CEO Anthropic Дарио Амодеи в своем эссе.

По его словам, пришло время перейти от прозрачности к более серьезному и обязательному регулированию ИИ. Вместе с эссе Anthropic представила два документа: Advanced AI Framework о надзоре за фронтирными моделями и Economic Policy Framework о подготовке экономики к возможному вытеснению работников ИИ.

Внешние проверки и право на блокировку

Амодеи предложил ввести обязательное тестирование для моделей, которые превышают определенный порог по вычислительным ресурсам. В рамке Anthropic речь идет о системах, обученных с использованием более 10²⁵ операций с плавающей точкой, если разработчик зарабатывает более $500 млн в год на ИИ или тратит свыше $1 млрд на исследования и разработки в этой сфере.

Проверки, по его замыслу, должна проводить квалифицированная внешняя организация. Тестирование должно покрывать четыре категории рисков:

кибербезопасность;
создание биологического оружия;
потерю контроля над ИИ-системами;
автоматизированные исследования и разработки, которые могут ускорить эти угрозы.

Если оценка показывает неприемлемый риск, власти должны получить право блокировать запуск или сдерживать развертывание модели.

Амодеи сравнил предлагаемый режим с надзором в сфере авицации:

«Наиболее мощные ИИ-модели, как и самолеты, должны проходить технические испытания и аудит».

Отдельно предлагается обязать разработчиков защищать веса моделей и инфраструктуру обучения, регулярно проводить проверки безопасности, публиковать отчеты о рисках и оперативно сообщать о серьезных инцидентах.

Рынок труда: от переобучения до базового дохода

В эссе Амодеи предупредил, что ИИ может вызвать более масштабные и более длительные сбои на рынке труда, чем прошлые технологические сдвиги. Вероятны три сценария: безработице около 5%, 10% и беспрецедентный уровень.

Среди возможных мер он перечислил улучшенный сбор данных о вытеснении работников, стимулы для сохранения занятости, программы переобучения и, при более тяжелом сценарии, долгосрочную поддержку доходов, включая безусловный базовый доход.

Согласно документу компании, Anthropic направит $200 млн в Economic Futures Research Fund на исследования и оценку экономической политики, а также создаст национальную программу стипендий на $150 млн для специалистов ранней карьеры.

Гражданские свободы

Отдельный раздел эссе Амодеи посвятил гражданским свободам. Он предложил закрепить правила подотчетности для полностью автономного оружия, запретить его применение внутри США и закрыть лазейку с покупкой данных у брокеров для массового надзора.

Еще одна идея — обеспечить гражданам доступ к ИИ, не уступающему тому, который государство использует против них в регуляторных или судебных процедурах. По мнению Амодеи, без такого баланса ИИ может усилить преимущество властей.

Эссе вышло на следующий день после запуска Claude Fable 5 и Claude Mythos 5. Anthropic назвала Fable 5 самой мощной из своих общедоступных моделей, а Mythos 5 — версией той же базовой модели с ослабленными ограничениями в отдельных областях для ограниченного круга партнеров Project Glasswing.

Fable 5 и Mythos 5 — детали и бенчмарки новых моделей Claude от Anthropic

Напомним, в июне члены команды Anthropic увидели признаки приближения к рекурсивному самосовершенствованию ИИ. В компании допустили, что обществу может понадобиться механизм замедления разработки передовых моделей, чтобы институты и исследования безопасности успевали за прогрессом.