«Они действительно боятся того, что создают» - письмо ушедшего из Anthropic сотрудника

Исследователь, покинувший Anthropic Джейкоб Коксон после трех лет работы в сфере предобучения моделей сначала в OpenAI, а затем в Anthropic, объяснил свое решение опасениями по поводу того, куда движется индустрия искусственного интеллекта.

Как передает Vesti.az, за время работы в двух ведущих ИИ-компаниях он пришел к выводу, что ни одна из них, несмотря на осознание возможных рисков, не действует достаточно ответственно.

«Обе они несутся к самоулучшающемуся сверхинтеллекту. И фактически ставят на кон нашу жизнь», — написал исследователь.

По его мнению, возможности создаваемых сегодня систем нельзя недооценивать. Уже в ближайшем будущем могут появиться модели, превосходящие человека в большинстве интеллектуальных задач. Они смогут взламывать практически любые системы, за считанные часы менять целые отрасли, находить решения проблем, которые человечество не могло решить десятилетиями, и, что гораздо опаснее, самостоятельно получать доступ к реальным ресурсам и власти.

Особенно его беспокоит скорость происходящего.

«Мы уже видели, насколько быстро ИИ развивается во всех этих направлениях. И самое тревожное — прогресс не замедляется», — отметил он.

По словам исследователя, некоторые люди, непосредственно участвующие в создании передовых ИИ-систем, всерьез допускают сценарий, при котором искусственный интеллект способен уничтожить человечество уже к концу нынешнего десятилетия.

Причем, утверждает он, речь идет не о маркетинговой страшилке или попытке привлечь внимание прессы.

Публично руководители компаний и ведущие специалисты говорят о рисках значительно осторожнее. Однако в личных разговорах, по его словам, картина выглядит совсем иначе.

«Я разговаривал с теми же людьми без камер и микрофонов. И слышал от них совсем другое: они действительно боятся того, что создают», — написал исследователь.

Отсюда возникает главный вопрос: если разработчики сами считают технологию настолько опасной, почему продолжают ее создавать?

Ответ, по его мнению, необходимо искать в логике гонки между крупнейшими ИИ-компаниями.

При этом ситуацию внутри OpenAI и Anthropic он описывает по-разному. В OpenAI, считает исследователь, многие сотрудники еще не до конца осознали масштаб происходящего. Они не успели внутренне принять, что речь может идти уже не просто об очередной технологической революции, а о риске цивилизационного масштаба.

В Anthropic ситуация иная. Там, по его наблюдениям, потенциальные угрозы понимают гораздо лучше. Но именно понимание рисков и загнало компанию в своеобразную ловушку.

Ее логика выглядит примерно так: если Anthropic не создаст сверхмощный ИИ первой и максимально ответственно, это сделает кто-то другой. Следовательно, компания обязана продолжать.

Так формируется замкнутый круг.

«Все понимают, насколько опасна гонка, но каждый считает, что остановиться первым не может», — констатировал он.

Переход к тому, что внутри отрасли уже называют «эндгеймом», исследователь считает чрезвычайно самонадеянной ставкой. Решения такого масштаба, по его мнению, вообще не должны приниматься частными компаниями в рамках внутренних корпоративных обсуждений.

«Решение о запуске такого процесса не должно приниматься частной компанией где-то в корпоративном Slack», — подчеркнул он.

Еще один принципиальный вопрос — alignment, то есть обеспечение соответствия поведения сверхмощного ИИ человеческим целям и интересам.

Сейчас индустрия фактически пытается решить эту проблему параллельно с ускоренным наращиванием возможностей самих моделей. Но подобный подход, считает исследователь, требует огромной уверенности в том, что разработчики понимают происходящее и способны удержать систему под контролем.

«А такой уверенности у нас нет», — признал он.

Несмотря на жесткость своей оценки, исследователь не считает ситуацию полностью безнадежной. Он допускает, что крупнейшие американские ИИ-лаборатории еще способны договориться об ограничении темпов гонки. По его мнению, тревожные сигналы, в том числе атака на Hugging Face, делают подобные договоренности более реалистичными.

Однако пока он не видит признаков того, что мир действительно движется к предотвращению глобальной гонки ИИ.

И если этого не произойдет, в определенный момент могут потребоваться меры, которые сегодня кажутся практически немыслимыми, — вплоть до временного запрета на дальнейшее наращивание возможностей наиболее мощных моделей.

В финале своего обращения исследователь напрямую обратился к коллегам, продолжающим работать в крупнейших ИИ-лабораториях.

Он предложил им представить ближайшие несколько лет не такими, какими они выглядят в презентациях для инвесторов или пресс-релизах технологических компаний, а такими, какими они могут оказаться в реальности.

«Вы действительно хотите однажды запустить обучение сверхинтеллекта с помощью reinforcement learning, не имея при этом строгого понимания того, что происходит внутри этой системы и каким образом она будет вести себя?» — задался он вопросом.

По его словам, исследователям необходимо решить, готовы ли они просто продолжать работу, исходя из аргумента, что появление сверхинтеллекта «все равно произойдет», или все же стоит поставить под сомнение саму эту логику.

«А почему, собственно, мы решили, что другого пути нет?» — написал он.

По мнению исследователя, времени для такого выбора остается все меньше.

Возможно, именно сейчас сохраняется последний момент, когда специалисты внутри крупнейших ИИ-компаний еще способны потребовать изменения правил игры.

«Пока решение ещё принимают люди», — заключил он.

• Азербайджан ускоряет цифровизацию: сектор связи и IT вырос на 10,4%
• Центры по борьбе с компьютерными инцидентами создадут в Азербайджане
• Meta и TikTok помогут ЕС бороться с дезинформацией о мигрантах в Сеуте