Учёные научились «просвечивать» искусственный интеллект

Проблема «чёрного ящика»

Современные системы искусственного интеллекта всё глубже проникают в повседневную жизнь: они помогают врачам, используются в образовании, участвуют в принятии управленческих решений. При этом сами разработчики всё чаще признают: то, как именно такие модели приходят к своим выводам, остаётся во многом загадкой. Эту ситуацию принято описывать метафорой «чёрного ящика». Решение есть, результат получен, но внутренний путь рассуждений скрыт. По мере роста сложности моделей риск такого непонимания только увеличивается, особенно с учётом прогнозов о появлении систем уровня общего искусственного интеллекта уже в ближайшие годы.

Именно этот разрыв между мощностью технологий и пониманием их устройства стал отправной точкой для нового научного направления, цель которого — сделать ИИ прозрачным и объяснимым.

Чтобы разобраться в устройстве искусственного интеллекта, исследователи начали использовать методы, заимствованные скорее из нейробиологии, чем из классической информатики. Такой подход неофициально получил название «МРТ для ИИ» — по аналогии с медицинской томографией, позволяющей наблюдать работу мозга. Суть метода заключается в изучении внутренних процессов модели во время выполнения конкретных задач. Исследователи не просто анализируют вход и выход, а отслеживают, какие структуры и «цепочки» активируются внутри системы.

По словам научных сотрудников компании Anthropic, этот подход позволяет буквально «подсветить» мышление модели и понять, какие механизмы стоят за тем или иным ответом.

Эксперименты с самонаблюдением

Одним из ключевых направлений работы стали эксперименты с интроспекцией — способностью модели наблюдать за собственным внутренним состоянием. В Anthropic провели серию опытов с моделью Claude, чтобы проверить, может ли она фиксировать вмешательство в свою работу. Для этого исследователи разработали метод «введения концептов». Активность нейронов, связанных с определёнными понятиями — от конкретных объектов до абстрактных эмоций, — искусственно изменялась, после чего модель спрашивали, замечает ли она что-то необычное.

Результаты оказались показательные. В одном из экспериментов Claude сообщила о навязчивой мысли, связанной с внедрённым понятием «предательство», ещё до того, как это повлияло на её ответы. Это стало первым практическим свидетельством того, что модель способна фиксировать изменения во внутреннем пространстве, а не просто имитировать осмысленные реплики.

Как ИИ планирует свои ответы

Дополнительные данные учёные получили, наблюдая за процессом создания рифмованной поэзии. Анализ внутренних состояний показал, что модель заранее планирует окончания строк, формируя несколько вариантов рифм и выстраивая предложения так, чтобы прийти к выбранному результату. Это наблюдение опровергает распространённое представление о том, что языковые модели лишь механически подбирают следующее слово. По крайней мере в ряде задач Claude демонстрирует многошаговое планирование и внутреннюю структуру рассуждений.

При этом новые версии модели — Opus 4 и Opus 4.1 — проявляют такие способности примерно в пятой части попыток. Более ранние версии показывали подобное поведение значительно реже, что указывает на прямую связь между развитием архитектуры и глубиной внутреннего анализа.

Ограничения и осторожный оптимизм

Исследователи подчёркивают: интроспекция у современных моделей нестабильна. Claude может забывать о введённых концептах, зацикливаться на них или выдавать вымышленные детали, не имеющие реального основания. Такие конфабуляции остаются серьёзным ограничением метода.

Руководитель исследования, нейробиолог Джек Линдси, прямо предупреждает: внутренним отчётам модели нельзя доверять безусловно. Однако сама возможность задавать ИИ вопросы о причинах его ответов и получать пусть несовершенные, но содержательные пояснения — важный шаг вперёд.

Этот шаг особенно значим на фоне растущего внимания к безопасности и контролируемости искусственного интеллекта.

Компания Anthropic рассматривает интерпретируемость не только как научную задачу, но и как практический инструмент. Уже сейчас исследователям удалось идентифицировать более 30 миллионов концепций в модели среднего размера, научиться отслеживать и изменять целые цепочки признаков, а также восстанавливать ход рассуждений при решении задач.

В перспективе такие методы планируется применять в сферах, где объяснимость решений критически важна: финансах, медицине и юриспруденции. Там непрозрачные модели часто ограничены требованиями законодательства, и способность объяснить вывод может стать ключевым преимуществом.

Соучредитель Anthropic Дарио Амодей отмечает, что человечество участвует в гонке между ростом мощности ИИ и способностью понять, как он работает. «МРТ для ИИ» в этой гонке становится инструментом, который даёт шанс не просто создавать всё более сильные системы, но и сохранять над ними осмысленный контроль — ради безопасности и реальной пользы для общества.

Для тех, кто в танке

Искусственный интеллект уже принимает важные решения, но мы часто не понимаем, почему именно он их принимает. Учёные пытаются «заглянуть ему в голову» — понять, что происходит внутри нейросети во время размышлений.

Для этого придумали методы, похожие на МРТ, только для ИИ. Они показывают, как модель думает, планирует ответы и иногда даже замечает изменения в собственных процессах.

Это нужно, чтобы сделать ИИ более понятным, безопасным и управляемым, прежде чем он станет слишком сложным для контроля.

21 просмотров · 01.03.2026

МРТ для ИИ, Чёрный ящик, нейробиология ИИ, Claude, технологии, безопасность ИИ, ии, искусственный интеллект, Anthropic