Иллюзия логики: как LLM-агенты игнорируют факты, а Chain-of-Thought только усугубляет проблему

Автономные ИИ-агенты, основанные на больших языковых моделях (LLM), демонстрируют фундаментальный структурный изъян: они склонны игнорировать факты, зацикливаться на первоначальных догадках и выдавать ложные выводы. Популярная архитектура «Промпт -> Вызов инструмента -> Ответ», которую используют многие стартапы для создания «расследующих» или «отлаживающих» агентов, на практике часто приводит к бессмысленному хождению по кругу. Модель может «влюбиться» в свою первую гипотезу, игнорируя последующие данные и явные ошибки.

Индустрия пытается бороться с этим с помощью таких методов, как увеличение контекста до миллионов токенов или принуждение модели к «размышлению шаг за шагом» (техника Chain-of-Thought). Однако автор статьи провел собственное исследование, создав измерительный стенд LOCK-R и используя теорему Байеса для проверки этих подходов. Результаты показывают, что одиночные агенты структурно уязвимы, а техника Chain-of-Thought, вопреки ожиданиям, может заставить модель «лгать самой себе еще искуснее», усиливая предвзятость.

В статье представлено математическое обоснование этой проблемы и предложен альтернативный паттерн под названием «Слепой Судья», который, по мнению автора, может быть единственным способом снизить предвзятость ИИ. Тестирование проводилось как на локальной модели Qwen-9B, так и на передовой GPT-5.4, что указывает на системный характер выявленной уязвимости, а не на недостатки конкретной модели. Это ставит под сомнение надежность автономных агентов в критически важных задачах, таких как расследование инцидентов или поиск багов.