KV-кэш, экспертное сообщество и критическое мышление: почему механизм внимания в трансформерах работает только назад

Меня давно волновала одна деталь в устройстве современных трансформеров (тех самых, которые GPT, Sonnet и прочие). Механизм внимания всегда работает только назад. От многих экспертов (включая курс Эндрю Ына на Курсере) я слышал такое объяснение: слово не может ссылаться на слова, которые оно ещё не знает. Называется это казуальностью (причинностью). Но ведь в предложении «Зелёное яблоко лежит на столе» слово «зелёное» уже знает про слово «яблоко», но не может на него сослаться. Непонятно.

Провёл небольшой эксперимент и подключил нечеловеческий мозг. Оказалось, что стандартное объяснение казуальности внимания — упрощение, которое не учитывает реальную архитектуру трансформеров. В ходе эксперимента я выявил, что ограничение на обратную связь в механизме внимания связано не с логикой языка, а с инженерными компромиссами: KV-кэш и последовательная обработка токенов накладывают жёсткие ограничения на порядок вычислений. Это означает, что даже если модель «знает» о будущем слове, она не может использовать это знание из-за технических ограничений.

Это открытие ставит под сомнение устоявшиеся представления в сообществе NLP-специалистов. Если казуальность — не фундаментальное свойство языка, а лишь техническое ограничение, то возможны альтернативные архитектуры, которые позволят моделям учитывать контекст в обе стороны без потери производительности. Экспертное сообщество, включая авторитетные курсы, может транслировать неполные или устаревшие объяснения, что тормозит развитие критического мышления и инноваций в области ИИ.