DRAG with KNEE: Новый алгоритм для RAG-систем борется с галлюцинациями и нерелевантным контекстом

Классические RAG-системы сталкиваются с фундаментальной проблемой: они либо генерируют ложные ответы (галлюцинируют), либо заваливают языковую модель огромными объемами нерелевантного текста, что резко увеличивает затраты на вычислительные токены. Статический подход с выбором фиксированного числа фрагментов (top_k) оказывается неэффективным костылем, который не способен адаптироваться к сложным и разрозненным документам.

В ответ на эту проблему автор представляет новый алгоритм под названием DRAG with KNEE (Dynamic RAG with Knee‑point pruning). В отличие от простого поиска «похожих» фрагментов, этот метод строит иерархию документов и применяет «безжалостное» отсечение лишнего контекста. Ключевой элемент — геометрический анализ точки «колена» (knee-point), который позволяет динамически определять оптимальный объем релевантной информации для передачи в языковую модель, избегая как недостатка контекста, так и его переизбытка.

Алгоритм реализован с использованием инструментов Qdrant и Python. Предложенное решение направлено на повышение адаптивности RAG-систем, их точности и экономической эффективности, что особенно критично при работе с большими документами, такими как сложные PDF-файлы. Это прямой ответ на боль разработчиков, чей бюджет на дорогие модели вроде GPT-4o может быть быстро исчерпан неоптимизированными запросами.