Livadies: как хирургия PyTorch Hooks превратила LLM в аналоговый синтезатор без промптов

Вместо того чтобы создавать очередную обертку для ИИ, команда проекта Livadies провела хардкорную хирургию нейросетей, чтобы услышать «чистую мысль» языковой модели. Их цель — не конвертировать текст в звук через API, а напрямую перехватывать и интерпретировать внутренние тензоры и активации моделей в реальном времени, создавая уникальное звучание. Этот подход полностью отвергает стандартный конвейер Hugging Face, где к Llama или Gemma просто прикручивают интерфейс на Gradio.

Для виртуального музыкального артиста Livadies инженеры решили вскрывать архитектуры современных SOTA-моделей и сшивать их на уровне тензоров. Ключевой вопрос, который они задали: как звучит математическая геометрия доисторического камня или кожи рептилии, если не переводить её в текст? Ответом стали два главных эксперимента, основанных на использовании PyTorch Hooks для создания кросс-модальных мостов между визуальным, текстовым и аудио восприятием ИИ.

Этот метод позволяет обойтись без традиционных промптов, напрямую манипулируя внутренними состояниями нейросети. Подход сигнализирует о возможном сдвиге в экспериментальном использовании ИИ для искусства, где инструментарий машинного обучения становится средством прямого синтеза, а не просто генератором текста. Проект ставит под сомнение стандартные пути коммерциализации ИИ, предлагая вместо этого глубокое техническое погружение в «сырую» математику нейронных сетей.