Сообщество разработчиков обнаружило необычный способ снизить стоимость использования языковой модели Fable 5. Вместо передачи больших объемов текста напрямую пользователи преобразуют их в изображения с очень плотным расположением текста, после чего модель считывает содержимое с помощью своего встроенного механизма обработки изображений. В отдельных случаях такой подход позволяет уменьшить стоимость входных данных почти на 70%.

Основой этой идеи стал открытый проект pxpipe, который быстро привлек внимание разработчиков и набрал тысячи звезд на GitHub. Его задача — автоматически перехватывать запросы к модели, преобразовывать объемные текстовые блоки в компактные изображения и отправлять их вместо обычного текста.

Авторы проекта объясняют, что стоимость обработки изображений определяется прежде всего их разрешением, а не количеством текста внутри. Благодаря этому большие системные инструкции, документацию, результаты работы инструментов или длинную историю диалога можно «упаковать» в одно изображение и передать модели через визуальный канал.

В качестве примера разработчики приводят системную инструкцию и документацию объемом около 48 тысяч символов. При обычной передаче такой объем требует примерно 25 тысяч текстовых токенов. После преобразования в изображение размером 1573×1248 пикселей тот же материал занимает около 2700 «визуальных» токенов. По данным авторов проекта, в реальных сценариях использования это позволяет снизить стоимость обработки запроса на 59–70%.

При этом pxpipe не переводит в изображения абсолютно весь контекст. Без изменений остаются идентификаторы, ключи, хэши, точные числовые значения и последние сообщения диалога — то есть данные, где даже небольшая ошибка распознавания может привести к неправильному результату. В изображения преобразуются главным образом длинные системные инструкции, документация, старые сообщения и объемные выводы инструментов.

Авторы отмечают, что подобный способ представляет собой разновидность сжатия с потерями. Для большинства задач, связанных с пониманием смысла текста, Fable 5 справляется достаточно хорошо, однако при необходимости буквально распознавать отдельные строки, подсчитывать символы или анализировать точные последовательности знаков ошибки становятся значительно более вероятными. В частности, в аналогичных экспериментах более ранняя модель Opus 4.8 заметно хуже справлялась с подобными задачами.

Интересно, что сама идея использования изображений вместо текста не является новой. Пользователи обратили внимание на исследовательскую работу Google CLIPPO, опубликованную еще в 2022 году. В ней предлагалось представлять текст в виде изображений, чтобы единая визуальная модель могла обрабатывать как фотографии, так и текстовые данные без отдельного текстового кодировщика. Также обсуждается сходство подхода с технологиями визуального сжатия контекста, используемыми в проекте DeepSeek OCR.

Эксперты считают, что популярность pxpipe связана не только с желанием снизить расходы на использование дорогостоящих моделей. Проект наглядно демонстрирует, что современные мультимодальные системы способны воспринимать информацию различными способами, а различия в механизмах тарификации могут создавать неожиданные возможности для оптимизации затрат.

Впрочем, подобные методы остаются скорее техническим экспериментом, чем универсальным решением. Они подходят главным образом для передачи больших объемов вспомогательной информации и не гарантируют безошибочного распознавания текста в задачах, где критически важна абсолютная точность.