Архитектурный прорыв: от текста к нативной мультимодальности

Инфраструктурный гигант Cloudflare продолжает агрессивную экспансию в сегмент генеративного искусственного интеллекта. Вслед за недавним релизом открытых моделей принятия решений Clef и Clef-flash компания представила Clef-omni - нейросеть, способную обрабатывать аудио, видео, изображения и текст в рамках единого конвейера. Этот шаг фундаментально меняет парадигму так называемых decision models, которые исторически ограничивались исключительно текстовым вводом. Ранее разработчикам приходилось выстраивать сложные каскадные пайплайны: сначала транскрибировать речь в текст, затем извлекать кадры из видеопотока, после чего передавать эти фрагменты классификатору. Теперь один API-вызов позволяет модели анализировать сырые файлы форматов wav, mp3, mp4 или webm наряду с традиционными текстовыми промптами.

Технический фундамент Clef-omni базируется на архитектуре Qwen3-Omni-30B-A3B-Instruct с применением подхода Mixture-of-Experts (MoE). Инженеры Cloudflare заимствовали основной comprehension backbone этой модели, целенаправленно отказавшись от модулей синтеза речи (text-to-speech), поскольку задача системы заключается не в генерации ответов, а в структурированном принятии решений. В производственной среде Clef-omni выполняет быстрый prefill pass по всему входящему пейлоаду, одновременно оценивая все модальности и валидные параметры. Поскольку архитектура принципиально отличается от классических больших языковых моделей (LLM) и не занимается поочередной генерацией выходных токенов, исчезает колоссальный оверхед на транскрипцию или создание подписей к медиафайлам. Элементы напрямую маппятся в единую последовательность, где аудиодорожка синхронизируется с визуальными кадрами для совместной обработки.

Двухэтапный роутинг внимания и специфика обучения

Механизм извлечения значений из внутренних эмбеддингов реализован через двухэтапный роутинг внимания. Каждый валидный вариант ответа собирает ключевые доказательства из входных данных, независимо от того, скрыты ли они в текстовом сниппете, визуальном объекте или звуковом потоке. Затем векторы полей проходят перекрестное внимание (cross-attend) по всему контексту для вычисления финальных показателей уверенности. Для сохранения семантики вариантов внедрена встроенная лексическая грамматика, обеспечивающая быстрое скорирование со строгими ограничениями схемы.

Процесс дообучения повторяет методологию оригинальной версии Clef. Базовая модель Qwen3 замораживается, а адаптация происходит через обучение низкоранговых адаптеров (LoRA). На этапе пост-тренировки применяется комбинация функции потерь label-smoothed cross-entropy с калибровкой по метрике Brier score. Подобный математический аппарат делает систему устойчивой к вариациям схем, изменению порядка полей и нестандартным структурам промптов. Медианная скорость работы впечатляет: текстовые решения принимаются за 130 миллисекунд, обработка изображений занимает около 150 миллисекунд, а полный 21-секундный видеоклип со звуком анализируется всего за полторы секунды.

Радикальная оптимизация стоимости и компромиссы контекстного окна

Параллельно с выпуском мультимодальной версии Cloudflare пересмотрела ценовую политику для облегченной модели Clef-flash. Стоимость снижена с 0.09 до 0.038 доллара за миллион входных токенов, что делает решение дешевле прямых конкурентов на рынке. Базовая версия Clef сохраняет ценник в 0.24 доллара, а новая Clef-omni стартует с отметки 0.15 доллара за миллион токенов. Столь агрессивное снижение цен стало возможным благодаря глубокой оптимизации инфраструктуры, однако оно потребовало архитектурного компромисса. Контекстное окно облачной версии Clef-flash урезано с заявленных ранее 64 тысяч до 24 тысяч токенов.

Анализ телеметрии показал, что лишь 0.24 процента всех запросов превышают порог в 24 тысячи токенов. Руководствуясь этими данными, инженеры приняли решение пожертвовать длиной контекста ради достижения минимальной цены входа. При этом открытые веса модели на платформе Hugging Face остались нетронутыми: они обучены поддерживать контекст до 256 тысяч токенов для тех компаний, которые предпочитают самостоятельный хостинг. Полноценная модель Clef также сохранила свое 64-тысячное окно без изменений.

Инфраструктурное ускорение через SGLang

Скорость инференса базовой модели Clef выросла почти вдвое, причем без выпуска новых весов. Весь прирост производительности достигнут исключительно на уровне обслуживающей инфраструктуры Workers AI. Ключевым решением стал переход на фреймворк SGLang. Команда Cloudflare активно сотрудничала с разработчиками этого инструмента, внеся необходимые патчи для нативной поддержки архитектуры принятия решений. Оптимизация затронула механизмы распределения памяти и пакетной обработки запросов, что позволило сократить медианное время ответа для промптов объемом 3400 токенов с 616 до 305 миллисекунд. Для высоконагруженных систем, где автоматизация процессов и ИИ-агенты требуют мгновенной реакции на входящие данные, подобная задержка является критически важным параметром при проектировании архитектуры.

Практическое применение в корпоративном секторе

Внедрение моделей принятия решений радикально меняет подход к классификации данных внутри крупных технологических компаний. Если раньше для создания точного детектора спама или системы поиска утечек требовалось формировать профильную команду машинного обучения, собирать корпуса данных и тренировать узкоспециализированные алгоритмы, то теперь эта логика перенесена на уровень готовых моделей. Внутренние команды Cloudflare уже используют Clef для мгновенного закрытия спам-задач в публичных репозиториях, модерации библиотек плагинов на предмет фишинга и сканирования массивов данных на наличие персональной информации. Модели семейства Clef полностью совместимы с существующими стандартами API, что позволяет интегрировать их в шлюзы искусственного интеллекта простой заменой идентификатора модели, открывая путь к масштабному внедрению интеллектуального роутинга задач в любой бизнес-среде.


Внедрение ИИ в бизнес - агентство МАВАЛ - Хотите внедрить передовые нейросети и автоматизацию процессов и ИИ-агенты в свою компанию? Обратитесь в агентство МАВАЛ.