DeepSeek выложила DeepInfer — фреймворк, который используется для выполнения запросов к её моделям в крупных сервисах. Открытый выпуск от 20 октября поддерживает DeepSeek-V4.1-Flash и распространяется по лицензии Apache 2.0.
Это инструмент для разработчиков инфраструктуры, а не новая модель или дополнительная кнопка в чат-боте. В опубликованном варианте можно запускать вычисления автономно, без готового сетевого сервиса для пользователей.
В README указаны ускорители NVIDIA SM100 и Huawei Ascend 950. Для сборки нужны Linux, Python 3.12 и GCC версии 13 или выше, а также CUDA 13 либо CANN 9.2 — в зависимости от оборудования.
Разработчики включили оптимизированные вычислительные ядра, асинхронное планирование задач и ограничение формата ответа по схеме JSON, регулярному выражению или грамматике.
При этом открытый набор не является полной копией действующего сервиса DeepSeek. Для этого ещё нужны система KV-кэша, раздельная обработка этапов вычислений и балансировка нагрузки между репликами. Большая часть функций движка для разделения этапов уже реализована, но готовый комплекс не включён. Командам придётся достроить недостающие части. Самостоятельных испытаний производительности редакция не проводила.
Пока никто не ответил. Начните обсуждение.