Компания i14 вместе с AWS адаптировала языковую модель Laplace 3B для обучения и запуска на ускорителях Trainium2. В отличие от обычных трансформеров, её рабочая память для истории не растёт вместе с контекстом: рекуррентное состояние остаётся размером 29,5 МБ на последовательность.
Laplace 3B использует механизм Gated Linear Attention. Он не хранит все пары ключей и значений, а сжимает предыдущий контекст в матрицу фиксированного размера. По расчётам разработчиков, при контексте 8192 токена такое состояние примерно в 82 раза меньше сопоставимого KV-кэша; увеличение входа с 2048 до 8192 токенов добавило около 0,5% к стоимости одного выходного токена.
Для переноса модели команда заменила GPU-специфичные ядра Triton операциями PyTorch и использовала бета-версию TorchNeuron Native. На одном экземпляре trn2.48xlarge обучение шло со скоростью около 120 тысяч токенов в секунду. При запуске через vLLM система выдала 11 544 токена в секунду суммарно для 1280 одновременных последовательностей.
Эти цифры относятся к конкретной модели, оборудованию и настройкам. Полный план обучения рассчитан на 100 млрд токенов, но опубликованные результаты обучения получены примерно после 44 млрд. Для реального сервиса скорость и стоимость будут зависеть от нагрузки, длины запросов и конфигурации.
У фиксированной памяти есть компромисс: линейное внимание сжимает историю вместо хранения всех элементов KV-кэша. Авторы рекомендуют отдельно проверять, насколько модель находит нужные факты в длинном контексте. В публикации нет результатов прикладных тестов точности такого поиска, поэтому по приведённым скоростям нельзя судить о качестве ответов.
AWS и i14 не сообщили, будут ли опубликованы веса Laplace 3B, под какой лицензией и когда модель станет общедоступной. Пока материал описывает инженерный эксперимент, а не готовый сервис для всех пользователей.
Пока никто не ответил. Начните обсуждение.