Утренний выпуск Пятница, 13 ноября 2026 № 16
Обновляется каждый час Архив недели Сохранённое

Новости этого хорошего дня

Выпуск № 16 от 13 ноября 2026, 22:00

Последнее
Технологии и ИИ

27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K

Четыре Tesla V100 2017 года тянут в проде плотную Qwen3.8-27B в INT4 с окном 262 тысячи токенов — это модель zubr в ZuBrIQ (zubriq.ai), запросы к которой не покидают Беларусь. Официальный vLLM на этих картах 4-битную модель не запускает. Рассказываю, на каком форке это работает, куда утекает память, что показал бенчмарк MoE против dense и почему имя модели нельзя менять никогда.

Telegram WhatsApp Facebook

По теме