FAIRouter вышел на NuGet. Выбираем языковую модель под задачу в несколько строк на C#
Наш open source маршрутизатор ИИ-моделей FAIRouter (C# версия) вышел на NuGet. Цель проекта обеспечить оптимальный баланс скорости, стоимости и качества, т.е. получать ответ достаточного качества быстрее и дешевле. Показываю, как поставить пакет, отправить первый запрос, обучить маршрутизатор LLM и агентов на отзывах, а также подключить своих кандидатов.
По теме
Создан компактный синий лазер, который меняет частоту миллион раз в секунду
Новая технология сжатия вдвое ускорила запуск видео в «VK Видео»
Пользователи «VK Видео» теперь могут быстрее начинать просмотр роликов. Платформа изменила систему подготовки загружаемых файлов, благодаря…
На фоне всего этого REA решил попробовать ручками редактор LightCraft, про который написано
A fast photo library and non-destructive raw developer, written from scratch in pure Rust. No account, no cloud, no telemetry, no…
[Перевод] Выжимаем максимум из BERT: токенизация в 50 раз быстрее
Даже проверка обычных символов может стать узким местом в обработке текста для языковых моделей. При профилировании bert-base-uncased…