Неделю гонял 14 локальных LLM на мини-ПК с Ryzen AI Max+ 395. Цифры, грабли и что я оставил себе
Машина GMKtec EVO-X2 на 96 ГБ, Ubuntu 26.04, LM Studio, кванты Q4. В отборочном круге было 12 моделей. В финал вышли четыре лидера и два новых претендента, которых я докачал уже после отбора, так что всего через тесты прошло 14. Qwen3.8 27B выдаёт 12,8 токена в секунду, а Gemma 4 26B A4B на том же железе 63, хотя файлы у них почти одного размера. Размер окна контекста на скорость и баллы не повлиял, если запрос один и тот же.
По теме
Как мой сайт считает ботов, не храня ни одного IP: чистый PHP без базы, строгая CSP и 160 тестов
В прошлой статье я рассказывал про SSH-ловушку на своём сервере. В комментариях несколько раз спросили: а что за сайт, на котором всё это…
Апскейлер QSSR для базовой PS5 добавят в Marvel’s Spider-Man 2, ARC Raiders и другие игры
Sony представила новую волну игр, которые в ближайшем будущем получат поддержку апскейлера QSSR для базовой PS5. Технология уже доступна в…
[Перевод] Монолит, модульный монолит и микросервисы: практическое сравнение для .NET
Как каждый из подходов организует код, разделяет данные и какие библиотеки требует в экосистеме .NET. Разработчики редко выбирают…
Сколько реально стоит опечатка в раскладке, если считать в токенах LLM
Я написал Зябру - локальный переключатель раскладки: набрал “ghbdtn” вместо “привет”, программа сама стирает и переписывает правильно…