[Перевод] Выжимаем максимум из BERT: токенизация в 50 раз быстрее
Даже проверка обычных символов может стать узким местом в обработке текста для языковых моделей. При профилировании bert-base-uncased выяснилось, что на нормализацию уходило 88% времени токенизации. В статье разбираемся, как SIMD‑инструкции, кеширование Unicode и пропуск лишних операций помогли ускорить обработку примерно в 50 раз, почему на разных языках результаты отличаются и где у такого…
По теме
Создан компактный синий лазер, который меняет частоту миллион раз в секунду
Новая технология сжатия вдвое ускорила запуск видео в «VK Видео»
Пользователи «VK Видео» теперь могут быстрее начинать просмотр роликов. Платформа изменила систему подготовки загружаемых файлов, благодаря…