От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 3/10
В этой части готовим датасет для contrastive обучения модели. Обоснование выбора, примеры и экономная сборка датасета. Практически завершаем подготовку к реализации обучения.
По теме
Создан компактный синий лазер, который меняет частоту миллион раз в секунду
Новая технология сжатия вдвое ускорила запуск видео в «VK Видео»
Пользователи «VK Видео» теперь могут быстрее начинать просмотр роликов. Платформа изменила систему подготовки загружаемых файлов, благодаря…
На фоне всего этого REA решил попробовать ручками редактор LightCraft, про который написано
A fast photo library and non-destructive raw developer, written from scratch in pure Rust. No account, no cloud, no telemetry, no…
[Перевод] Выжимаем максимум из BERT: токенизация в 50 раз быстрее
Даже проверка обычных символов может стать узким местом в обработке текста для языковых моделей. При профилировании bert-base-uncased…