Большая языковая модель Авито стала первой в бенчмарке MERA
Работы с ноутбуком. Архивное фотоДзен
Языковая модель A-Vibe от «Авито» заняла первое место в российском бенчмарке MERA среди облегченных моделей (до 10 миллиардов параметров), сообщает пресс-служба компании.
Технология A-Vibe уже работает в сервисах «Авито» — например, помогает продавцам писать продающие описания и быстрее договариваться о сделке в мессенджере. До конца года компания планирует добавить еще 20 новых сценариев, а в будущем может открыть код модели для всех.
«Первое место доказывает, что оптимизированная архитектура и качественные данные могут обеспечить отличные результаты даже при небольшом размере модели. A-Vibe создавалось оптимальной по соотношению между качеством, скоростью работы и затратой ресурсов. Такой баланс позволяет обеспечивать быструю обработку запросов даже в периоды пиковой нагрузки и масштабировать технологию на всю аудиторию платформы. Именно обучение небольшой модели под наши нужды позволяет нам закладывать окупаемость инвестиций: Авито планирует вложить в GenAI около 12 млрд рублей, а заработать более 21 млрд рублей к 2028 году», – приводит пресс-служба слова старшего директора по данным и аналитике компании Андрея Рыбинцева.
Тестирование включало задачи различной сложности — от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом.
Команда «Авито» разработала собственные генеративные модели A-Vibe и A-Vision, использовав для обучения на начальном этапе открытую модель. Однако она имела ограничения в работе с русским языком. Модель обучалась на данных более чем 100 языков, при этом русский составлял менее 1% общего объема данных. Из-за этого она плохо понимала и генерировала текст на русском.
Разработчики модифицировали и провели «русификацию» модели, заменив стандартный токенизатор на собственный – он умеет работать с русским языком. Теперь модель обрабатывает русский текст до двух раз быстрее по сравнению с оригинальной моделью, а понимание и генерация текста на русском становятся значительно лучше, отмечают в «Авито». При этом A-Vibe может одновременно обрабатывать до 32 тысяч текстовых фрагментов (токенов).
«Мы рассматриваем возможность выпуска модели в открытый доступ, что станет нашим вкладом в развитие российского рынка ИИ. Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели», – комментирует руководитель разработки больших языковых моделей «Авито» Анастасия Рысьмятова.
