YandexGPT стала лучшей в мире нейросетью для англо-русского перевода, согласно независимому исследованию DiBiMT

Яндекс Переводчик с YandexGPT стал мировым лидером по качеству перевода с английского на русский по итогам международного независимого бенчмарка DiBiMT. Внедрение в сервис большой языковой модели позволило за год повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений и обогнать таких лидеров, как Google Translate, ChatGPT и DeepL. Рейтинг опубликовали ведущие мировые центры изучения языка в машинном обучении — итальянские институты Sapienza и SSML Carlo Bo. 

Как внедрение большой языковой модели YandexGPT позволило улучшить качество работы Яндекс Переводчика 

Ранее в Переводчике применялась технология нейросетевого машинного перевода. Нейросеть анализировала массивы текстов, запоминала закономерности и на их основе переводила текст. У такого подхода было ограничение: сервис учитывал контекст в отдельных предложениях, но не в тексте целиком.  

Именно внедрение модели семейства YandexGPT, специально обученной под задачи перевода, позволило преодолеть это ограничение. Так как большая языковая модель работает со всем текстом сразу, перевод слов, которые имеют несколько значений, получается более точным, а предложения — лучше согласованы между собой. Кроме того, YandexGPT понимает стиль, в котором написан текст, поэтому может передать в переводе особенности как, например, художественного, так и технического языка. 

Для оценки качества перевода разработчики Яндекса используют несколько показателей. Так, они замеряют число ошибок на часть текста. По этой метрике Переводчик с YandexGPT стал совершать в два раза меньше ошибок. Второй важный показатель, позволяющий оценить качество, — это гладкость (fluency), то есть то, насколько текст похож на привычную человеческую речь. С внедрением YandexGPT в Переводчик он вырос на 15%. О том, как разрабатывалась большая языковая модель для Яндекс Переводчика, можно прочитать в статье.

Нейросеть уже помогает пользователям переводить, например, книги и инструкции через Умную камеру и быстро изучать заголовки и краткое содержание страниц в Поиске Яндекса. Также YandexGPT может перевести любой текст или сайт в Переводчике на главной странице Браузера. В дальнейшем Яндекс планирует внедрить её и в другие свои сервисы. 

Как проводилось тестирование DiBiMT

Бенчмарк DiBiMT — это эталонный тест для измерения процента ошибок (то есть неверного определения смысла или значения слова в контексте) в переводе. В тестировании, помимо Яндекс Переводчика с YandexGPT, приняли участие 22 системы перевода. Так, большая языковая модель Яндекса обошла, например, GPT-4, Gemma 2 9b, Llama-3 8b и другие нейросети.

Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — одинаковыми по написанию словами, имеющими разное значение. Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, что обеспечило высокое качество замеров. На основе этих показателей и был сформирован публичный рейтинг.

В честь результатов мы сделали специальный тест. В нем можно проверить свое чутье и выбрать, какой из текстов был переведен человеком, а какой — нейросетью

О Яндекс Переводчике

Яндекс Переводчик — сервис для автоматического перевода более чем со 100 языков. Он может переводить надписи на картинках и фотографиях, целые сайты, отдельные тексты и поддерживает голосовой ввод. Сервис доступен на translate.yandex.ru и в виде мобильного приложения для Android и iOS. Также он интегрирован в приложение Яндекс с Алисой, где работает в связке с умной камерой и может переводить тексты в режиме реального времени, и в Яндекс Браузер.