Действительно ли полезен ИИ-перевод? Растущее число запросов от компаний с просьбой «оценить качество перевода»

Благодаря развитию генеративного ИИ мир перевода начинает сильно меняться.
С появлением генеративного ИИ, включая ChatGPT, компании получили возможность легко пробовать выполнять задачи, которые раньше доверяли специализированному программному обеспечению для перевода или переводческим компаниям.
«Разве мы не можем выполнять перевод собственными силами?»
Вполне естественно, что такие вопросы звучат всё чаще.

На самом деле, к нам в компанию Kodensha всё чаще обращаются деловые партнеры с просьбой оценить качество ИИ-перевода.
Например, поступил запрос от производителя электрооборудования.

«Что качественнее: используемый нами сейчас инструмент перевода или популярный в последнее время генеративный ИИ?»
«Насколько пригодны для практического использования руководства по эксплуатации нашей продукции, переведенные с помощью ИИ?»
«Можно ли заменить часть задач, которые мы поручаем переводческим компаниям, на ИИ-перевод?»

Нам поступают запросы с просьбой сравнить результаты перевода реальных документов и дать оценку с профессиональной точки зрения.
Попробовать ИИ-перевод стало легко. Однако определить, действительно ли этот перевод пригоден для работы, на удивление сложно.
В этой статье мы рассмотрим проблемы, с которыми сталкиваются компании при внедрении ИИ-перевода, и важность оценки качества перевода.

1. ИИразвивается быстрее, чем можно представить

Еще совсем недавно машинный перевод ассоциировался с механической заменой слов и грамматических конструкций оригинала.
Многие наверняка помнят, как, глядя на результат перевода, думали: «Смысл понятен, но использовать это в таком виде нельзя».
Однако с распространением нейронного машинного перевода и появлением генеративного ИИ на базе больших языковых моделей ситуация кардинально изменилась.
Спектр возможностей ИИ значительно расширился: теперь он способен учитывать контекст для создания естественных формулировок, перефразировать сложные предложения и даже адаптировать тон и стиль текста.
В частности, при работе с деловой документацией и общими пояснительными текстами генеративный ИИ нередко выдает более естественные и легко читаемые переводы, чем традиционные системы машинного перевода.
Мы живем в эпоху, когда качественный перевод доступен каждому с помощью привычных инструментов.
Неудивительно, что компании задумываются о пересмотре своих процессов перевода.
Однако здесь важно помнить: естественный текст и точный перевод — это не всегда одно и то же.

2. Перевод звучит естественно, но содержит ошибки?

Возьмем, к примеру, руководство пользователя для электротехнического оборудования.
Если речь идет об обычном тексте, небольшие различия в формулировках не критичны, если смысл понятен.
Но с руководством пользователя все иначе.
Оно содержит множество информации, требующей абсолютной точности: инструкции по эксплуатации, меры предосторожности, названия деталей, технические характеристики и многое другое.

«Выключить питание» и «отключить питание»
«Подключить» и «подключено»
«Обязательно выполнить» и «выполнить при необходимости»

Даже незначительные на первый взгляд различия могут существенно изменить смысл в зависимости от технических характеристик продукта или рабочих процедур.
Генеративный ИИ отлично справляется с созданием легко читаемых и естественных текстов. С другой стороны, он может додумывать смысл оригинала или изменять формулировки, чтобы они лучше соответствовали контексту.
Иногда это способствует читабельности, а иногда приводит к искажению смысла, чего следует избегать при переводе.
Кроме того, важно, чтобы правильно отражались уникальные названия продуктов производителя, терминология и принятые в компании формулировки.
Иными словами, недостаточно просто посмотреть на результат перевода и решить, что «раз звучит естественно, значит всё в порядке».

3. Оценка ИИ-перевода — это не просто сравнение баллов

Так что же нужно сделать, чтобы оценить качество машинного перевода?
Ввести один и тот же текст в несколько инструментов машинного перевода и сравнить результаты. Это эффективный первый шаг.
Однако этого недостаточно.
При оценке необходимо учитывать, например, следующие аспекты.

• Точность: правильно ли отражены смысл и информация исходного текста.
• Терминология: Правильно ли переведены отраслевые термины и названия продуктов.
• Согласованность: Единообразно ли используются термины и выражения во всем документе.
• Читабельность: Является ли текст естественным и понятным для целевой аудитории.
• Соблюдение инструкций: Соблюдаются ли требования к глоссариям, правилам перевода и стилю.
• Необходимость правок: Какой объем ручной корректировки требуется для использования в практических целях.

Например, в общих деловых документах приоритетом может быть читабельность.
С другой стороны, в руководствах по эксплуатации, связанных с безопасностью, важно точно и без пропусков передать информацию оригинала.
Оценка одного и того же инструмента машинного перевода может меняться в зависимости от типа документа и целей его использования.
Кроме того, необходимо учитывать не только качество перевода, но и время и затраты на последующую корректуру.
Даже если результат машинного перевода на первый взгляд кажется отличным, если на его исправление экспертом уходит много времени, это может не привести к повышению эффективности работы в целом.
Важно не просто определить, какой ИИ лучше.
Необходимо прояснить, в каком объеме и как можно использовать машинный перевод в бизнес-процессах компании, а также правильно распределить задачи между ИИ и человеком, который будет проверять и исправлять результат.

4. В чем смысл оценки ИИ-перевода профессионалами?

Именно здесь проявляется роль компании, специализирующейся на переводах.
При оценке машинного перевода необходимо не только сравнивать оригинал с переводом и указывать на ошибки или пропуски, но и определять, почему тот или иной вариант перевода является проблемным и как это влияет на практическое использование.
Например, при обнаружении ошибки в терминологии нужно понять, является ли это просто расхождением в написании или серьезной ошибкой, меняющей технический смысл.
Кроме того, при оценке качества перевода важно минимизировать разброс в суждениях оценщиков.
Необходимо четко определить критерии оценки и создать систему, позволяющую нескольким оценщикам судить по одним и тем же стандартам. При необходимости следует сравнивать переводы до и после исправления и анализировать, какие именно правки были нужны.
Благодаря такой работе сильные и слабые стороны машинного перевода становятся конкретно видимыми.
Компания Kodensha, используя свой многолетний опыт в области многоязычного перевода и поддержки переводов, занимается оценкой машинного перевода в соответствии с реальными документами и задачами компаний.
Объектом оценки является не только какой-то конкретный сервис машинного перевода.
Оценке подлежат различные системы, внедрение которых рассматривается: существующие движки машинного перевода, переводы с использованием генеративного ИИ, а также среды перевода, созданные компаниями самостоятельно.
Мы считаем важным прорабатывать содержание и аспекты оценки в соответствии с уникальными потребностями каждой компании.

5. Оценить и забыть — это упущенные возможности

При проведении оценки машинного перевода иногда случаются неожиданные открытия.

«Качество оказалось выше, чем предполагалось»
«Общие тексты переводятся без проблем, но есть сложности со специальной терминологией»
«В одних документах перевод отличный, а в других требуется много исправлений»

Эти результаты становятся важным материалом для принятия решения о целесообразности внедрения ИИ-перевода.
Кроме того, можно рассмотреть дальнейшие способы его использования.
Например, использовать ИИ для перевода часто встречающихся общих документов, а для высокоспециализированных или важных внешних документов сочетать его с проверкой переводчиком.
Или же упорядочить накопленные ранее переводы и глоссарии, используя их для постоянного улучшения качества ИИ-перевода.
Сервис «Asset Accumulation AI Translation» от компании Koedensha также основан на таком подходе.
Вместо того чтобы оставлять результаты перевода без внимания, мы накапливаем данные, проверенные и исправленные человеком, и используем их для последующих переводов.
Сочетая ИИ со знаниями и опытом людей, мы стремимся развивать уникальное качество перевода для каждой компании.
Оценка ИИ-перевода — это не просто задача по выбору инструмента для внедрения.
Это также повод пересмотреть собственные переводческие активы и задуматься о том, как организовать процесс перевода в будущем.

6. ИИДавайте вместе проверим возможности перевода?

Благодаря развитию ИИ выбор методов перевода стремительно расширяется.
С другой стороны, можно сказать, что из-за увеличения количества вариантов стало сложнее определить, что именно подходит для вашей компании.

«Можно ли сократить расходы на перевод с помощью ИИ?»
«Насколько можно заменить текущие процессы перевода на ИИ?»
«Хочу сравнить несколько сервисов ИИ-перевода»
«Можно ли использовать специализированную терминологию и данные прошлых переводов моей компании?»

Многие компании, вероятно, задаются подобными вопросами.
Производительность машинного перевода на базе ИИ растет с каждым днем. Результаты оценки, полученные сегодня, не обязательно будут такими же через полгода или год, и нет никакой гарантии, что завтра та же система ИИ выдаст тот же результат, что и вчера.
Именно поэтому важно проводить оценку с использованием документов, применяемых в реальной работе, и регулярно пересматривать результаты.
Компания Kodensha предлагает услуги по оценке качества машинного перевода на базе ИИ, сравнительному анализу и консультации по повышению эффективности переводческих процессов в соответствии с задачами и целями внедрения в вашей компании.
Вы можете обратиться к нам как на этапе рассмотрения возможности внедрения ИИ-перевода, так и в том случае, если вы уже столкнулись с проблемами в текущей среде перевода.
Расскажите нам сначала о ваших текущих процессах перевода.
Давайте вместе проверим возможности ИИ-перевода на примере ваших реальных рабочих задач.

Сопутствующие услуги

AI-перевод с накоплением активов | Kodensha