Машинный перевод текстов (Cognitive Translator)

Cognitive Technologies разработала систему машинного перевода текстов нового поколения Cognitive Translator, в основу которой легло более глубокое представление знания о языке. Процесс разработки системы занял около 60 человеко/лет и длился более 8 лет.

Научный коллектив Cognitive Technologies (в то время ВНИИСИ АН СССР) начал заниматься задачами машинного перевода, как направлением искусственного интеллекта, более 20 лет назад, за 5 лет до образования компании, в рамках работ по набору первых словарей перевода. Проект Cognitive Translator рассматривается компанией как научный, хотя некоторые из его результатов сегодня используются при построении комплексных информационных систем и при разработке тиражируемых программных продуктов.

Проект по созданию данной версии Cognitive Translator начался в 2000 году. Его участниками, помимо специалистов Cognitive Technologies, стала группа профессиональных лингвистов из МГУ, Института Русского Языка РАН и других организаций. Группой были разработаны уникальные алгоритмы синтаксического разбора и правила машинного перевода. На их основе была построена новая более совершенная - структурная модель представления знания о языке, которая включает, помимо описания морфологии и синтаксиса, еще и элементы анализа структурных связей. За счет этого система добивается глубокого "понимания" текста, и даже претендует на разрешение смысловых неоднозначностей ("ключ" дверной и "ключ" - источник воды).

Принципы построения модели языка, заложенные в Cognitive Translator, основаны на технологии анализа - понимания текста, что позволило в рамках исследовательского проекта при участии относительно небольшой группы разработчиков создать систему, дающую качество перевода, сравнимое с современными промышленными системами. Стоит отметить, что существующие сегодня на рынке системы машинного перевода используют подход, разработанный еще в 70-ых годах прошлого века, подразумевающий непрерывное ручное наполнения базы словоформ. Для достижения высокого качества перевода и добавления новых языков этот подход требует подключения огромных ресурсов (сотен специалистов), что, естественно, ограничивает число коллективов, занятых в этой области. Предложенная компанией Cognitive Technologies модель описания "языка" практически инвариантна (по отношению к языкам) и позволяет на порядок снизить трудозатраты при описании морфологии и синтаксиса различных языков мира. Построенные на ее базе системы перевода нового поколения позволят разрешать смысловые неоднозначности не только для двух языков, но и для всего межъязыкового пространства. В настоящее время ядро системы - анализатор текста, предназначенный для описания новых языков, находится в открытом доступе.

Технологии анализа информации, разработанные в рамках проекта Cognitive Translator, находят свое применение в создаваемых компанией информационных системах, в частности для решения задач распознавания и "понимания" документов.

Cognitive Translator (включая описание системы) находится в открытом доступе в сети Интернет по адресу http://cs.isa.ru:10000/ct/. Система представляет собой интерактивную среду, обеспечивающую возможность перевода, редактирования и синхронного просмотра оригинала текста, перевода и дополнительных вариантов перевода. Ограничение по размеру переводимого текста составляет 32 Кбайт (примерно 32 000 знаков). Система поддерживает два направления перевода англо-русский и русско-английский.

Необходимо отметить, что представляемый проект находился в течение последних пяти лет в режиме альфа-тестирования. За это время система сделала порядка 20 млн. переводов (около 15 000 переводов в день).