Главная arrow книги arrow Копия Глава 23. arrow Статистический машинный перевод
Статистический машинный перевод

В качестве языковой модели P(F) может использоваться любая модель, позволяющая присвоить предложению определенное значение вероятности. При наличии очень большой совокупности текстов можно оценить Ρ (F) непосредственно путем подсчета количества случаев появления каждого предложения в этой совокупности текстов. Например, если с помощью Web будет собрано 100 миллионов французских предложений и обнаружено, что предложение "Clique ici" (Щелкните здесь) появляется 50 тысяч раз, то Р{ "Clique ici") равно 0,0005. Но даже при наличии 100 миллионов примеров количество экземпляров большинства возможных предложений будет равно нулю7. Поэтому мы будем использовать знакомую языковую модель двухсловных сочетаний, в которой вероятность французского предложения, состоящего из слов, может быть представлена следующим образом:

Для этого необходимо знать вероятности двухсловных сочетаний, такие как Р("Eiffel" | "tour") = .02. Эти данные позволяют учитывать только самые локальные проявления синтаксических связей, в которых слово зависит лишь от предыдущего слова. Но этого часто достаточно для грубого перевода.

Задача выбора модели перевода, Р(Е|F), является более сложной. С одной стороны, отсутствует готовая коллекция пар предложений (английский, французский), с помощью которой можно было бы проводить обучение. С другой стороны, такая модель сложнее, поскольку в ней рассматривается перекрестное произведение предложений, а не просто отдельные предложения. Начнем с одной чрезмерно упрощенной модели перевода и постепенно усовершенствуем ее до такого уровня, чтобы она напоминала известную разработку IBM Model 3 [196], которая все еще может показаться чрезмерно упрощенной, но обнаружила свою способность вырабатывать приемлемые варианты перевода примерно в половине случаев.

Рассматриваемая чрезмерно упрощенная модель перевода основана на таком принципе: "Чтобы перевести предложение, просто переведите каждое слово отдельно, независимо от другого, в порядке слева направо". Это — модель выбора однословного сочетания. Она позволяет легко вычислить вероятность перевода:

В некоторых случаях эта модель действует безукоризненно. Например, рассмотрим следующую конструкцию: