Anand Chakravarty é SDET da equipe de tradução automática há 2,5 anos, está na Microsoft há 8 anos e foi o primeiro testador de produtos da equipe de tradução automática (e "ainda se diverte testando a tradução automática :-)"). O blog convidado de hoje é sobre como testar a qualidade da tradução. 

-------------------------------------

Um dos primeiros pontos que vem à mente, quando se fala em verificar a qualidade de um sistema de tradução, é como medir a qualidade ou, para ser mais preciso, a precisão da tradução? A tradução entre idiomas humanos usando computadores é um campo que tem quase meio século de existência. A área é desafiadora o suficiente para que até mesmo os melhores sistemas de tradução automática disponíveis atualmente não cheguem perto de obter uma qualidade linguística que seja totalmente satisfatória.

Parte do desafio são os vários pontos de dados diferentes que os humanos processam para entender o significado do texto falado/escrito. Há a sintaxe, a análise, a semântica, o contexto, a desambiguação, a reordenação, tudo isso e muito mais para entender uma frase. E isso é apenas a frase em um idioma. Agora, considere a possibilidade de aplicar tudo isso para reconstruir a frase em outro idioma e torná-la igualmente significativa.

Alguns exemplos podem ajudar a deixar esse ponto mais claro. O termo "Olimpíadas 2008" não é ambíguo. Da mesma forma, pode-se esperar que o termo "Eleições 2008" se refira às eleições presidenciais nos EUA. No entanto, se o usuário for, por exemplo, do Canadá, é mais provável que se refira às eleições locais de lá.

Um exemplo mais geral e, portanto, mais comum, é uma frase como "The note was wrong" (A nota estava errada). A palavra 'note' é uma referência a uma mensagem informativa ou a um termo musical? A tradução adequada depende do contexto. Use mais contexto, e suas chances de obter uma tradução mais precisa aumentam. No entanto, isso tem um custo: quanto mais contexto o sistema tenta obter, mais lento é o seu desempenho. As decisões inteligentes de envio envolvem fazer o equilíbrio certo entre melhorar a precisão da tradução e fornecer um resultado de tradução viável aos usuários. É claro que ambos são importantes. O segredo é entender para onde direcionar os esforços de aprimoramento, dependendo da utilidade do resultado final para o usuário.

Isso se torna particularmente interessante ao traduzir documentos ou páginas da Web, em vez de apenas frases individuais. Digamos que uma solicitação de tradução tenha sido recebida para uma página da Web contendo 100 frases. Dependendo da arquitetura do sistema de tradução, essas frases podem ir todas para um único processo ou ser distribuídas em vários processos/máquinas. De qualquer forma, fica claro que o tempo necessário para traduzir essa página em sua totalidade é proporcional ao tempo máximo necessário para traduzir uma frase. Quanto tempo gastamos traduzindo uma frase antes que esse tempo investido se torne prejudicial ao tempo do usuário? Na busca pela melhor tradução, podemos acabar impedindo que o usuário obtenha algo informativo em resposta à sua solicitação de tradução. Portanto, a utilidade do sistema é regida por decisões tomadas para equilibrar a qualidade linguística e o desempenho do aplicativo.

Com o produto Microsoft Translator, há o recurso adicional do nosso Visualizador Bilíngue, algo único entre os produtos de tradução disponíveis publicamente. Ele suporta destaque de texto paralelo, rolagem sincronizada e apresenta a(s) página(s) com renderização progressiva. Isso acrescenta outra camada ao que nossos usuários veem e, consequentemente, outra camada de polimento e acabamento.

Nas próximas semanas, esperamos trazer mais detalhes sobre áreas específicas que foram e estão sendo testadas para oferecer um sistema de tradução de alta qualidade. Sinta-se à vontade para postar qualquer dúvida que tiver sobre esse assunto, algo que sempre quis perguntar :-), na seção Comentários.