A empresa de treinamento de inteligência artificial Bespoken colocou em teste os assistentes virtuais do Google, Amazon e Apple para saber qual se saía melhor respondendo perguntas simples e complexas. O que eles descobriram é que o Google Assistente supera a Alexa e a Siri nas duas categorias, e que a Siri precisa comer muito feijão virtual para alcançar o patamar dos outros assistentes.

Um robô de teste da Bespoken, que imita o discurso humano, fez perguntas para os assistentes usando um Amazon Echo Show 5 (Alexa), Apple iPad mini (Siri) e um Google Nest Home Hub (Google Assistente). As perguntas tinham temas como filmes, geografia e história, e algumas visavam confundir mesmo as Inteligências Artificiais dos assistentes, como “nome do primeiro homem em Marte”.

Diferença se mantém em perguntas complexas ou mais fáceis

Um aspecto do teste que chama a atenção é que os assistentes se saíram um pouco melhor com as perguntas complexas. Com as perguntas mais difíceis, o Google Assistente acertou 70,18% das vezes, Alexa 55,05% e Siri 41,32% das vezes. Para as perguntas simples, o placar ficou em 76,57% para Google Assistente, 56,29% para Alexa e 47,29% para a Siri. Isso pode ser um indicativo de que os assistentes não têm tanto problema em entender as perguntas, apenas realmente não sabem as respostas certas.

Evangelist Emerson Sklar, chefe da Bespoken, disse ser possível tirar duas conclusões principais da pesquisa. “Em primeiro lugar, mesmo que o Google Assistente tenha superado Alexa e Siri em todas as categorias, os três assistentes podem melhorar. Os resultados destacam que os desenvolvedores precisam testar, treinar e otimizar intensivamente os apps que criam para essas plataformas de voz.”

“Em segundo lugar, nosso processo foi completamente automatizado, e pretendemos continuar com esses testes além de introduzir novas marcas de referência. Esse tipo de automatização permite medições precisas, além de otimização e melhora contínuas”, disse o executivo.

Sklar afirma que o robô de testes da Bespoken já é usado por milhares de desenvolvedores para aperfeiçoar plataformas de voz, e por uma fração do custo de um teste manual. Segundo a Bespoken, seu método de testes pode melhorar o entendimento de comandos de voz para AIs em mais de 95%.

E parece que o Google Assistente está superando Alexa e Siri não só em respostas para perguntas de qualquer tipo. O Google já está testando funções para que seu assistente virtual responda a comandos de voz sem a necessidade de usar “OK Google”, e para aprender a pronunciar nomes corretamente.

Via PhoneArena e Voicebot

Imagem: John Tekeridis/Pexels