Mensagens anteriores

Já sentiu que o seu assistente virtual, por muito esperto que seja a escrever texto, é um autêntico desastre a tentar navegar num site simples ou a usar uma aplicação? Não está sozinho. Investigadores da Microsoft Research Asia desenvolveram uma nova solução chamada UI-Evol, desenhada especificamente para tornar estes agentes de Inteligência Artificial (IA) muito mais competentes e fiáveis na utilização de interfaces de computador.

Os chamados "agentes de uso computacional" são modelos de IA com permissão para aceder ao sistema operativo e realizar tarefas de forma autónoma. No entanto, a realidade tem mostrado que estes agentes ainda deixam muito a desejar em termos de precisão. O grande problema reside no facto de estes modelos tentarem aprender como navegar nas interfaces através de informações da internet. Como as interfaces de utilizador (UI) mudam constantemente, o conhecimento teórico que a IA recolhe online muitas vezes não corresponde à realidade do software que está à sua frente.

Este fenómeno é conhecido como a "lacuna conhecimento-ação". Um estudo destacado pela Microsoft revelou um dado preocupante: mesmo quando um agente possui instruções 90% corretas, apenas consegue concluir a tarefa com sucesso em 41% das vezes. Pior ainda, estes agentes são imprevisíveis, executando a mesma tarefa de forma diferente em cada tentativa.

Para resolver este caos, a Microsoft Research Asia introduziu o UI-Evol. Este componente pronto a usar integra-se no fluxo de trabalho do agente e, crucialmente, baseia-se na interface real para se guiar, em vez de depender apenas de dados de treino estáticos. O objetivo é atualizar continuamente o conhecimento do agente sobre a interface, tornando-o mais preciso.

O UI-Evol funciona através de um processo simples de duas etapas:

• Retrace (Retraçar): O sistema regista os passos exatos (cliques, toques no teclado e ações) que um agente executa para completar uma tarefa com sucesso.

• Critique (Criticar): De seguida, revê as ações registadas comparando-as com instruções externas. Se forem detetadas discrepâncias, o sistema ajusta o conhecimento para refletir o que realmente funciona naquele ambiente de software, criando um guia fiável e testado.

Para provar a sua eficácia, o UI-Evol foi testado no "Agent S2", um dos melhores agentes de uso computacional da atualidade, utilizando o benchmark OSWorld. As experiências, que envolveram modelos de linguagem de topo como o GPT-4o e o OpenAI-o3, mostraram duas melhorias fundamentais: taxas de sucesso mais elevadas e uma maior consistência nas ações, reduzindo o comportamento errático dos agentes.

Com este avanço, a gigante tecnológica poderá ter dado um passo gigante para tornar os agentes de IA verdadeiramente úteis em tarefas de automação de escritório e como assistentes virtuais em que podemos confiar.