A Thinking Machines Lab, a startup de Inteligência Artificial mais misteriosa e bem financiada de Silicon Valley, liderada pela antiga diretora de tecnologia (CTO) da OpenAI, Mira Murati, começou finalmente a levantar o véu sobre os seus projetos. Com um financiamento inicial de 2 mil milhões de dólares (cerca de 1,84 mil milhões de euros) e uma equipa de elite composta por ex-investigadores da OpenAI, as expectativas são elevadas.
Numa rara primeira publicação no seu blogue, a empresa abordou um dos desafios fundamentais dos modelos de linguagem atuais: a inconsistência das suas respostas.
Porque é que a mesma pergunta tem respostas diferentes?
Se já utilizou o ChatGPT, certamente notou que ao fazer a mesma pergunta várias vezes, as respostas raramente são idênticas. Este fenómeno, conhecido como não-determinismo, tem sido largamente aceite como uma característica inerente dos sistemas de IA. No entanto, a Thinking Machines Lab acredita que este é um problema com solução.
A publicação, da autoria do investigador Horace He, argumenta que a aleatoriedade não é uma falha do modelo em si, mas sim da forma como os "kernels" das GPU – pequenos programas que correm nos chips da Nvidia – são orquestrados durante o processamento do seu pedido. A startup sugere que, ao controlar cuidadosamente esta camada de orquestração, é possível tornar os modelos de IA muito mais determinísticos e previsíveis.
A solução pode estar nos chips da Nvidia
Mas porque é que isto é importante? Para empresas e cientistas que dependem de respostas precisas e consistentes, esta capacidade de reprodução seria revolucionária. Além disso, segundo Horace He, respostas mais consistentes poderiam melhorar significativamente o processo de aprendizagem por reforço (RL), que consiste em recompensar os modelos de IA por respostas corretas. Se as respostas são sempre ligeiramente diferentes, os dados de treino tornam-se "ruidosos". Uma maior consistência tornaria todo o processo mais suave e eficiente.
Esta abordagem está alinhada com os planos que a Thinking Machines Lab partilhou com investidores, onde revelou a intenção de usar RL para personalizar modelos de IA para empresas.
Uma promessa de transparência que desafia a OpenAI
Mira Murati indicou em julho que o primeiro produto da empresa será revelado nos próximos meses, sendo direcionado para "investigadores e startups que desenvolvem modelos personalizados". Ainda não se sabe se este produto irá incorporar as técnicas de reprodução de respostas agora reveladas.
Esta publicação marca o início de uma série de blogues intitulada "Connectionism", com a qual a empresa promete partilhar frequentemente investigações, código e outras informações. Esta postura de abertura contrasta com a cultura cada vez mais fechada da OpenAI, que, apesar de ter nascido com um compromisso de investigação aberta, tornou-se mais reservada à medida que cresceu.
Embora esta primeira revelação não desvende completamente os planos da Thinking Machines Lab, mostra que a startup está a atacar alguns dos maiores e mais complexos desafios da investigação em IA. O verdadeiro teste será a sua capacidade de resolver estes problemas e criar produtos que justifiquem a sua impressionante avaliação de 12 mil milhões de dólares (cerca de 11 mil milhões de euros).
Nenhum comentário
Seja o primeiro!