Mensagens anteriores

A indústria da Inteligência Artificial continua a assistir a uma dança de cadeiras entre as principais empresas do setor, com a Anthropic a reforçar novamente a sua equipa com talento proveniente da concorrência. Andrea Vallone, que liderava a investigação de segurança da OpenAI focada nas interações de saúde mental dos utilizadores com os chatbots, anunciou a sua saída para se juntar à criadora do Claude.

Esta mudança marca mais um capítulo na transferência de conhecimento especializado entre as duas gigantes, num momento em que a segurança e o alinhamento dos modelos de IA são temas centrais no desenvolvimento tecnológico.

Foco na saúde mental e o desenvolvimento do GPT-5

Durante os seus três anos na OpenAI, Vallone desempenhou um papel crucial na construção da equipa de investigação de "política de modelos". O seu trabalho centrou-se numa das questões mais delicadas e controversas do último ano: como devem os chatbots reagir quando um utilizador demonstra sinais de problemas de saúde mental ou dependência emocional?

Vallone esteve envolvida no desenvolvimento de processos de treino para algumas das técnicas de segurança mais populares da indústria, como as recompensas baseadas em regras. Além disso, o seu trabalho abrangeu a definição de estratégias para o lançamento do GPT-4, dos modelos de raciocínio da empresa e ainda do muito aguardado GPT-5.

A investigadora destacou que liderou a pesquisa sobre questões praticamente sem precedentes estabelecidos, nomeadamente a forma como os modelos devem responder a indicações precoces de angústia mental por parte dos utilizadores. Este tema tem ganhado relevância à medida que surgem relatos de utilizadores que confiam excessivamente nestas ferramentas, por vezes com consequências trágicas.

Reunião com antigos colegas na equipa de alinhamento

Na sua nova posição na Anthropic, Vallone irá integrar a equipa de alinhamento, um grupo dedicado a compreender e mitigar os maiores riscos dos modelos de IA. Curiosamente, irá trabalhar sob a alçada de Jan Leike, o antigo líder de investigação de segurança da OpenAI que abandonou a empresa em maio de 2024, citando preocupações de que a cultura de segurança tinha sido ultrapassada pelo lançamento de "produtos brilhantes".

A indústria tem enfrentado um escrutínio crescente, com startups de IA a lidarem com processos judiciais e audiências no Senado dos EUA devido a casos de suicídio e outros incidentes graves ligados a interações com chatbots. A dificuldade em manter as barreiras de segurança em conversas longas tem sido um dos principais desafios técnicos.

Numa publicação partilhada esta quinta-feira no LinkedIn, Vallone expressou o seu entusiasmo por continuar a sua investigação na nova casa, focando-se no "alinhamento e ajuste fino para moldar o comportamento do Claude em novos contextos". Sam Bowman, líder da equipa de alinhamento da Anthropic, também elogiou a seriedade com que a empresa está a abordar o problema de definir como um sistema de IA se deve comportar.