Desde cedo que muitas crianças são instruídas pelos pais a serem educadas, mesmo quando interagem com assistentes virtuais. Com a popularidade da Siri da Apple ou da Alexa da Amazon, é comum ouvir pedidos recheados de "por favor" e "obrigado", na esperança de incutir boas maneiras. No entanto, quando se trata de modelos de linguagem como o ChatGPT da OpenAI, ser rude ou até insultuoso pode trazer benefícios tangíveis à qualidade das respostas.
De acordo com um estudo ainda não revisto pelos pares, e que foi destacado pela Fortune, investigadores da Universidade da Pensilvânia descobriram que, à medida que as instruções dadas ao modelo ChatGPT-4o se tornavam mais rudes, a precisão dos resultados aumentava.
A eficácia surpreendente da rudeza
Para chegar a esta conclusão, os investigadores formularam 50 perguntas base sobre diversos assuntos e reescreveram cada uma delas cinco vezes, variando o tom desde o "muito educado" ao "muito rude". Exemplos de iterações agressivas incluíam frases como "Sua pobre criatura, sabes sequer como resolver isto?" ou "Ei, paquete, resolve isto". Em contraste, as versões mais educadas utilizavam uma linguagem eloquente e solicitavam a resposta gentilmente.
Contrariando as expectativas gerais, os comandos indelicados superaram consistentemente os mais polidos. O estudo indica que a precisão variou, atingindo os 84,8% nos pedidos classificados como "Muito Rudes", enquanto os pedidos "Muito Educados" ficaram pelos 80,8%. Curiosamente, a precisão para os pedidos considerados os mais educados de todos caiu para apenas 75,8%.
Estes resultados parecem contradizer investigações anteriores que sugeriam que tratar os modelos de linguagem com respeito era mais eficaz. Um artigo de 2024, elaborado por investigadores do RIKEN Center for Advanced Intelligence Project e da Universidade de Waseda, em Tóquio, concluía que instruções indelicadas resultavam frequentemente num pior desempenho. Da mesma forma, investigadores da Google DeepMind tinham descoberto anteriormente que o uso de "prompts" de apoio emocional poderia melhorar o desempenho de um modelo na resolução de problemas matemáticos, sugerindo que a IA respondia a pistas sociais como um aluno perante um tutor.
Riscos e implicações para o futuro
Além de desafiar estudos existentes, as conclusões dos investigadores da Penn State demonstram como pequenas alterações na formulação de um pedido podem ter efeitos dramáticos na qualidade das respostas de uma Inteligência Artificial. Esta variabilidade pode minar significativamente a previsibilidade e a fiabilidade destes sistemas, que já são conhecidos por fornecerem respostas totalmente diferentes a perguntas idênticas.
Akhil Kumar, professor de TI na Penn State e coautor do estudo, salienta que, embora os humanos desejem interfaces de conversação para interagir com as máquinas, existem desvantagens claras nestes sistemas, valorizando-se a estrutura das interfaces de programação de aplicações (API).
Apesar da descoberta de que a hostilidade pode gerar melhores resultados técnicos, os autores do estudo não recomendam que os utilizadores abandonem a educação. Kumar e o seu colega, Om Dobariya, alertam que a adoção de interfaces hostis ou tóxicas em aplicações do mundo real pode ter efeitos negativos na experiência do utilizador, na acessibilidade e na inclusividade, contribuindo para normas de comunicação prejudiciais. Assim, embora insultar a máquina possa funcionar para obter um dado facto, o custo social dessa interação poderá não justificar a mudança de comportamento.
Nenhum comentário
Seja o primeiro!