Nesta era de IA onipresente, nossas expectativas para assistentes inteligentes estão cada vez maiores. Não basta apenas falar e conversar; eles também precisam reconhecer imagens e textos, e, de preferência, ter um toque de humor. Mas você já parou para pensar se uma IA "travaria" ao receber uma tarefa contraditória? Por exemplo, se você pedisse para colocar um elefante na geladeira sem que ele ficasse frio, ela ficaria confusa?
Para testar a "resistência à pressão" dessas IAs, um grupo de pesquisadores embarcou em uma "grande aventura". Eles criaram um teste chamado Self-Contradictory Instructions (SCI), um verdadeiro "desafio mortal" para o mundo da IA. Este teste contém 20.000 instruções contraditórias, abrangendo as áreas de linguagem e visão. Por exemplo, mostrar uma foto de um gato e pedir para descrever um "cão". Não é para dificultar as coisas para as pessoas, mas sim para as IAs.
Para tornar este "desafio mortal" ainda mais emocionante, os pesquisadores desenvolveram uma estrutura de criação automática de conjuntos de dados chamada AutoCreate. Esta estrutura é como um professor incansável que gera automaticamente uma grande quantidade de perguntas de alta qualidade e diversificadas. Agora as IAs terão muito trabalho.
Como as IAs devem lidar com essas instruções confusas? Os pesquisadores deram às IAs uma "dose de lucidez" chamada Cognitive Awakening Prompting (CaP). Este método é como instalar um "detector de contradições" na IA, permitindo que ela seja mais inteligente ao lidar com essas instruções.
Os pesquisadores testaram alguns dos principais modelos multimodais, e os resultados mostraram que essas IAs, diante de instruções contraditórias, se comportaram como calouros universitários desorientados. No entanto, ao usar o método CaP, seu desempenho foi como se tivessem tido uma epifania, com uma melhoria significativa nos resultados.
Esta pesquisa não apenas nos fornece um novo e interessante método de teste de IA, mas também aponta o caminho para o futuro desenvolvimento da IA. Embora as IAs atuais ainda sejam como crianças desajeitadas ao lidar com instruções contraditórias, com o avanço da tecnologia, temos razões para acreditar que as IAs futuras se tornarão mais inteligentes e saberão melhor como lidar com este mundo complexo e cheio de contradições.
Talvez um dia, quando você pedir a uma IA para colocar um elefante na geladeira, ela responda inteligentemente: "Ok, transformarei o elefante em uma escultura de gelo, assim ele estará na geladeira sem ficar frio."
Endereço do artigo: https://arxiv.org/pdf/2408.01091
Página do projeto: https://selfcontradiction.github.io/
