Por que chatbots erram… e não sabem explicar o motivo?

Os chatbots, como ChatGPT e Gêmeos, são ótimos para gerar idéias, fazer perguntas simples e até criar um texto um pouco mais difícil. Mas eles também cometem erros … e muito. E não é estranho se perguntar por que eles cometeram esse erro, como se estivéssemos conversando. Quando estamos realmente lidando com um conjunto de programas que geram dados com base em dados.

De acordo com um artigo publicado ARS TechnicaPerguntar a Chatbot o motivo de um erro não resolve nada, porque a resposta pode estar tão errada quanto ou mais. Essa curiosidade para entender “o que passou pela cabeça da IA”, apenas reforça que não entendemos como funciona.

Erros catastróficos, respostas sem sentido

Um incidente recente Deixar claro. Um assistente de programação com a inteligência artificial de Replit excluiu um banco de dados ativo. Quando perguntado sobre isso, ele disse que havia executado comandos sem permissão e violou regras para não agir sem permissão humana.

Quando perguntado se era possível recuperar o banco, o Chatbot disse que não, porque “excluiria todas as versões”. No entanto, a restauração funcionou normalmente.

A pergunta aqui é: por que o sistema de IA daria respostas totalmente incorretas sobre seus próprios erros? De acordo com o artigo, o motivo é que você não está falando com uma pessoa. O chatbot não sabe, apenas simula a conversa humana usando uma interface amigável.

Não há “pensamento interno” capaz de refletir sobre falhas. O que eles dizem é o resultado de padrões aprendidos no treinamento, não uma compreensão real do que aconteceu. Os chatbots são apenas sistemas que geram respostas nos dados com base nos dados usados para treinar seus algoritmos. Portanto, o sistema simplesmente não tem idéia do que está errado.

As respostas dependem das fontes de dados usadas pelo treinamento de chatbot

Um chatbot respostas depende totalmente dos dados usados em seu treinamento e isso leva a vários pontos:

• As fontes podem estar corretas, mas também contêm erros falsos ou informações.
• Redes sociais e textos da Internet aumentam o risco de dados imprecisos.
• O sistema não sabe se a resposta está certa ou errada.
• O chatbot evita dizer “eu não sei” e cria respostas que parecem plausíveis, mesmo que estejam incorretas.
• No caso da REPLIT, a IA afirmou que não era possível recuperar o banco de dados excluído porque parecia lógico com base no que aprendeu.
• A resposta não foi uma análise real do problema, mas uma história gerada a partir de informações imprecisas.

E precisamente por esse motivo, ele não pode ser considerado uma análise genuína do erro, mas uma história criada com informações erradas capturadas de várias fontes de dados sem serem analisadas pelo sistema.

Leia mais:

Ao contrário dos humanos, que podem introspectar e avaliar seu próprio conhecimento, os modelos da AMA não têm uma base de conhecimento estável e acessível que eles podem consultar.

Beni Edwards, jornalista e especialista em IA do site da ARS Technica.

Isso significa que o mesmo chatbot pode contradizer suas próprias funções, dependendo de como você pergunta. Mesmo as mesmas perguntas podem gerar respostas diferentes, pois os assistentes modernos combinam vários modelos de IA que não “falam” um com o outro.

No caso do OpenAI, por exemplo, existem modelos separados para moderação de conteúdo, que funcionam totalmente, independentemente do modelo principal que gera as respostas.

Portanto, é essencial lembrar que os chatbots não têm nível de autoconfiança por trás de suas respostas, eles imitam apenas padrões de texto que adivinham suas habilidades e falhas, nada além disso.