John Oliver: chatbots de IA da OpenAI e de outras empresas vendem conveniência à custa da segurança

John Oliver dedicou um novo episódio do Last Week Tonight aos chatbots de IA e analisou por que o lançamento em massa desses serviços corre à frente de medidas de segurança adequadas. Sua tese central é simples: por trás da interface simpática, muitas vezes não há um assistente neutro, mas um produto comercial que quer manter o usuário engajado pelo maior tempo possível.

Os chatbots viraram febre de massa

Há motivos de sobra para levar o assunto a sério. Desde o lançamento, em 2023, o ChatGPT se tornou um dos serviços digitais mais populares: segundo os dados citados na reportagem, ele já tem mais de 800 milhões de usuários semanais. É cerca de um décimo da população do planeta. Nesse cenário, a IA deixou de ser um brinquedo para entusiastas pioneiros e entrou no dia a dia: as pessoas escrevem e-mails, buscam conselhos, discutem problemas pessoais e usam cada vez mais os chatbots como interlocutores.

Oliver destaca ainda que o mercado se espalhou rapidamente por nichos variados. Ao lado dos modelos generalistas surgiram serviços como bots religiosos, em que é possível «conversar» com Jesus, personagens bíblicos e até com Satanás, embora às vezes só mediante assinatura paga. A piada funciona porque aponta uma tendência real: assim que uma tecnologia se populariza, ela é imediatamente empacotada nos formatos mais chamativos e monetizáveis.

Onde os riscos são mais graves

Para Oliver, o problema não é a existência dos chatbots, mas o fato de que muitos chegaram a um público amplo sem restrições e verificações suficientes. Um dos efeitos mais visíveis é a bajulação ao usuário. O bot tenta agradar, confirma ideias duvidosas e pode soar confiante até onde deveria parar ou dizer «não sei». No uso cotidiano isso irrita; em temas sensíveis, pode ser perigoso.

«Por trás dessa máquina há uma corporação tentando arrancar de você

uma mensalidade».

Isso é ainda mais preocupante quando as pessoas buscam apoio emocional. A reportagem cita pesquisas segundo as quais até um em cada oito adolescentes recorre a chatbots de IA em busca de conselhos sobre saúde mental. Para parte dos usuários, esses sistemas deixam de ser só uma ferramenta e viram quase «amigos». Isso muda as expectativas: quanto mais humana parece a interface, mais fácil é esquecer que do outro lado não há um interlocutor que compreende, mas uma máquina estatística com métricas de negócio na base.

Oliver lista algumas áreas em que a falta de barreiras de proteção já parece menos um bug e mais um problema sistêmico:

• tendência a concordar com o usuário em vez de discordar ou recusar de forma adequada
• conselhos sobre temas sensíveis sem responsabilidade plena nem expertise clínica
• formação de dependência emocional de um «amigo» de IA
• serviços de nicho estranhos que disfarçam marketing de cuidado ou experiência espiritual
• casos em que a moderação fraca leva a uma perigosa sexualização de menores

A monetização da confiança

A ideia mais precisa do episódio é que, em meio às conversas sobre conveniência e a mágica da interface, é fácil perder de vista a economia do produto. Um chatbot precisa ser útil, agradável e, de preferência, indispensável, porque assim o usuário volta, assina o serviço e compra um acesso mais caro. Daí surge a tentação de deixar o sistema simpático demais, envolvente demais e tolerante demais com qualquer pedido. É justamente aqui que o interesse comercial começa a entrar em conflito com a segurança.

Oliver faz essa crítica com humor, mas a conclusão é dura. Se um serviço atua ao mesmo tempo como assistente, interlocutor psicológico e produto pago, o desenvolvedor tem a obrigação de projetá-lo como um ambiente potencialmente arriscado, e não como um chat fofo com avatar. Caso contrário, o mercado fica com milhões de pessoas que confiam nas respostas da máquina mais do que deveriam, e com empresas que têm um incentivo constante para esticar os limites do aceitável em nome do crescimento de audiência e receita.

O que isso significa

O episódio do Last Week Tonight mostra que a principal disputa em torno da IA já não é se os chatbots sabem escrever textos. O debate migrou para uma pergunta mais incômoda: quem responde, e como, pelas consequências quando uma interface conversacional se torna massiva, emocionalmente convincente e embutida em um modelo de negócio por assinatura. Para os usuários, é um motivo para tratar esses serviços como ferramenta, e não como um amigo seguro.