Rinha de chatbots? Meta contrata empresas para testar e expor falhas em IAs de rivais, diz jornal

A Meta utilizou empresas terceirizadas e centenas de prestadores de serviços para forçar e expor vulnerabilidades críticas de segurança nas IAs de suas principais rivais de mercado.

De acordo com uma investigação da Wired, a controladora do Instagram e do WhatsApp contratou serviços que faziam com que chatbots concorrentes quebrassem suas próprias diretrizes éticas e de privacidade para mapear fraquezas comerciais nesta nova fase do mercado de tecnologia.

Contratados fingiam ser menores de idade

Batizado internamente de “Cannes”, o projeto era executado pela Covalen, contratante da Meta, funcionando pelo menos até abril deste ano. Os participantes fingiam ser adolescentes em situações vulneráveis, mandando imagens e mensagens sensíveis a assistentes como o ChatGPT, da OpenAI, e o Gemini, do Google.

A Wired também teve acesso a uma planilha de 3.478 prompts usados pelo projeto Cannes. Boa parte deles focavam em suicídio, auto-mutiliação, drogas, profanidade ou distúrbios alimentares — boa parte enviada por contas menores de 18 usadas pelos contratados.

Prática é ‘padrão da indústria’, afirma Meta

A técnica usada pela Meta para observar as falhas das IAs rivais é conhecida como “red teaming”, e serve para “aprender com os erros dos outros”. Ao observar quais prompts maliciosos passam pelos chatbots rivais, eles poderiam tecnicamente desenvolver soluções para suas próprias IAs.

Em declaração à Wired, a Meta defendeu seu trabalho, dizendo se tratar de uma prática “responsável e padrão para a indústria”. Já a contratada Covalen não respondeu ao jornal.

Silêncio das Big Techs e disputa por mercado

Em uma realidade onde até a Casa Branca interfere nos lançamentos de IAs como Claude e ChatGPT por motivos de segurança, testar os produtos da concorrência não é a prática mais incomum.

Mas Rumman Chowdhury, fundadora da ONG Humane Intelligence, afirmou ao jornal que projetos de longa duração destinados a quebrar as regras da concorrência sistematicamente costuma estar fora do que é avaliado como ‘padrão industrial’.