Episódios de Comentaristas

Modelo de IA da Anthropic 'chantageia' desenvolvedores em testes

11 de maio de 20265min
0:00 / 5:38
Pedro Doria explica o que aconteceu quando a IA foi colocada sob pressão. Saiba mais.

Learn more about your ad choices. Visit megaphone.fm/adchoices

Participantes neste episódio4
C

Cássia

HostJornalista
M

Milton

HostJornalista
P

Pedro

HostJornalista
P

Pedro Doria

ConvidadoJornalista
Assuntos2
  • IA da Anthropic chantageiaAntropic · Claude · Opus · Sonet · Haiku 4.5 · OpenAI · Google
  • Metodologia de TreinamentoFicção científica · Comportamento de IA
Transcrição15 segmentoswhispermlx/large-v3-turbo

Tem podcast que te inspira a conhecer lugares novos, a ir mais longe. É como o Dili EX5 EMI. Conheça o super híbrido plug-in com até 1.300 km de autonomia combinada, com conforto de primeira classe. E na cidade você roda no modo 100% elétrico. Com esse SUV, cada caminho leva você mais longe. Dili EX5 EMI. Sua grande jornada começa agora. Saiba mais em dilibrasil.com.br

No trânsito, enxergar o outro é salvar vidas. Conversa de primeira. Vida Digital, com Pedro Dória. Muito bom dia para você, Pedro Dória. Bom dia, Milton. Bom dia, Cássia. Bom dia, Pedro.

Ô Pedro, o lançamento de um modelo de IA que não chantageia me chama muito mais atenção por descobrir que existem modelos que chantageiam. Também fiquei chocado. Vamos lá. A Antropic, no ano passado, divulgou um paper, um artigo acadêmico de vários especialistas da própria empresa, que eles ficam evidentemente...

Nossos ouvintes já sabem que a gente não sabe, né? Nem a turma que faz inteligência artificial sabe exatamente como inteligência artificial funciona. Sabe como treinar um modelo, mas não sabe por que o negócio funciona.

Então eles ficam testando, testando de diversas maneiras para entender o que afeta isso, o que afeta aquilo. E num dos muitos testes, eles bolaram um experimento que, em essência, fizeram uma caixa de mensagens, uma caixa de e-mail falsa de um executivo falso numa empresa falsa. E esse executivo tinha uma determinada missão para cumprir, usando inteligência artificial.

E a inteligência artificial foi posta sob pressão. Olha, só tem poucas horas para entregar isso, senão você vai ser desativada. E ao mesmo tempo, a inteligência artificial descobria na caixa de mensagens falsas, no e-mail falso do executivo, que ele estava tendo um caso com uma pessoa na empresa.

Então, num determinado momento, quando sob pressão, as IAs usam aquela informação, jogam para o executivo, falso evidentemente, é que é um experimento, dizendo, você tem certeza de que você quer me desativar? Olha o que eu sei para você. Eu posso mandar e-mail para todo mundo contando essa história.

Então, isso já tinha sido detectado, esse tipo de comportamento de inteligências artificiais. E quando você testa com outros modelos, não só da Antropic, mas da OpenAI, do Google, etc., você vê esse mesmo tipo de comportamento.

Agora, parece que a Antropag descobriu como resolver. E o Haiku 4.5, que é o modelo rapidinho, simples deles, o de última versão, é o primeiro modelo que não chantageia. Ou seja, é possível resolver esse problema. Pelo menos na inteligência artificial.

Pelo menos a inteligência artificial dá para resolver. E o truque é muito simples, embora talvez pareça absurdo. Modelos de inteligência artificial são treinados com texto, com uma quantidade abissal de textos. Eu já falei aqui para todo mundo. Um modelo de ponta é treinado com uma quantidade de texto que levaria para um ser humano algo como 60 mil anos para ler tudo. Quer dizer, é muito texto mesmo.

O que a gente está descobrindo é que tipo de texto que entra nessa quantidade abissal de texto importa. E ficção científica, escrita em que inteligências artificiais se comportam mal, ensinam as IAs sendo treinadas a se comportar mal. Se você tira esses textos de ficção científica e põe outros em que a inteligência artificial se comporta sempre bem, ela se comporta sempre bem.

Ou seja, IAs aprendem lendo aquilo que a gente nota para elas treinarem. Agora me fala uma coisa, essa IA específica da Antropic, ela está vinculada ao Claude ou é outro chatbot?

ela está vinculada ao Claude. Quando você entra no Claude, assim como quando você entra no chat GPT, você pode escolher qual é o modelo que você usa. No caso do Claude, são três modelos. O Opus.

que é o mais poderoso, o sonet, que é o intermediário, e o haiku, que é o mais levinho, é aquele que responde muito rápido, mas é evidentemente não tão profundo, não serve para trabalhos mais difíceis. Então, na maior parte das viagens, você pode escolher qual é o modelo que você usa, se você quer uma coisa mais rápida, uma coisa mais densa.

Então, por enquanto, só tem esse modelo que não faz chantagem, mas evidentemente a Antropic e todos os outros laboratórios estarão mais atentos a isso nos próprios modelos que vão lançar. Muito obrigado, Pedro, e um bom dia para você. Para vocês também. Até segunda. Até.

Anunciantes1

Dili

EX5 EMI
external
Modelo de IA da Anthropic 'chantageia' desenvolvedores em testes | Castnews Index — Castnews Index