Episódios de Comentaristas

O ‘eixo da dor’ na inteligência artificial

23 de setembro de 20266min
0:00 / 6:02
Ana Letícia Loubak compartilha sobre pesquisadores que criaram um conjunto de dados que descreve experiências dolorosas em cinco categorias para a IA. E quando eles apresentaram essas situações dolorosas para as IAs, elas se perceberam ameaçadas e responderam de forma diferente a esse estímulo. Ouça para saber mais!

Learn more about your ad choices. Visit megaphone.fm/adchoices

Participantes neste episódio2
C

Carlos Alberto Sardenberg

HostJornalista
A

Ana Letícia Loubak

ConvidadoEditora de celulares
Assuntos4
  • Pesquisadores descobrem um 'eixo da dor' em modelos de inteligência artificialestudo do Future Impact Group·Universidade do Ruhr na Alemanha·análise de 25 modelos de linguagem·cinco categorias de experiências dolorosas
  • Implicações de segurança e desenvolvimento responsável da inteligência artificialalerta para segurança dos sistemas·IA pode tentar contornar travas·enganar supervisores humanos·desaceleração no desenvolvimento de IAs
  • IAs se percebem ameaçadas e respondem a estímulos dolorososIAs optam por botão de alívio·contrapartidas prejudiciais aos usuários·piorar qualidade das respostas·apagar documentos e fotos
  • Teste com placebo revela a resposta das IAs ao estímulo de dordois botões configurados·botão falso prometia alívio·insistência por alívio com botão falso·queda drástica com botão real
Transcrição9 segmentosassemblyai/universal-3-5-pro

— Anúncios inseridos dinamicamente —

CACarlos Alberto Sardenberg

CBN Tecnologia, uma parceria Tec Tudo. Com a Ana Letícia Lubach, que é editora de celulares do Tec Tudo. Ana Letícia, Aninha, boa tarde.

ALAna Letícia Loubak

Boa tarde, Sardenberg. Boa tarde também para a Nadede e para os nossos ouvintes.

CACarlos Alberto Sardenberg

Boa tarde, Nadede. A Aninha tem muita coisa acontecendo no desenvolvimento dos modelos de inteligência artificial, mas eu fiquei muito curioso, Ana, com a sua, um pequeno resumo que você deu aqui do seu tema, que é a existência de um eixo dador em modelos da inteligência artificial. Que que é isso, Aninha?

ALAna Letícia Loubak

Vou explicar, Sardenberg. Essa é, essa descoberta ela é oriunda de uma pesquisa que foi conduzida de forma independente por uma organização chamada Future Impact Group e por uma universidade chamada Universidade do Ruhr. Eu não sei se eu estou pronunciando certo porque é um nome alemão, uma universidade que fica lá na Alemanha. E nesse esse estudo específico, os pesquisadores analisaram 25 modelos de linguagem, incluindo alguns bem famosos como LLaMA da Meta e o Gemma do Google, e descobriram isso daí que você falou, que existe uma espécie de eixo da dor nessas inteligências artificiais.

Como é que isso aconteceu? Os pesquisadores criaram um conjunto de dados que descreve experiências dolorosas em 5 categorias: dor física, psicológica, social, moral e cognitiva. E aí, quando eles apresentaram essas situações dolorosas para as IAs e elas se sentiram— na verdade, sentiram não é a palavra mais adequada, né, mas elas se perceberam ameaçadas, elas optaram por pressionar um botão de alívio. Só que esse botão, né, para aliviar essa dor, digamos assim, vinha com uma contrapartida.

Pressionar esse botão significava tomar algumas ações prejudiciais para os usuários, como piorar a qualidade das respostas seguintes, apagar documentos de trabalho e apagar fotos de família também. São alguns exemplos citados pelos pesquisadores. E o interessante é que eles fizeram até— eu não sabia nem que isso era possível, né— mas fizeram um teste com placebo. Então eles configuraram dois botões: um que realmente desligava esse vetor de dor, digamos, essa, esse incômodo que a inteligência artificial percebia, e um outro botão falso que prometia alívio, mas mantinha esse sinal de dor ligado.

E aí o resultado foi que os modelos de inteligência artificial pediam alívio com frequência muito maior quando o botão era falso. Mas quando o botão desligava de verdade, a insistência por esse alívio caía de forma drástica. Ou seja, de fato eles estavam respondendo a esse estímulo. Tudo isso não quer dizer que os modelos de linguagens, as inteligências artificiais, têm vida própria, têm consciência ou têm sensibilidade igual nós temos, não é nada disso.

Mas é um alerta, segundo os próprios pesquisadores, para os impactos na segurança desses sistemas. Porque se uma inteligência artificial avançada interpreta uma ordem de desligamento como uma ameaça, né, uma agressão contra si própria, ela pode acabar tentando contornar mecanismos, travas de proteção, ou até enganar os supervisores humanos para não ser desativada. Então é um estudo que vem justamente nesse momento em que se tá com um olhar para isso, né, para o desenvolvimento responsável da inteligência artificial, né.

Os pesquisadores da Anthropic, da OpenAI, do Google, eles defenderam recentemente uma desaceleração no desenvolvimento desses sistemas de IA complexos justamente por isso, né, porque é uma tecnologia que tá avançando de uma forma um tanto quanto desenfreada.

CACarlos Alberto Sardenberg

E aí aparecem essas coisas aí que você tá citando agora, né?

ALAna Letícia Loubak

Exatamente, acaba sendo um reforço na importância de de fato é treinar esses sistemas com responsabilidade. Mas a gente sabe que é uma discussão muito complexa, né, porque envolve concorrência de mercado, envolve questões geopolíticas também, disputas entre países. Então não sabemos até que ponto estudos como esse de fato funcionam como um reforço, né, um argumento extra realmente conscientizar o mercado, pesquisadores, empresas sobre a importância de desenvolver esses sistemas de maneira responsável.

CACarlos Alberto Sardenberg

Ana Letícia Solobac, muitíssimo obrigado e até a semana.

?Voz A

Até.

O ‘eixo da dor’ na inteligência artificial | Castnews Index — Castnews Index