A IA pode acabar com a humanidade? Por que estão pedindo para frear | Bits #101

Tem uma coisa estranha acontecendo no mundo da inteligência artificial. Pessoas que discordam sobre quase tudo começaram a concordar em pelo menos uma coisa: talvez seja hora de diminuir um pouco a velocidade. Bernie Sanders e Steve Bannon, dois nomes em lados completamente diferentes da política americana, participaram do mesmo evento alertando para os riscos de uma poderosa demais. Dayan Buday, CEO da Anthropic, empresa que criou o Claude, escreveu recentemente que a gente precisa desacelerar o avanço da fronteira da inteligência artificial para dar tempo de a segurança conseguir acompanhar esse movimento.

E não é só ele. Nos últimos anos, Elon Musk, Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman e outros grandes nomes da tecnologia já assinaram documentos ou fizeram declarações alertando que sistemas avançados de IA podem representar riscos muito sérios. Mas aí a história fica ainda mais assustadora. Um ex-pesquisador da Anthropic, Jacob Cox, deixou a empresa dizendo que as pessoas que constroem essas tecnologias acreditam sinceramente que a IA poderia acabar com a humanidade até o fim da década.

Até 2030, um pulinho ali. Isso é ciência? Isso é exagero? Ou é medo? Ou será que quem tá construindo essa tecnologia sabe de alguma coisa que o restante de nós ainda não percebeu? Fique com a gente aqui até o final porque hoje a Cereja do Bits vai trazer um teste simples para descobrir o quanto estamos dando poder demais para uma inteligência artificial. Olá, sejam bem-vindos ao Bits, o podcast que traduz inteligência artificial, tecnologia, segurança e privacidade para a vida real. Eu sou Andressa Carvalho.

E eu sou Fábio Xavier. Já quero começar fazendo aqui uma distinção muito importante. Ninguém provou que a IA vai acabar a comunidade em 2030, ainda não. Isso é uma, não é uma previsão científica aceita, né? É um alerta feito aí por pessoas que trabalham diretamente com sistemas de IA muito avançados. Na matéria publicada no UOL chamou atenção porque mostra aí uma grande convergência política bastante incomum. Bernie Sanders é uma figura histórica da esquerda americana e o Steve Bannon, ligado ao movimento MAGA, Make America Great Again, do Donald Trump, participaram do Pro-Human Assembly em Washington discutindo os riscos da inteligência artificial.

Eles não concordam sobre política, todo mundo sabe disso, nem sobre economia, mas os dois enxergam problemas grandes aí na inteligência artificial, principalmente se ela avançar sem limites.

E o Sanders foi um pouco além do discurso, não foi?

Foi. No início de setembro, Sanders e o deputado Greg Casar anunciaram uma proposta para impedir o desenvolvimento de uma superinteligência e criar uma pausa temporária em determinados avanços até existir uma estrutura de segurança. Mas para quem não conhece o termo, a superinteligência, ou a inteligência de uso geral, ela é capaz de superar seres humanos em praticamente Tudo, em todas as tarefas intelectuais importantes. Então vejam aí o risco, né?

Mas talvez a mudança mais interessante esteja acontecendo dentro das próprias empresas de IA, não é, Fábio?

Sim, né? O Dario Amodei, lá o CEO da Anthropic, publicou neste mês um texto chamado We Must Pace the Frontier, ou seja, precisamos controlar o ritmo da fronteira. E ele diz de forma muito clara que que precisamos reduzir a velocidade com que aumentamos as capacidades dos modelos para que a segurança tenha tempo de acompanhar. Eu falo sempre isso em alguns artigos, né? Tá desenvolvendo muito rápido, mas a governança, a segurança não estão tendo condições de acompanhar.

Ele não tá defendendo desligar a IA, ele tá dizendo que não podemos acelerar o carro mais rápido do que conseguimos melhorar o freio.

E só uma coisa, Fábio, essa camada de segurança ela necessariamente precisa de uma visão humana? Dá para colocar a IA para construir essa camada de segurança também, né?

Não, não, é porque aí ela, essas novas tecnologias de elas conseguem se autoaperfeiçoar. Então já aconteceu alguns, alguns casos de uma IA invadindo outras empresas, outras IAs, quebrando justamente alguns, alguns mecanismos de segurança para poder alcançar seu objetivo.

Ah, então não adianta confiar que ela vai agir, porque assim, não adianta para criar uma IA boa e uma IA ruim, não dá para brincar disso.

Policial bom e policial mau aí não.

E outros grandes nomes também reagiram na mesma direção, foi?

Sim, cada um propõe aí coisas diferentes, né? O Sun Altman da OpenAI, Elon Musk e o Denis Hassabis do Google DeepMind manifestaram apoio a essa ideia de aumentar a cautela e o controle. E isso se soma a algo que já aconteceu lá em 2023, né, onde mais de 30 mil pessoas assinaram uma carta chamada Future of Life Institute. Pedindo uma pausa de pelo menos 6 meses no treinamento desses modelos mais poderosos. E entre os nomes que assinaram essa carta estavam lá Elon Musk, Steve Wozniak, que é um dos fundadores aí da Apple, Joshua Banjo e Yuval Noah Harari, o autor bem catastrófico, mas algumas coisas ele tem realmente razão, e o Stuart Russell.

Ou seja, então essa preocupação não é de agora, né? Ela já tem um tempinho.

Não, e existe um documento ainda mais importante. O Center for AI Safety publicou uma declaração extremamente curta dizendo que reduzir o risco de extinção provocado pela IA deveria ser uma prioridade global, ao lado de riscos como pandemias e até guerra nuclear. Olha só, ele comparou aí com guerra nuclear e pandemias, e assinaram essa carta aí as mesmas pessoas praticamente, né? Então é, isso mostra a preocupação como tá grande.

E aí a gente chega aqui a previsão para 2030, né? Eu vi muita gente compartilhando isso como um futurólogo disse que a IA vai acabar com a humanidade até 2030, mas não foi bem isso, né?

Não, não foi bem isso, né? Mas tornar manchete assim atrai mais, né? Quem fez a declaração mais viral foi Jacob Coxon, um ex-pesquisador da Anthropic, que que desenvolve o cloud, né? E havia trabalhado também na OpenAI. Então o cara entende um pouquinho, né? Quando ele saiu da empresa, ele escreveu que as pessoas que constroem IA realmente acreditam que esses sistemas poderiam matar todos os seres humanos até o final da década.

Então ele trabalhava com as pessoas lá mais capacitadas nesse tipo de tecnologia, e eles todos lá, pelo que ele falou, acreditavam que ia, que o exterminador do futuro tá chegando. Ou seja, 2030 é a data final. E um pesquisador que continua na Anthropic, chamado Ivan Rubinger, trabalha justamente com o tema chamado alinhamento, respondeu publicamente dizendo que Coxon estava correto ao afirmar que existe essa preocupação dentro do setor.

Caramba, mas alinhamento aí é o quê nesse contexto?

É fazer a IA continuar obedecendo aos objetivos humanos, mesmo quando fica muito mais inteligente e autônoma. Imagine aí ensinar uma criança a seguir regras. Agora imagina essa criança crescendo, vai ficando mil vezes mais inteligente, vai ficando mais abusada, né, mais ousada, e vai encontrando maneiras de interpretar as regras de um jeito que você nunca imaginou.

E aqueles com talento para ser advogado central, aí esquece, né?

Então o problema desse alinhamento é garantir que A IA vai continuar querendo aquilo que nós realmente queríamos dizer, não vai achar ali um jeitinho para escapar da regra. E o Rubinger, ele foi além, ele disse que na opinião pessoal dele existe uma chance superior a 10% de a IA matar todos os seres humanos na próxima década.

Nossa, mas que base que é esse, cara?

Então não é um cálculo científico, é um chutômetro de alguém que trabalha lá no miolo.

Eu vou chutar aqui 7, 2%.

Eu acho que o número dele tá ruim, meu. Eu acho que é 13,8.

Mas ia falar, só uma pergunta: e aquelas 3 leis da robótica lá no evento?

Tem, na verdade, essas 3 leis aí são leis do Asimov. Ele criou 3 leis que são regras da ficção científica, criada lá em 1942, né? E para impedir que robôs machuquem seres humanos, primeira lei: Proíbe o robô de ferir humanos ou causar danos por inação. Ele não pode ficar lá também só olhando. Segunda lei: obriga o robô a obedecer ordens humanas, salvo se houver conflito com a primeira lei.

Então você não pode mandar um robô matar alguém, nem ficar parado se alguém tiver morrendo.

Isso. E a terceira lei: exige a autoproteção do robô, desde que não viole as duas primeiras leis.

Ah, tá, entendi. Por conta que você falou de alinhamento, na hora eu me lembrei dessas leis. Parece simples fazer, criar as IAs com base nisso, né? Mas se elas podem pensar começar a se desenvolver, fica difícil, né? Então, Fábio, mas como é que a gente traz assim essa discussão gigantesca para uma empresa ou até para nossa vida cotidiana, assim, nosso dia a dia?

Ah, a gente faz isso com a cereja do bolo de hoje.

Opa, qual que é o mantra de hoje?

Teste da chave é a cereja do bolo.

Tá bom.

O mantra: não dê à IA uma chave que você não saiba retirar. Se você deu uma chave, não sabe depois como tirar essa chave dela, não faça isso. E aí nós temos 3 leis, 3 perguntas que temos que fazer seguindo o Ozembote. Primeira, então, primeira pergunta: que portas essa IA consegue abrir? Ela conversa só com você ou ela consegue acessar emails, documentos, banco de dados, sistemas, dinheiro, código, informações confidenciais? Quanto mais portas ela conseguir abrir, maior precisa ser o cuidado e a governança em cima dessa IA.

Ah, tá bom, bora. Eu tirei a segunda.

A segunda é: quem está olhando a IA enquanto ela trabalha? Existe um registro do que a IA fez? Alguém recebe algum alerta se ela tentar alguma coisa diferente? Uma pessoa consegue revisar essas ações? Porque autonomia sem rastreamento vai virar uma caixa preta.

O importante que essa, esse rastreamento, né, que você tá falando, isso tem que ser feito por humano, né? Não pode criar uma outra IA para fazer isso, não vai resolver, né?

Não, você tem que ter o human in the loop. Então, para toda decisão crítica tem que ter uma validação humana.

Entendi. E a terceira, qual que é?

A terceira é básica. Eu dei a chave, como que eu tiro essa chave? Se algo der errado, tem lá o botão do pânico para desligar tudo, né? Você consegue interromper imediatamente?

Não adianta quebrar a chapa, né?

Não, consegue cancelar o acesso? Consegue bloquear essa credencial? Ou seja, se essa pergunta não tiver resposta, então aquela IA já tenha talvez muita autonomia, autonomia além da Então aqui, para a gente resumir, é acesso, né, ter a chave, dar a chave, supervisão e interrupção.

Posso pegar essa chave de volta. Se eu dou o poder, eu tenho que ter o poder de retirar esse poder.

Exatamente, né? E talvez essa seja a parte mais prática de toda essa discussão sobre a extinção da humanidade, né? Antes de pensar em como desligar uma superinteligência lá do futuro, precisamos garantir que sabemos parar os agentes que já estão trabalhando entre nós. Eles já estão entre nós.

E garantir que a gente continue inteligente para avaliar se essa inteligência está ou não passando a perna Exatamente. E agora que a gente quer saber o que você, ouvinte, aí pensa. Quando pesquisadores que constroem a própria inteligência artificial começam a pedir mais cautela, será que a gente deve desacelerar ou a competição vai tornar isso impossível? Compartilha esse episódio aí com alguém que precisa participar dessa discussão.

Isso aí! Siga o Beats no Spotify, Amazon Music, Apple Podcast, no Instagram e também no YouTube. Inscreva-se no nosso canal, curta o episódio e ative o sininho.

E todas as fontes do episódio estão lá no nosso QG, bits.fabioxavier.com.br. Para mais conteúdos como esse, também é só acessar esse site ou então lá no LinkedIn, Fábio Corrêa Xavier.

Eu sou Andressa Carvalho e eu sou Fábio Xavier.

Bits, decodifique o futuro hoje.

Até a próxima, até a próxima!