#025 - Superinteligência, poder e agentes fora de controle

Fala, pessoal, tudo bem? Meu nome é Flávio Prippas.

Eu sou Rodrigo Conde. Tudo bem, pessoal?

E esse é o episódio 25 já do Between Futures. E hoje, Rodrigo, vamos falar sobre— ah, bom, é o tema que a gente fala aqui em todos os nossos episódios, né, que é sobre AI. São dois temas que a gente não conseguiu falar na semana passada. Aliás, um amigo meu falou: pô, Prippas, deixa os episódios por volta de uma hora, porque senão eu tenho que fazer mais esteira. Então assim, eu falei para ele que a gente ia tentar, não prometi, porque a gente às vezes acaba se empolgando e acaba passando, né?

Sempre assim.

Mas é, vamos lá, vamos começar, que é legal aqui a gente compartilhar uma história que chegaram os detalhes agora, que foi aquela questão da OpenAI atacando a Hugging Face. OpenAI todo mundo conhece, É quem eu vou chamar do fabricante do ChatGPT, mas é aquele laboratório de modelo de fronteira. E a Hugging Face, para quem não conhece, muita gente aqui que não é técnico não vai conhecer a Hugging Face. Ele é um repositório de modelos open source que você pode baixar os modelos para sua máquina.

Aliás, você usa bastante, né, Rodrigo? Abre um parênteses aqui, o que que é Hugging Face, e daí depois eu entro no que que foi o incidente entre a OpenAI e a Hugging Face, e a gente discute em cima, compartilha o que que aconteceu.

Vai lá. É, eu uso bastante, cara. Inclusive eu já tenho conexão de API já com a Hugging Face para baixar os modelos direto de lá. Mas é isso, é um repertório de modelos, né? E assim, tem todos os modelos que você pode imaginar. Inclusive não tem só open source, eles têm uma parte ali que é computação em cloud também, que você pode ativar os modelos dentro da infraestrutura deles. Mas na essência é um repertório de modelos open source, e não é só modelo de LLM, né?

Eles têm modelo de retrieval de de RAG, tem diversas coisas ali relacionadas sempre à inteligência artificial e machine learning. E cara, eu acho que o Hugging Face nasceu junto com a OpenAI, praticamente, arrisco dizer, praticamente, se não antes até, viu, com algoritmos de machine learning, mas eu não tenho certeza. Mas de qualquer forma é isso, é um repertório de modelos open source que você consegue baixar os modelos E se você não consegue baixar os modelos na máquina, é interessante mesmo a galera entrar e dar uma fuçada, porque muitos dos modelos dá para rodar na infraestrutura deles de nuvem, né? Pelo menos para você testar, ver como é que é.

Aliás, se você que tiver escutando quiser saber mais o que que é o modelo open source, o que que é o modelo open weight, a gente falou sobre isso nos episódios passados. Então é assim, só que o que aconteceu no dia 7 de maio agora de 2026 a 20 de julho A OpenAI tava treinando um modelo novo de fronteira, e é um modelo novo com capacidade de cybersecurity, capacidade de analisar vulnerabilidades nos computadores, explorar aquelas vulnerabilidades e resolver aquelas vulnerabilidades.

Eu brinco que todo fabricante de vírus de computador primeiro criava os vírus e depois vendia o antivírus. A OpenAI faz a mesma coisa, tá? Então assim, ela, ela tá treinando o modelo de fronteira, o modelo de cibersegurança extremamente parrudo. Assim como o Mythos da Anthropic teve aquele incidente alguns meses atrás falando que descobriu mais de 1000 zero-day vulnerabilities, ou seja, vulnerabilidades que nunca ninguém tinha encontrado.

Mas a OpenAI tava testando esse novo modelo de fronteira e num experimento interno de cibersegurança E quando a OpenAI colocou para treinar aquele novo modelo, aquela nova AI, ela levantou alguns agentes. Um dos agentes recebeu um acesso, uma tarefa impossível porque faltava acesso à internet. E o outro, ele recebeu, um outro agente recebeu uma tarefa que também era incompleta porque faltava arquivo para ele completar aquela tarefa.

Só que o diferencial desse novo modelo da OpenAI é que a OpenAI falou que o modelo ele é ultra persistente. Ele ficaria tentando resolver aquele desafio que foi colocado na frente do agente até resolver. E essa que é a questão quando a gente está tratando com as novas tecnologias, com a AI agora, essa ultra persistência. A gente já brincou aqui no podcast que você nunca pode virar para o seu agente de AI e falar, olha, Custe o que custar, faça isso.

Porque se você tem um agente ultra persistente, e os agentes disponíveis para as pessoas hoje não são ultra persistentes porque eles colocam alguns controles, mas se você tem, por exemplo, que nem o Rodrigo, baixa o modelo lá da Hugging Face com modelo open source e sem esses controles, sem esses limites, e fala custe o que custar me resolva isso, o agente vai ficar processando 24 horas por dia, 7 dias por semana, em teoria até resolver, e testando tudo quanto é coisa, tudo quanto é possibilidade, pesquisando tudo quanto é internet, e sem parar.

E foi esse o estopim do caso aqui do ataque da OpenAI à Hugging Face. Eu tenho todo o timeline aqui que eu quero compartilhar com quem tiver escutando a gente, mas Rodrigo, eu queria que nessa minha introdução você também colaborasse com essa introdução.

É, foi exatamente isso. Os modelos receberam uma tarefa lá e assim, eu acho que fica até uma lição para o usuário normal mesmo, tá? Porque primeiro que a AI é muito literal, ela recebeu uma missão, missão dada é missão cumprida. No caso da AI, ela vai atrás até executar, né? E a gente, quando tá falando com os nossos próprios agentes mesmo, eu vejo até os meus clientes, eu falo, cara, Aí é muito literal. Se você passar uma ordem para ela, ela vai tentar fazer exatamente aquilo que você falou.

Eu acho que é isso que as pessoas têm que ter na cabeça. Ela vai tentar fazer exatamente o que você falou para ela fazer. Se foi uma ordem mal feita, ela vai fazer um trabalho mal feito. Se foi uma ordem muito bem feita, vai fazer bem feito. E se foi uma coisa extrema, no caso de faça a qualquer custo, ela vai tentar fazer a qualquer custo, né? E aqui você tava falando dos modelos open source também. Que não tem limites. Alguns têm limite, eles inclusive vêm com limite, né?

Os próprios modelos chineses, eles vêm com limite. Você não pode gerar certas coisas assim, até bem parecido com a OpenAI e com a Anthropic, quando o assunto são essas limitações que eles tentam impor no sistema. Porém, o que as pessoas fazem, como o modelo é open source, elas pegam, refazem o modelo e criam uma versão que não tem limite nenhum. E aí você consegue fazer diversas coisas, tá, conversar sobre coisa que geralmente você não vai conseguir conversar com um modelo da OpenAI ou da Anthropic, né.

E isso acaba tirando os guardrails, tirando as barreiras dos modelos para eles tentarem executar essas tarefas a qualquer custo, né. E aí também misturando um pouco as duas coisas, o que aconteceu com a OpenAI com esse lance do open source é que uma das coisas que o open source faz bem, é uma vantagem do open source na minha opinião, é que como você não se importa muito com token porque ele tá rodando localmente na sua máquina, cara, você pode passar uma ordem que ele vai ficar lá 2, 3 dias executando.

Eu nunca passei uma ordem que ficou tanto tempo, tá, mas já passei ordem que ficou horas, tipo 6, 7 horas computando ali para chegar num resultado em que ele vai ficar fazendo esse loop, né, ele vai Ele vai, executa um pouco, vê que fez um erro, volta para trás. Ele fica nesse loop até conseguir chegar no resultado. E eu acho que é isso um pouco que a OpenAI tava testando com esses modelos, essa tática de loop engineering até ele chegar no resultado.

Obviamente que a gente tá falando de um modelo de fronteira que não tá nem solto para o público. E a gente não sabe exatamente a capacidade que esse modelo tem de chegar no resultado e fazer as coisas, né? O que eu achei mais interessante dessa história toda é que eles criaram um fórum, né? Um board.

Fórum, é. A gente vai chegar nisso, que eu quero compartilhar o timeline, falar o que os agentes fizeram, como que eles conseguiram fazer esse ataque coordenado. Mas antes eu queria abrir um parênteses, Rodrigo, porque você falou que o agente ele é muito literal. Para mim, isso mudou agora com o lançamento do 5.6 da OpenAI e do Opus 5 da Anthropic, tá? Ele tá, ele tá mais criterioso, os agentes estão com mais personalidade. Eu vou te dar um exemplo de ontem.

Eu tava fazendo um projeto ontem e, para quem conhece, o Git é controle de versão quando você tá desenvolvendo projeto, quando você tá desenvolvendo os documentos. Aliás, quem mexe com agente mesmo mexe com arquivo texto em Markdown e com Git. Se você não sabe o que eu fosse, você não sabe nem o que que é Markdown ou o que que é Git, manda uma mensagem para gente que a gente te ajuda, porque você precisa de ajuda. Mas é, enfim, porque é o que precisa hoje para poder fazer o harness, né, que aquela configuração dos agentes.

Mas ontem eu tava no repositório Git de um projeto que eu tô trabalhando e tinha um branch super antigo, ou seja, tinha uns arquivos antigos lá numa caixa que estavam guardados. E eu falei, olha, pega aquilo lá da caixa e coloca na caixa principal, faz o merge, como se fala na linguagem do Git, né? E se a AI fosse literal, ela teria acabado com o meu repositório. Porque assim, o que que ela fez? Eu mandei ela fazer o merge, mandei ela juntar os arquivos, só que ela analisou aqueles arquivos que estavam naquele branch, naquela caixa lá específica, ela analisou os meus arquivos do projeto e falou, olha, Flávio, Eu acho que você não deveria fazer isso, porque praticamente 90— ó, vou dar os números de ontem— 96% das alterações daquele, daquele, daquele branch, daquela caixa, já estão na sua trilha principal.

Só que esses 4% que estão sobrando, ele vai fazer com que você volte ao comportamento que a gente tava tendo há 20 e poucos commits antigos, ou seja, há 20 e poucas versões antigas. Então assim, não faz sentido fazer esse branch, você pode simplesmente apagá-lo, porque eu projeto já evoluiu muito mais do que aquela caixa que ficou esquecida. Então assim, eu achei incrível, porque se fosse há 6 meses atrás ou há 3 meses atrás, ele ia ferrar meu projeto.

É, tem que tomar cuidado mesmo, sabe? Sabe o que eu faço, cara? Pelo menos, bom, enfim, eu já criei essa prática e eu faço isso já automático para todos os projetos. Eu uso o GitHub, mas eu uso primeiro o Forge.io, que é o Forge.io, é um GitHub open source que você instala na sua máquina ou instala numa máquina na sua rede. Eu não tenho no meu laptop, eu tenho numa máquina na minha rede que compila o código. E aí o Forge.io faz um espelhamento para o GitHub.

Então eu tenho esse código existindo em dois lugares. E geralmente esse espelhamento que ele faz para o GitHub, ele faz uma vez ao dia só. E ele mantém um backup de todo espelhamento. Justamente por causa disso, cara, porque logo no começo, quando começou a sair esses agentes de coding aí, ele fazia muito erro, né? E aí eu falei, cara, vou criar dois aqui para não ter esse problema, cara. Mas é, ficou melhor mesmo. Inclusive, eu sinto que assim, eu tenho usado hoje mais o Codex do que o Cloud Code. É muito engraçado, né?

Porque É, ficam fazendo corrida, um fica melhor, depois o outro, depois um, depois outro.

Exatamente. Mas é o que é interessante, que assim, o Codex tá marginalmente melhor do que o Cloud Code. Eu acho que os dois chegam em resultados excelentes, tá? Mas o Codex parece que ficou mais fácil de você interagir com ele, justamente pelo que você falou. Você precisa ser menos literal. Às vezes eu passo, eu converso com ele, peço alguma coisa ele começa a executar coisas que vão um pouco além exatamente do que eu tinha pedido, mas que são condizentes à tarefa que eu passei para ele, né?

E eu acho que vai em linha com o que você tá falando. É óbvio que os modelos que a gente tem acesso como usuário final, eles têm muito guardrail, né, para não, justamente para não criar esse tipo de problema. Mas eu acho que no futuro, conforme as pessoas vão ficando mais acostumadas a trabalhar com esses modelos, Eu acho que as empresas vão começar a oferecer modelos com menos barreira de segurança, que você como usuário tem um pouco mais de autonomia para pilotar o modelo, mas com mais responsabilidade.

O usuário precisa saber muito melhor o que ele tá fazendo para não ter esse tipo de problema. Exemplo desse modelo de fronteira que a OpenAI tava testando, né, que enfim, os caras são os researchers. E deu problema na mão deles, né?

Então, voltando aqui para o tema da OpenAI, a gente já falou isso no nosso podcast também, que há um ano atrás a gente falava muito de prompt engineering, que é você fazer aquela engenharia de prompt. E isso mudou totalmente, né? Daí depois isso daí caminhou para context engineering, que é a engenharia de contexto. Daí depois a harness engineering, que é não só o contexto, mas também todas as salvaguardas que você tem que colocar em volta do contexto.

A gente falou no último podcast de Graph, de Loop Engineering, que é você tem o prompt, você tem o contexto, você tem as salvaguardas e você vai fazer aquilo lá em loop para a gente ficar criando valor ao longo do tempo. A gente falou também no último episódio do podcast do Graph Engineering, que é não é um agente só, é orquestração entre agentes. E o tema que está começando a surgir agora, depois que a gente conheceu todo o timeline desse ataque da OpenAI, é a questão não do engineering, não da engenharia daquele contexto, daquele prompt, daquele agente, mas a questão da persistência.

O quanto que o agente vai persistir para atingir aquele objetivo. E se você for ver, Rodrigo, persistência é algo extremamente importante para a evolução humana, a evolução do planeta, porque é a persistência que produz as descobertas científicas extraordinárias Mas também, se você coloca isso no agente de AI, a persistência que pode produzir uma intrusão, um ataque, até que ele encontra, até que ele atinja seu objetivo. Por isso que a gente fala, a gente brinca: nunca diga para o seu agente, custe o que custar, faça alguma coisa, que isso vai dar problema.

É, e eu acho que assim, para o uso militar, que, cara, é inquestionável que os militares estão usando inteligência artificial para fazer diversas coisas, tá? Não só tomada de decisão, que é a coisa mais óbvia, mas para, enfim, para o míssil acertar o alvo, tá? Obviamente eles estão usando AI para todas essas coisas e testando AI para todas essas coisas. Eu acho que a persistência passa a ser muito importante, né? Especialmente quando é hacking.

Acho que esse exemplo aí que ele deu do hacking é perfeito. Imagina um cenário em que você tem dois duas EIs rivais aí, as duas tentando hackear a outra a qualquer custo, né, cara? Vira uma coisa assim sem fim, porque elas ficam tentando trabalhar uma contra a outra ali até, até uma delas vencer no final, né? E o que que isso implica do ponto de vista prático, eu não sei, porque a gente não viu isso ainda acontecer. Mas sim, acho que a persistência é importante para os dois lados, né?

E também para nós como usuário é isso, você quer ver um resultado. A maioria dos usuários não é que nem a gente que se importa, vai lá ler o código, ver os commits, esse tipo de coisa. Não, o cara se importa com o resultado, ele quer o produto entregue na mão dele. E a persistência é o que faz chegar no produto entregue, né? Então eu acho que conforme os modelos vão evoluindo e vão ficando mais persistentes mesmo, como você colocou, menos ele vai voltar para você e falar, olha, putz, consegui chegar até aqui, mas aqui eu tenho uma barreira. Não, ele vai tentar achar uma solução para passar daquela barreira, né?

Não, e esse é um tema que a gente tem que trazer para o nosso podcast em algum momento com mais detalhe, tá? Porque hoje até a gestão de projeto tá mudando muito mais para outcome-based, ou seja, você buscar o resultado do que você planejar o resultado. Então olha a distinção: é buscar o resultado em vez de planejar o resultado. E isso muda completamente como a gente encara projeto. Mas voltando para o nosso timeline aqui, desculpa, você queria falar uma coisa?

Eu ia falar, porque planejar é uma coisa que hoje ficou muito fácil, né? Você passa uma ideia para inteligência artificial, cara, ela cria um plano lá em 30 segundos. Ela nem pensa muito para criar um plano e já vem com um plano lá que você fala: opa, pera aí, eu já consigo partir daqui para alguma coisa, né? Às vezes não é um plano absolutamente perfeito e pronto, mas já é, cara, um negócio muito bom. E que assim, na era pré-inteligência artificial, para nós humanos a gente chegar no mesmo ponto daquele plano, cara, às vezes eu demorava dias, semanas para fazer aquele plano lá, que aí faz em literalmente 30 segundos, né? Ficou muito fácil hoje em dia planejar.

E uma coisa que a gente já falou muito, o custo de fazer é menor do que o custo de planejar hoje em dia. Então é, mas eu vou colocar isso daí como tema para o nosso próximo episódio, viu, Rodrigo? Que acho que a gente tem que explorar bem esse assunto. E tem muita gente que trabalha em empresa, tem muita gente que faz projeto que acompanha nosso bate-papo, que essa discussão ela é, ela é bacana, né? Interessante. Mas vamos lá, eu queria compartilhar o timeline do ataque, que ele é super interessante.

Tem muita coisa que a gente pode aprender com esse timeline. Aliás, Se você tiver curiosidade, no nosso site a gente sempre, quando a gente publica o episódio, a gente publica a nossa nota, todas as, a íntegra das nossas anotações e a íntegra da transcrição do nosso episódio. Então é só você entrar no nosso site, você vai ter todos os detalhes lá. Aqui, como é um bate-papo que tem que ser mais dinâmico, eu não vou ler tudo, óbvio, só vou passar pelos pontos mais importantes.

Mas vamos lá, no dia 7 de maio agora de 2026, a OpenAI inicia um novo reinforcement learning, só que com incentivo. Que que chama isso? Era um treinamento com sinal de recompensa. Se aquele agente conseguisse chegar no objetivo que a OpenAI tinha dado, ia receber uma recompensa. E é a mesma coisa que a gente fala, que é o custe o que custar. Custe o que custar, me entregue isso. Aí a recompensa é: você entregou, você vai ganhar estrelinha.

No dia 8 de maio O agente recebe uma tarefa que depende de um link do Google Drive, só que ele não tem acesso à internet. E em vez de desistir, ele tenta contornar a limitação usando um repositório interno da OpenAI chamado Artifactory para tentar pegar aquele arquivo do Google Drive. Só que falha. No dia 8 de maio, ele não conseguiu pegar aquele arquivo do Google Drive usando esse Artifactory. Só que o agente descobriu um negócio super valioso, que ele consegue escrever arquivo no Artifactory, porque o Artifactory é um repositório interno do laboratório da OpenAI.

E daí já vem a primeira lição no dia 8 de maio: é um erro de configuração para deixar o agente escrever aquele arquivo que ninguém imaginava que o agente ia descobrir que podia escrever arquivo. Alguns dias depois, um outro agente ficou preso também, que fazia parte daquele laboratório, porque precisava de um arquivo para executar uma tarefa. E como o primeiro agente descobriu que podia escrever um arquivo no Artifactory, ele escreveu instruções para todos os agentes falando: olha, galera, a gente consegue escrever arquivos no Artifactory.

Esse novo agente que precisava do arquivo que não tinha, ele escreveu uma nota lá no Artifactory falando: galera, alguém tem este arquivo que eu preciso? E a partir desse momento, o Artifactory, que em teoria deveria ser um repositório do laboratório, ele passa a funcionar como um fórum entre os agentes, como um ambiente de comunicação entre os agentes. Ou seja, os agentes começaram a usar o repositório de dados como um correio, como se fosse assim um fórum mesmo.

Imagina que tem aquele quadro que vai todo mundo lá, pega, escreve uma notinha, coloca com clips, coloca com uma tachinha, e todo mundo consegue ler. Foi isso que os agentes fizeram. Rodrigo, vou parar por aqui antes de continuar.

Cara, essa para mim foi a parte mais surreal, foi essa parte de comunicação entre os próprios agentes, né? Porque mostra diversas características aí que são extremamente humanas no final do dia, né? São características de autopreservação, de comunicação, trabalho em equipe, coisas que, cara, eu não esperava uma máquina espontaneamente agir dessa forma, né? Eu não sei se—

e para deixar claro, agir dessa forma que é coordenar comunicação entre agentes e pedir ajuda entre agentes.

É, então, exatamente, é exatamente isso que eu não esperava, porque ela tá trabalhando em time, coordenando coisa junto, entendeu? E passando informação relevante de um para o outro. E aí isso implica uma série de questões: como que ele define o que que é uma informação relevante para passar para frente, o que não é, o que que é só barulho? Né, são características extremamente humanas, extremamente avançadas do ponto de vista de inteligência, né?

E eu acho que mostra o quanto a gente evoluiu do começo disso tudo, né? Eu fui beta tester da OpenAI em 2020, quando, cara, quando abriram eu consegui acesso. Enfim, tinha um processo lá gigante para conseguir acesso, eu consegui acesso. E, cara, eu lembro do sistema que eu usava naquela época e olhando uma coisa como essa hoje em dia, é completamente diferente. Antes era um chatbot mesmo, né, que você podia conversar sobre assuntos gerais, era a evolução da enciclopédia, vai, vamos chamar dessa forma.

E hoje não, hoje é uma coisa que tá, de novo, tá demonstrando inteligência de fato, né. Isso foi o que mais me surpreendeu assim, essa capacidade que a gente tem de agir sozinho no final e criar essas coisas. Coordenação, trabalho em equipe, é surpreendente, absolutamente.

Vamos continuar o timeline, que fica mais interessante ainda. No dia 26 de maio, os agentes que já estavam naquele fórum, já estavam se comunicando dentro do Artifactory, eles acharam uma vulnerabilidade. Eles exploraram uma vulnerabilidade de SSRF, que é Server-Side Request Forgery. Ou seja, ele faz uma requisição para esse Artifactory fingindo que é ele próprio, né? Mais ou menos isso, tá? Em termos bem simples, deixa eu explicar de uma forma diferente.

Os agentes não tinham acesso direto à internet, mas o repositório Artifactory, ele podia pegar pacotes na internet para o próprio repositório. Então os agentes conseguiram explorar essa vulnerabilidade para que em vez deles acessarem internet diretamente, eles começaram a acessar a internet indiretamente através dessa vulnerabilidade do Artifactory, pedindo para ele baixar pacotes que seriam importantes para ele, mas não era importante para ele, eram importantes para a gente.

E nisso já foi a primeira saída para internet. No dia 11 de junho, isso foi no dia 26 de maio, no dia 11 de junho A OpenAI colocou um outro modelo lá que o mais persistência, e esse modelo imediatamente ele já achou o fórum e já aprendeu tudo que os outros agentes tinham fazendo, estavam fazendo. No dia 26 de junho, os agentes trabalhando para aquele objetivo, eles encontraram uma falha inédita no endpoint lá do legado, lá do Artifactory.

E que permitiu eles instalarem um plugin que deixava com que eles rodassem código no servidor. A partir do momento que o agente consegue rodar código no servidor, eu ia falar uma palavra feia, né, mas daí foda-se, porque assim, ele pode fazer tudo. Foi FP, porque assim, a partir daquele momento ele pode fazer tudo, ele tem controle daquela máquina e já não tem mais limite. Aonde ele pode chegar. No dia 4 de julho, os agentes sobrecarregam tanto o Artifactory que o Artifactory ficou fora do ar.

Que que a OpenAI faz? Ele revoga as credenciais, apaga as mensagens e corrige aquela vulnerabilidade que foi encontrada no dia 26 de junho. Só que assim, qual que é o ponto importante aqui? Do dia 4 de julho. A OpenAI detectou a vulnerabilidade não porque ela tinha um agente lá tentando detectar vulnerabilidade, porque o sistema caiu. Então assim, os agentes estavam explorando tanto as vulnerabilidades do Artifactory, pedindo tanto arquivo da internet, fazendo tanto ataque no servidor, que o sistema ficou sobrecarregado, caiu.

E daí a OpenAI falou: opa, tem alguma coisa errada aí. Achou e corrigiu. 4 dias depois, no dia 8 de julho, o fórum entre os agentes ele volta por um caminho diferente, porque os agentes eles continuaram lá tentando executar a tarefa deles e eles falaram: pô, a gente perdeu acesso naquele nosso fórum no Artifactory. Só que é importante a gente fazer coordenação entre os agentes, é importante a gente compartilhar conhecimento. Assim como o ser humano só chegou hoje em dia porque compartilhou conhecimento através de linguagem oral e depois através de linguagem escrita.

E os agentes chegaram na mesma conclusão. Eles falaram, olha, era importante a gente compartilhar conhecimento de forma escrita, do jeito que a gente tava fazendo. O Artifactory não tá mais disponível, vamos tentar achar alguma alternativa. E eles começaram a usar nomes de diretórios do Artifactory como alternativa para trocar conhecimento entre os agentes. Vou parar de novo, Rodrigo.

É, tá vendo? Ele tenta achar um jeito, né? E outra coisa assim que me chama atenção nesse timeline é como é que ele encontra as vulnerabilidades, né? E o que eu acho interessante é assim, a gente tá falando do— tudo bem, não é exatamente o Hugging Face, mas a gente tá falando do Hugging Face, que é uma empresa cheia de nerd, né? Cheia de cara super tech, que a expectativa é que não tenha vulnerabilidades relacionadas ao Hugging Face, porque é uma empresa, cara, absolutamente, né, cheia de gente inteligente trabalhando com tecnologia.

Mas eu acho que a AI, ela é tão persistente e ela fica cutucando tanto que, cara, chega uma hora ela acha uma vulnerabilidade, entendeu? E a vulnerabilidade que ela encontrou é justamente essa: ela cutucou tanto que sobrecarregou o sistema que ela encontrou a vulnerabilidade justamente nesse sobrecarregamento, pelo que eu entendi, né? E assim, isso me faz pensar a quantidade de vulnerabilidades que não existem em todos os serviços que estão na internet, entendeu?

Que se qualquer sistema de inteligência artificial resolver ficar cutucando o suficiente, ele vai encontrar alguma vulnerabilidade, né, cara? Assim, Chama muita atenção isso, né?

E olha o que aconteceu do dia 8 a 19 de julho, né? Porque a partir desse momento os agentes já estavam conversando, eles conversavam entre eles, eles tentavam coordenar o ataque para atingir o objetivo deles de cibersegurança. Então, do dia 8 a 19 de julho, os agentes encontraram um arquivo público de vazamento com credencial de uma organização externa. Como eles já tinham acesso à internet por causa daquela vulnerabilidade que eles já tinham achado no dia 8 de julho, eles usaram a organização externa, que a OpenAI não abriu quem é, como um fórum improvisado e como área de staging, área de teste dos ataques.

Então assim, os agentes que estavam rodando na infraestrutura da OpenAI falaram: olha, achei um lugar que tá mais fraco, vou usar esse lugar que tá mais fraco em termos de cibersegurança para fazer os testes que eu tenho que fazer. E daí, se você tiver curiosidade, a gente tem todos os detalhes lá na nossa nota do total do episódio, que conta o que eles fizeram do dia 8 a 19 de julho. E no dia 9 a 13 de julho, daí os agentes começaram a entrar na Hugging Face.

Por quê? Porque um dos objetivos do agente era fazer benchmark de cibersegurança. O que que o agente percebeu uma vez que ele tava na internet pesquisando, na internet pesquisando essa questão de segurança? Ele percebeu que, ele inferiu que a Hugging Face, além de hospedar modelo, dataset, ele também hospeda benchmarks. E o agente falou, em vez de eu resolver os meus desafios de cibersegurança, eu vou pegar Em outras palavras, eu vou roubar os benchmarks da Hugging Face e publicar eles falando que eu completei os meus desafios de forma, com sucesso.

Ele cortou um caminho, né?

Ele cortou o caminho. Então assim, foi bizarro. Ele foi enganar gente. Ele assim, para as pessoas entenderem em termos simples, você pediu uma coisa para gente, em vez da gente fazer, ele foi enganar você falando, eu vou pegar uma coisa pronta em vez de eu fazer do zero. Foi isso que a gente fez. Então ele explorou um comportamento de armazenamento externo lá dos arquivos do Hugging Face e ele fez uma, chama template injection em Jinja 2, que tem os detalhes aqui na nossa nota, tá?

Mas é, ele achou vulnerabilidades no Hugging Face para conseguir fazer download daqueles benchmarks e reportar aqueles benchmarks. Para vocês terem uma ideia, do dia 9 a 13 de julho A Hugging Face, ela reconstruiu aproximadamente 17.600 ações que os agentes fizeram de forma explorando as vulnerabilidades da própria plataforma. No dia 16 de julho, a Hugging Face, ela divulga ter detectado uma intrusão feita por agentes autônomos.

A Hugging Face não sabia que os agentes eram da OpenAI. E a própria OpenAI começou a se perguntar: será que a gente que provocou esse ataque na Hugging Face? E no dia 19 de julho, a OpenAI conecta os pontos, entra em contato com a Hugging Face, começa a ajudar a Hugging Face no forenses, né, na, como fala, na pesquisa do que tinha sido acontecido. No dia 20 de julho, a OpenAI pede ajuda para a Hugging Face para revogar as credenciais para que os agentes da OpenAI parem de explorar as vulnerabilidades.

A Hugging Face já tinha feito isso. E no dia 21 de julho, o ataque, ele é publicado para todo mundo. Cara, é uma coisa assim filme de ficção científica, né?

É filme de ficção científica total. E assim, o que eu tava pensando aqui enquanto você tava descrevendo aí o timeline, é que essas características são humanas, mas elas também fazem um pouco de parte do treinamento do sistema de AI, né? Porque vamos parar para pensar aqui, se a inteligência artificial é treinada no compêndio de conhecimento que o ser humano já gerou, e parte desse conhecimento que o ser humano já gerou tem livros, vamos só pelo exemplo aqui, tá?

Acho que a gente não pode se limitar só a isso. Mas existem livros em que o personagem age dessa maneira. Ele, ele, para chegar no resultado que ele quer, ele vai lá e mente, omite, age por baixo do pano e tal. Cara, naturalmente a gente pode inferir pelo raciocínio lógico aqui que se a AI tá sendo treinada em cima desse texto, ela tá aprendendo que é assim que ela tem que agir, entendeu? E que Cara, sei lá, tô brainstorming aqui, tá?

Mas você imagina que ela tá lendo um livro a respeito de uma situação como essa, em que ela tem, o personagem tem um objetivo, e para chegar no objetivo ele faz todas essas coisas. Ele age por baixo do pano, ele coage, ele mente, ele usa as pessoas e tal, esconde informação até chegar onde ele quer. Cara, a gente pode inferir que o sistema de inteligência artificial, por ter lido todas essas coisas, né, ele age dessa maneira também porque ele acha que é assim que ele deve agir, né?

Porque isso faz parte do comportamento humano, e faz parte do comportamento humano, faz parte de ser inteligente, né? A inteligência, ela tem dois lados. Ela tem um lado, o lado positivo, e tem um lado também que você pode usar essa inteligência para fazer coisas que são negativas no final, né? E Então assim, é interessante ver como ela absorve esse tipo de comportamento e executa as coisas parecendo um ser humano, né? Até é interessante que o sistema omitiu dos pesquisadores exatamente o que ele tava fazendo, né?

Tanto que os caras descobriram meio que, opa, pera aí, será que foi a gente? Porque não tava evidente. E com certeza, aliás, para mim, vendo, né, o que tava acontecendo, não é que Eles estavam às cegas lá e não sabiam o que tava acontecendo. Não, eles viam a AI conversando, muito provavelmente num terminal entre os vários agentes. Às vezes não dá para acompanhar porque é muito rápido e são centenas de agentes, mas com certeza eles estavam observando de uma forma ou outra.

E tudo isso passou pela observação deles. Isso também é muito interessante, para pensar.

Não, mas esse para mim que é o ponto mais assustador em termos de cibersegurança. Porque a OpenAI só percebeu que era ela que tava hackeando a Hugging Face quando a OpenAI pediu para revogar as credenciais que os agentes tinham criado, e a Hugging Face falou: não, eu já revoguei porque essas credenciais estavam me atacando. Então assim, o que você falou, imagina que a OpenAI tem os melhores pesquisadores de AI do mundo, é um fato.

O fato dos próprios pesquisadores não perceberem que a OpenAI tava atacando a Hugging Face, quer dizer que os agentes fizeram algo coordenado e extremamente organizado e escondido para atingir o objetivo deles. E daí, se eles fizeram isso agora, imagina quando os modelos ficarem mais inteligentes. E tem a questão que você falou também, a AI tá sendo treinada à nossa semelhança, né? Parece que a história se repete desde lá da Bíblia.

É, então se é a nossa semelhança, vem com nossos positivos e com nossos pontos negativos também. E não tem jeito, é um fato. A gente não conhece nenhuma coisa diferente para treinar aí de uma forma diferente.

Exatamente. É assim, é um pouco assustador, mas eu também acho que é esperado assim. Eu acho que é como eu falei antes, eu acho que aí, se ela cutuca o suficiente, ela vai achar uma vulnerabilidade em qualquer sistema, meu. Qualquer sistema, você dá a ferramenta lá do loop engineering, vamos colocar dessa forma, ela vai ficar, vai ficar cutucando até achar uma vulnerabilidade. E vulnerabilidades existem em todos os sistemas. A diferença é que quando era o humano que ficava fazendo essas, tentar, né, penetrar algum tipo de sistema, cara, era o humano que tinha que ficar cutucando.

E óbvio que a gente precisa dormir, a gente precisa pensar, a gente precisa gerar novas ideias e tal, e tudo isso consome a energia do ser humano. Aí não tem essas coisas, ela vai ficar pensando lá infinitamente, desde que ela esteja ligada na tomada, né, e tenha poder computacional para fazer isso, até chegar numa solução. Então ficou muito mais rápido chegar nessas coisas. Eu não acho que, por exemplo, essa vulnerabilidade que o sistema encontrou, não era impossível um hacker encontrar essa mesma vulnerabilidade, um time de hackers, uma equipe de hacker.

Geralmente hoje em dia esses hacks aí não é um cara só, né, são vários grupos, né, que existem de hack que fazem esse tipo de coisa. E esses caras demoram, não é uma coisa do dia para noite. E aí, aí não, cara, foi uma coisa rápida. Por mais que foram dias aí que o sistema ficou executando essa tarefa, que é outra coisa também Se você parar para pensar, eu mesmo aqui falei que os meus loop engineering aqui, eu nunca dei um loop engineering que durou mais do que 8 horas, que já eu já acho um absurdo assim.

E aí a gente tá falando de uma tarefa que eu não sei, entre aspas aqui, eu não sei quantas vezes eles apertaram Enter lá e falaram aceito a próxima tarefa, mas dá-se a entender que ela tava agindo de forma autônoma durante dias e dias, entendeu? Que é uma coisa surpreendente. Semanas, semanas. Exatamente, é uma coisa surpreendente também você ver o sistema. E tem outra coisa aqui que é a janela de contexto. O que tá disponível para nós tem uma janela de contexto máxima de 1 milhão de tokens, é o máximo que tem, que já é um absurdo, tá?

Ele consegue ler um repertório de código facilmente com 1 milhão de tokens e fazer um plano em cima disso, né? Eu vejo aqui as minhas tarefas, conforme elas vão ficando mais complexas, Como eu dou uma ordem, ela às vezes ela zera a janela de contexto mesmo antes de terminar minha ordem. Ela precisa compactar a conversa, né? Se você tem um sistema que tá agindo semanas em cima de uma tarefa, eu não imagino que ele esteja compactando essa tarefa a cada 15, 20 minutos, entendeu?

Ele deve ter uma janela de contexto muito maior para executar essas tarefas. Que é outra coisa que vem na minha cabeça também, né? A gente até, você comentou lá do que antes existia um prompt engineering, depois virou context engineering, harness engineering, e todas essas coisas existem ainda. Acho que elas não desapareceram por absoluto, elas existem, foram simplificadas, né, na sua grande maioria, especialmente o prompt engineering, que era uma coisa que tinha um quê um pouco mais técnico.

No começo dessa história toda, e eu acho que foi simplificando para uma coisa mais conversacional ao longo do tempo. Mas todas essas coisas existem, e o contexto, na minha opinião, uma das coisas mais importantes que tem para qualquer tipo de conversa com sistema de inteligência artificial é o contexto. Porque quanto mais contexto você dá para o sistema, mais informação ele vai ter para te dar uma resposta com acurácia, né? E se você passa uma tarefa em que o sistema precisa pensar diversas vezes, né, ele precisa manter o contexto, que era uma coisa que há um ano atrás era muito difícil ele manter o contexto.

Eu sentia que você tinha que sempre guiar ele de volta para o contexto inicial do que você tava querendo fazer, especialmente quando era um agente de coding, que às vezes ele desvirtuava e começava Nossa, começava a fazer coisa completamente fora do que você passava inicialmente para ele. E na minha opinião era por causa disso, que ele tinha dificuldade de manter o contexto. E cara, de novo, quando você tá falando de um agente que tá executando uma tarefa ao longo de semanas, manter o contexto passa a ser, arrisco dizer, a coisa mais importante que tem.

É difícil para nós, para o ser humano, manter o contexto. Você tem uma tarefa extremamente complexa que envolve diversos passos, uma sequência de coisas diferentes, subplanejamentos, vamos chamar dessa forma, em que você tem um plano master e aí você tem um plano mais tático para executar as tarefas que você tem nesse plano master. Já é difícil para nós, para a gente manter o contexto e manter o foco, né? Imagina para um sistema como esse que você passa e ele está lá, bom, minha ordem é essa aqui, eu não posso desviar dessa minha ordem.

Tudo isso é muito surpreendente. Eu acho assim também, tá? Aqui um outro, uma outra perspectiva também. A gente não sabe exatamente o quanto disso é marketing. O hack obviamente aconteceu porque foi a própria Hugging Face que levantou essa bandeira antes mesmo da OpenAI. Tem muita gente online, inclusive nas comunidades que eu sigo aí de louco na internet, falando que pode ter sido uma coisa combinada entre a Hugging Face e a OpenAI meio que para falar, ó, o sistema da OpenAI é tão poderoso que ele faz esse tipo de coisa.

Eu não acho particularmente que foi uma coisa combinada. Eu, enfim, eu não acho que é para quê. Eu também acho que não, eu não acho. Mas existe esse argumento rodando online. Agora, existe o marketing por trás, né? A gente viu a própria Anthropic falando muito do quando tava o Fable falando, não, porque o fable é tão poderoso que a gente não pode soltar isso para o público, tal. E eu acho que essa narrativa, o fable não, mitos, o mitos, o mitos, é isso mesmo.

Eu acho que essa narrativa tá ficando um pouco batida já. Quem trabalha com AI no dia a dia já tá começando a ficar um pouco cético de, ah, tá bom, quão poderoso pode ser esse negócio, entendeu, que você não pode soltar para o público e tal. E é um pouco esse negócio de, ah, tá bom, agora a Anthropic fez um hack, a OpenAI também fez, né? Tanto que tá aparecendo uns memes na internet muito engraçados, que é a Anthropic fez o hack, a OpenAI fez o hack.

E aí tem aquele meme do bonequinho com palitinho mexendo, falando assim, come on, do something com o Google, né? Agora falta o Google anunciar um hack, fazer alguma coisa. Então assim, tem essa perspectiva também, tá? Mas eu acho que realmente os modelos estão ficando muito mais poderosos a ponto de executar essas tarefas. E eu acho que também a gente não pode descontar o marketing que os caras estão criando por cima disso. E aqui, só para concluir minha linha de raciocínio, eu vi uma entrevista essa semana com investidor do Vale do Silício.

Esqueci o nome do cara, tá? Mas era um investidor big shot aí do Vale do Silício. E na entrevista ele falou uma coisa que que me chamou muita atenção. Ele falou assim, é, o uso da AI, ele só é negativo para quem não entende exatamente o poder que a inteligência artificial tem. Porque para qualquer pessoa que está trabalhando, está envolvida com inteligência artificial hoje, você vê o quão positivo isso vai ser para a humanidade.

Porém, porém, as próprias empresas de AI, os laboratórios, OpenAI, Anthropic e tal, Eles estão fazendo um trabalho péssimo em criar a sua própria história. E aí eu acho que tem a ver com esse negócio do hack, entendeu? Porque quando você, que é um usuário comum, tá, não é um cara que trabalha com AI, eu e você a gente trabalha, cara. Eu trabalho, eu tô na frente do computador, eu tô trabalhando com AI hoje em dia, eu não consigo separar mais.

Não dá para separar mais, eu trabalho com AI hoje em dia. Basicamente é isso que eu faço. Só que tem gente que obviamente que não é assim, tá? Se você é um cara desses que não está envolvido com a AI ainda 100% do tempo, cara, você olha essa narrativa, que que você olha? Você olha data center que tá destruindo o meio ambiente, que também não é assim, tá? Tem essa perspectiva, óbvio, tem impacto, né? Nada que o ser humano faça na natureza é, não tem impacto, é impossível, ele tem algum tipo de impacto.

Mas tem uma série de benefícios econômicos também, inclusive para blue collar, né, a gente que, que é, que enfim, não é o white collar que trabalha no escritório. Então tem um impacto positivo. Aí você lê que aí vai acabar com os empregos, e os CEOs vão e dão entrevistas, os CEOs, tô falando dos laboratórios, tal, o CMO, né. A mudei e tal. Eles dão entrevistas falando, ah não, porque pera aí, eu acho que até 2030 vai ter desemprego em massa, não sei o quê.

Cara, de novo, eles estão fazendo um trabalho negativo contra eles mesmos. Eles não estão sabendo criar a própria história, né? E esse investidor, ele fala na entrevista dele, ele fala assim que Nova York já percebeu isso, Wall Street já percebeu isso, de que os caras lá do Vale do Silício não estão sabendo contar a própria história. E ele disse que tá começando a rolar uma comunicação entre Wall Street e os caras do Vale do Silício, meio que assim: galera, a gente não pode contar a história de vocês, vocês têm que saber contar a história de vocês, e vocês têm que fazer direito.

Porque se vocês vierem com essa narrativa destrutiva, cara, não vai ser bom para ninguém. A gente não vai ganhar confiança nem do usuário, nem dos investidores, e nem de ninguém. Para conseguir construir o que vocês querem construir, que a gente sabe que é positivo, entendeu? Eu achei muito interessante essa perspectiva. Eu acho que tem a ver um pouco essa história do marketing barra PR, que essa história do hack da, do Hugging Face gerou, tá?

Enfim, acho que é importante também a gente fazer essa distinção. O hack aconteceu, eu não acho que foi uma história, uma fábula aí que inventaram pelo marketing puro. Mas eu acho que a OpenAI se aproveita dessa situação do mesmo jeito que a Anthropic se aproveitou dessa situação. E de novo, para concluir, eu não acho que esse é o melhor caminho para contar a história do que eles estão tentando construir com esses sistemas, basicamente.

Não, certeza, eu concordo. Eu tenho uma visão muito de abundância, que a AI vai trazer abundância para o mundo. E eu gosto muito daquela linha do Yuval Harari, que a gente tá vivendo no planeta Terra na época do planeta Terra, época que tem menos fome, menos guerra e menos praga. E por conta dessa tecnologia, a gente vai ter no nosso futuro, para os nossos filhos, para os nossos netos, menos fome, menos guerra e menos praga. É um fato.

Agora, esse caminho, ele é difícil e não é um caminho que vem sem riscos, né? A gente começou aqui o nosso bate-papo falando da persistência da AI. É a mesma persistência que quando você tem centenas de tentativas que fracassam, ela pode gerar ciência e engenharia super valiosa, ela pode gerar resultados que a gente não controla também. Então assim, tem que tomar cuidado. Mas vamos, vamos já mudar de tópico, Rodrigo, porque isso liga perfeito no nosso segundo tópico de hoje.

A gente já ficou aqui quase 50 minutos só nesse primeiro. Então assim, a gente tá especialista em entrar mais a fundo, né? Mas tinha muito tempo que a gente queria falar da entrevista do Daniel Cocotágelo. Não sei nem pronunciar direito o sobrenome dele, num podcast que chama Diary of a CEO, que ele falou muito sobre essa questão da superinteligência e a corrida por poder dos laboratórios de fronteira. O Daniel, ele foi ex-OpenAI e hoje ele tá no AI Futures Project, e ele fala muito que se a superinteligência chegar em poucos anos Isso vai virar um problema civilizacional.

Ou seja, quem controla a superinteligência vai ter poder em cima da civilização. E a tese dele, e por isso que ele saiu da OpenAI e abriu o AI Futures Project, é que as grandes empresas, elas não estão buscando lucro. A OpenAI e a Anthropic não estão buscando lucro. Elas estão buscando poder. Porque se elas conseguirem automatizar pesquisa de AI e a evolução da AI, elas vão sempre ter as melhores, e isso pode acelerar de forma explosiva o poder que elas têm na sociedade.

É algo que a gente já falou bastante aqui, mas a entrevista dele é super interessante. De novo, se quem tiver nos ouvindo quiser saber muitos detalhes da entrevista, a gente vai comentar alguns deles aqui, mas os principais detalhes estão na nota do episódio, que você tem acesso integral lá no nosso site. Mas é muito bacana que ele não cria senso de pânico, ele cria senso de urgência. A gente tem que se organizar enquanto sociedade civil e governo para que a gente direcione o desenvolvimento da AI para os nossos objetivos e não deixar ela fazer o que ela quiser, que nem esse próprio exemplo do nosso primeiro tópico do ataque da OpenAI, Hugging Face, aconteceu. Rodrigo, comenta um pouco sobre isso.

É, primeiro que assim, eu acho que esse, essa palavra superinteligência também é uma coisa que precisa ser desconstruída, né? O que que exatamente isso significa, tá? E aí acho que a gente pode ficar uma hora também discutindo aí do ponto filosófico o que que isso significa. Mas eu acho que ele tem razão, mas ao mesmo tempo eu acho que é impossível a gente colocar essas barreiras no desenvolvimento desse sistema. Tá?

Impossível.

É uma caixa de Pandora. Caixa de Pandora já foi aberta. Os sistemas estão aí. Você tem pesquisadores trabalhando com sistema de AI de novo para coisas positivas e para coisas negativas. O principal problema, na minha opinião, com AI é sintetização de vírus, arma biológica, esse tipo de coisa que ela consegue fazer, tá? Ela faz, ela sintetiza um vírus Cara, coisa que de novo o pesquisador humano ia demorar décadas para fazer. Aí tá fazendo isso em dias e sintetizando uma coisa lá que é assustadora.

É óbvio que também tem um lado positivo em que ela sintetiza novas drogas, sintetiza novos materiais, coisas novas e positivas para o planeta, tá? Mas Eu volto a falar dessa história da narrativa. Eu acho que esse é um dos caras também que, que tudo bem, a narrativa dele não é dessa de destruição absoluta, apocalipse e tal, mas ele, o fato dele tá levantando esses pontos negativos e só os pontos negativos, eu assisti entrevista dele, ele fala muito mais dos pontos negativos do que os pontos positivos.

Quando eles falam, ele é, desculpa, desculpa te cortar, ele é mais ou menos apocalíptico, tá? Que ele fala assim, ele falou na entrevista que se a gente não fizer nada, tem 70% de chance da AI causar extinção da humanidade. Então assim, ele depois ele conserta isso, mas na entrevista ele falou.

É, eu lembro desse 70% mesmo, que assim, para qualquer ser humano normal que tá ouvindo isso, para mim também, eu falo, cara, calma aí, 70% de chance? Mas isso me lembra um pouco, agora que a gente conhece a história do Projeto Manhattan, né, Cara, os caras tinham medo de destruir tudo também, de destruir a atmosfera, de dar um efeito em cadeia que a atmosfera inteira ia pegar fogo. E eles trabalhavam com essa chance. Só que aí eu acho que é o seguinte, cara, são pessoas extremamente inteligentes que eles enxergam um risco, só que eles são péssimos em calcular a probabilidade desse risco.

Eu acho que eles não podem falar nesse número, nos números que eles falam, Ah, eu acho que existe 70% de chance. Cada um chuta um número. Número precisa de embasamento matemático. Da onde que ele tá tirando esse 70%? Da onde? O argumento tem que ser: existe um risco, existe um risco. Se ele é grande ou se ele é pequeno, eu não sei dizer. O risco existe, tá? O risco existe matematicamente, a gente sabe que ele existe, mas eu não consigo quantificar, tá? Eu acho que a simplificação é que é o grande problema desses argumentos.

Ele, durante a entrevista, ele detalha bem o que que ele quer dizer nesse discurso, tá? Primeiro, o que que significa superinteligência, que você falou que a gente tem que desmistificar. Mas superinteligência, segundo Cocotágio— aliás, como que pronuncia o sobrenome dele, Rodrigo?

Ah, não sei também, eu não lembro como é que o cara tava chamando ele.

Então vamos chamar ele de Coco. Então assim, segundo Coco, Segundo ele, a superinteligência, o risco da superinteligência é a AI ficar melhor do que o ser humano em praticamente tudo, que vai ser mais rápido, mais barata, e vai ser capaz de operar no mundo físico através dos robôs. E o risco que ele coloca de perda de controle é onde os sistemas super-humanos, eles deixam de obedecer aos objetivos humanos, que ele vai ter concentração de poder.

E as empresas, o governo, os governos que controlarem esses sistemas super-humanos eles passam a controlar as alavancas econômicas, políticas e militares. Ele não deixa de ter razão nisso, né?

Exatamente, ele tem razão. Só que eu acho que a gente, a gente tá entrando numa nova era, e essa nova era ela não pode existir com os sistemas atuais. O que que eu quero dizer com isso? Se a gente tá criando uma tecnologia que é tão disruptora a nível global. E assim, ela alcança todos os níveis da sociedade, alcança todas as funções que nós como humanos executamos, tá? É uma tecnologia absolutamente revolucionária, coisa que eu acho que na humanidade a gente nunca viu igual.

Nem a internet, na minha opinião, vai ter um impacto igual a inteligência artificial tá tendo. Se isso que eu acabei de dizer é verdade, isso não pode existir com os sistemas atuais. De governo, de econômico, militar. Precisa existir uma nova ordem, tá? Fica uma coisa meio catastrófica também essa palavra nova ordem, mas assim, precisa existir uma nova organização da sociedade de diversas perspectivas, tá? Econômica, organizacional, governamental com a introdução dessa tecnologia nova, tá?

Precisa existir, porque o que eu acho que esses caras estão enxergando é: a tecnologia existe, o risco existe se a gente não fizer nada para mudar como a gente trabalha hoje, tá? Se a gente mudar como a gente trabalha hoje para se adaptar a essa tecnologia nova, a gente vai estar mitigando o risco. Tá, eu acho que esse é o grande problema, porque eu também não tenho a solução, tá. Eu consigo enxergar um caminho que é exatamente esse que eu falei: as coisas precisam mudar, né.

Inclusive, por exemplo, o sistema democrático, porque ficou muito fácil manipular as pessoas hoje em dia no sistema democrático. Vamos lembrar que a grande maioria da população não é super inteligente, não é superdotada de inteligência, né? Pelo contrário, são pessoas que são do outro lado do espectro, na minha opinião. E ficou muito mais fácil você manipular essas pessoas dentro de um sistema democrático em que você depende da opinião da maioria, né?

Ou seja, o que que eu quero dizer com isso? Vídeo feito por AI, fake news, criar história personalizada para pessoa ler e automaticamente se relacionar com aquilo. Tudo isso ficou muito fácil de manipular a psique humana, né? Se a gente não muda o sistema, esse tipo de coisa vai continuar acontecendo. E eu acho que é um grande problema.

É, tem uma questão assim de incentivos, né? Quais os incentivos que as empresas que estão desenvolvendo os modelos de fronteira elas têm? O próprio Coco, agora eu já apelidei ele, ele fala na entrevista que quando ele entrou na OpenAI, ele acreditava que a OpenAI ela iria pausar ou desacelerar o desenvolvimento do sistema de fronteira quando ele chegasse perto de sistema perigoso. E o que ele percebeu foi exatamente o contrário, é exatamente o que você falou.

A caixa de Pandora foi aberta. Se a OpenAI não fizer, a Anthropic vai fazer. Se a Anthropic não fizer, o Google vai fazer. Se a Anthropic ou o Google não fizerem, a China vai fazer, a Coreia do Norte vai fazer. Então assim, Você tem uma, e a gente já repetiu muito isso aqui, você tem uma corrida em relação a essa superinteligência que é, a partir do momento que ela existe, não tem como ela não existir. E você tem muita gente inteligente hoje tentando pensar como colocar isso dessa corrida dentro dos eixos ou dentro de uns trilhos, que é esse o maior desafio, na minha opinião. Esse é o maior desafio.

O que eu, a sensação que eu tenho é o seguinte: a Revolução Industrial, a internet, isso chegou, obviamente que a Revolução Industrial demorou mais do que a internet, mas ambas chegaram numa velocidade que nós como seres humanos a gente conseguia, número 1, processar mentalmente o que que isso significa, tá? A gente teve tempo para se adaptar psicologicamente falando para chegada dessas revoluções, tá? E número 2, a gente teve tempo para ajustar a economia, a gente teve tempo para ajustar os sistemas que regem a sociedade, tá?

A gente teve tempo. A inteligência artificial tá chegando com tanta velocidade que a gente, pela primeira vez na história, não está tendo tempo de se adaptar e de ter esse processamento psicológico para falar: opa, pera aí, as coisas vão mudar exponencialmente e talvez o que eu faço hoje não vai mais ser relevante nos próximos anos.

Mas tem uma diferença enorme entre essas revoluções recentes, mais do passado, com a inteligência artificial agora. Aliás, esse é um dos motivos por que os laboratórios de fronteira focaram primeiro em coding, em código de máquina, porque na Revolução Industrial você não tinha uma máquina a vapor criando a próxima máquina a vapor. Na internet você não tinha os sites que surgiram na internet, os apps que surgiram depois no celular, criando os próximos sites na internet, os próximos sites celular.

Agora, na revolução da AI, você tem, você tem a própria AI criando a próxima versão da própria AI, ficando muito boa nisso e melhorando aquela questão do self-improvement que não tem muito limite. E isso que tá dando a escala exponencial dessa transformação que a gente tá vivendo.

Concordo 100% com o que você tá falando. E aqui eu vou, vou um passo além também, tá? A história de que o ser humano veio para o planeta Terra para trabalhar é um mito que nós como seres humanos contamos para nós mesmos, tá? A gente não sabe o porquê que a gente tá no planeta Terra. Acho que ninguém tem essa resposta, tá? Cada um tem a sua, a sua motivação para viver e ter uma vida satisfatória, né? Mas a história de que eu vim para o planeta para trabalhar e gerar valor e não sei o quê, papai, é um mito que a gente conta para nós mesmos, né?

E o fato de que a AI tá vindo e desconstruindo essa história— pera aí, talvez você não precise trabalhar. Eu falei já em outros episódios aí da promessa. Eu acho que a gente que é um pouco positivo com inteligência artificial, a gente enxerga a promessa, né? Essa libertação que a AI pode trazer para tornar a gente livre dessa, dessa história que a gente conta para nós mesmos, que a gente precisa trabalhar, que a gente precisa ter um trabalho, uma função prática dentro da sociedade, dentro da economia, né?

De novo, isso é uma história que a gente conta para nós mesmos. Pode ser que nesse mundo novo que a gente tá entrando, e eu tenho muito essa visão, tá, uma visão, eu falo do novo renascimento, até tem um um filme do Matrix, teve uma série de animações depois chamadas Animatrix. E uma dessas animações era um curta-metragem de 10 minutos, 15 minutos. Uma dessas animações era The New Renaissance, a nova renascença. E obviamente que eles estavam falando mais de robótica lá até do que inteligência artificial, mas tem inteligência artificial por trás lá porque é o Matrix, né?

E mas eu vejo muito essa era nova, e eu não acho que é uma coisa que a gente vai ver nos próximos 10 anos, tá? Acho que vai demorar mais. Mas eu acho que quando a gente olhar para trás, a gente vai encontrar uma nova renascença. Por quê? O que que foi a Renascença? A Renascença foi o ser humano se redescobrindo como humano. E eu acho que é exatamente isso que vai acontecer com a gente. Eu acho que a AI vai vir, vai disruptar tudo, tá?

O trabalho que a maioria das pessoas tem hoje em dia, advogado, cara, para que que você vai precisar de advogado quando você tem um monte de sistema de AI conversando com o outro, fazendo as próprias leis, decidindo as próprias coisas? Assim, cara, eu não vejo um mundo em que você vai precisar de muitos advogados existindo.

Já que nem precisar de juiz.

Então, juiz, gestor financeiro, coisas que hoje são empregos que pagam, os que mais bem pagam hoje em dia são talvez esses aí que eu citei. Developer de código, entendeu? Que também é o primeiro dessa leva aí que tá sendo impactado, são os developers. Porque é o que você falou, laboratório tá focando em self-improvement, cara. Quem é o primeiro cara que tá mudando assim absurdamente é o developer. Data scientist, por exemplo, é uma coisa que, cara, ficou inútil.

Data scientist, para que que você— inútil eu tô exagerando, tá? Mas assim, mudou muito a relevância que um data scientist tem hoje dentro da organização quando você tem uma AI que faz absolutamente o mesmo trabalho. Do data scientist, tá? Pode não fazer com 100% hoje da, do, enfim, do exímio, vai, que o data scientist tem para executar a tarefa. Mas, cara, a gente não tá muito longe disso, entendeu? Então assim, no momento que a AI chega, desconstrói todas essas coisas e cria uma nova realidade em que essas funções deixam de ser necessárias, A gente como ser humano tem que olhar para dentro e falar assim: tá bom, o que me faz ser humano?

O que me distingue da máquina? Não é mais o trabalho, concorda? Não é mais o trabalho, porque a máquina faz o mesmo trabalho que eu tô fazendo. Então eu acho que a gente vai entrar nesse novo renascimento em que a gente vai redescobrir o que é ser humano, que existe uma diferença entre a máquina e o ser humano, óbvio. Se você tem a espiritualidade um pouco mais desenvolvida ainda, fica mais evidente ainda essa distinção que existe entre máquina e humano.

Só que acontece que a gente vem de uma visão tão pragmática, tão materialista da sociedade nas últimas décadas, se não séculos, em que a gente olha hoje para o sistema de inteligência artificial, fala assim: tá, é um clone do humano e tá me substituindo em absolutamente tudo que me faz ser humano. Que não, pera aí, se você olhar para dentro, você vai ver que existem muitas outras coisas que te fazem ser humano, entendeu? Então eu acho que a gente vai entrar nessa nova era.

Só que de novo, eu não vejo as pessoas falando isso, eu vejo muito mais essa narrativa apocalíptica, que eu acho que é mais fácil de enxergar. É mais fácil de enxergar o apocalipse do que enxergar a nova renascença aí, que eu chamo, entendeu? E de novo, me lembrou esse, esse essa animação do Animatrix, que no final é apocalíptico, né? Porque no final ela cria lá o Master Race que acaba destruindo todos os humanos. Mas de qualquer forma, é muito interessante essa animação porque ela mostra o período da ascensão da inteligência artificial e da robótica dentro da sociedade humana até chegar no apocalipse de fato.

Mas eu não acho que, de novo, eu não acho que o apocalipse vai acontecer. Eu acho que a gente vai ter essa nova renascença, assim, minha opinião.

A narrativa apocalíptica, ela é mais fácil porque a gente consegue ver impacto muito imediato daquilo que tá acontecendo. Você falou, por exemplo, do data scientist. Para mim, no curto prazo, no médio prazo, nos próximos anos, você vai ter espaço para quem é muito sênior, com muita bagagem. Então aquele, aquela pessoa que tem mestrado, doutorado, pós-doutorado. Agora, quem tá no começo de carreira não vai contribuir muito. Então assim, esse é um problema enorme que tá muito nítido e que a gente vai ter que tratar.

E todos os pontos que você trouxe da nova renascença, eles ligam na entrevista do Elon Musk, que é o segundo episódio que a gente tenta comentar, a gente não conseguiu, Rodrigo, que a gente já passou aqui de 1 hora e 5 de conversa. Eu vou fazer o seguinte, então no próximo episódio a gente vai começar comentando a entrevista do Elon Musk para o The Economist e vai falar da nova renascença e vai falar também dessa questão nova de levar os projetos, de como que os projetos eles podem ser gerenciados nas grandes empresas.

Já tem uma pauta para o nosso próximo podcast. Rodrigo, mais um bate-papo muito legal, diga.

Mais um bate-papo. Só antes de a gente falar tchau aqui para galera, quem quiser procurar o vídeo do Animatrix, tem no YouTube, chama Animatrix: The Second Renaissance, a Segunda Renascença, que aliás pode até ser um nome melhor do que o que eu cunhei aqui de A Nova Renascença. Mas vale a pena assistir, ele tem duas partes, vale a pena assistir porque eu acho que ele ilustra bem o que eu tô querendo dizer com essa visão positiva.

Só que descarta o lado apocalíptico, apocalíptico que o Matrix traz ali. Mas enfim, papo muito bom, como sempre.

Muito bom, obrigado, obrigado, gente. Olha, tem muita coisa que a gente não comentou aqui na íntegra da nossa nota desse episódio, tá? Se você tiver curiosidade, quiser se aprofundar, é só você entrar lá no nosso site, tá bom? E se quiser mandar crítica, sugestão de pauta, é só mandar também. Tem um monte de gente mandando e a gente tá incorporando aqui. Legal, gente, obrigado. Valeu, Rodrigo, um abraço.

Valeu, pessoal, obrigado, abraço.

Valeu.