Episódios de TheAgent Podcast: Agentes de IA para quem decide

Agentes de IA: Voce e seus agentes operam com informacao de ontem

08 de maio de 202614min
0:00 / 14:18
O Andrew Ng demonstrou ao vivo uma cena que resume um problema sutil e caro: o Claude Code, agente de IA da Anthropic que executa codigo de forma autonoma, chamando com total confianca uma API da OpenAI descontinuada ha mais de um ano. Sem erro, sem aviso, sem nada piscando vermelho. So um agente executando trabalho com total conviccao num mundo que nao existe mais.
O segundo problema e maior: a maioria dos relatorios que CEOs leram essa semana sobre IA no trabalho foi escrita antes desse tipo de agente existir. Liderancas estao decidindo contratacao, reorganizacao e investimento com um mapa de uma cidade que ja foi completamente reformada. Os dois problemas tem a mesma raiz: o contexto que alimenta a decisao envelheceu mais rapido do que a confianca de quem decide.
O que voce vai ouvir:
• A cena do Claude Code chamando API descontinuada sem nenhum sinal de erro em producao
• Por que documentacao congelada no treinamento e diferente de alucinacao comum
• Context Hub, a ferramenta open source do Andrew Ng que separa o modelo da fonte de verdade tecnica
• Por que a camada de contexto tende a ser mais critica do que o modelo LLM nos proximos 18 meses
• A observacao do Ethan Mollick sobre pesquisa de IA no trabalho que antecede a era dos agentes
• A diferenca entre paralisia e inertia e por que inertia e mais perigosa operacionalmente
• Por que dados internos valem mais do que qualquer benchmark de consultoria externa
• A realidade das empresas brasileiras operando com relatorios de 2024 num mercado que ja e outro
Capitulos:
00:00 Abertura: o agente que trabalha num mundo que nao existe mais
00:35 Dois mapas velhos: um na maquina, outro na sala de reuniao
01:20 Apresentacao dos dois problemas da semana
02:45 Por que agentes alucinam chamando APIs descontinuadas sem aviso
04:10 Context Hub: separar modelo de fonte de verdade
05:40 A camada de contexto como ativo competitivo estrutural
07:05 O mapa pre-agentico que orienta decisoes executivas
08:20 Inertia versus paralisia: qual e mais perigosa
09:15 Instrumentacao propria vale mais que benchmark externo
10:30 Realidade brasileira: consultoria vendendo dados de 2024
11:30 O ativo mais valioso esta na cabeca de quem opera em campo
12:30 A pergunta da semana
Fontes mencionadas:
• Andrew Ng, DeepLearning.AI: demonstracao ao vivo do Claude Code chamando API descontinuada da OpenAI (abril 2026)
• Context Hub: ferramenta open source do Andrew Ng para gestao de documentacao tecnica em agentes de IA
• Ethan Mollick, Wharton: observacao sobre pesquisa de IA no trabalho que antecede a era dos agentes autonomos
• Amazon Web Services: anuncio de modelos OpenAI disponiveis na AWS, citado na newsletter TheAgent
Acompanhe a newsletter TheAgent em theagent.bz e receba toda semana a analise mais densa sobre agentes de IA para quem toma decisao de negocio.
Para founders, lideres e executivos, sempre direto ao ponto!
Participantes neste episódio7
L

Lily

Host
A

Andrew Annie

Convidado
A

Andrew Yang

Convidado
C

Cloud Code

ConvidadoAgente de IA
E

Ethan Mollick

ConvidadoPesquisador
N

N.A. Mira

Participante
O

OpenAI

ConvidadoEmpresa de IA
Assuntos7
  • Agentes de IA e APIs descontinuadasCloud Code chamando API da OpenAI descontinuada · Falta de aviso sobre descontinuação de APIs · Context Hub para gerenciar documentação de APIs
  • Impacto da IA no trabalhoRelatórios sobre IA desatualizados antes da existência de agentes · Decisões de contratação baseadas em mapas antigos · Ethan Mollick sobre pesquisa ultrapassada
  • Consultoria na Miolo (Brasil)Consultorias vendendo dados de 2024 como vanguarda · Aprendizados internos de equipes de IA ignorados · Ativo mais valioso na cabeça de quem opera em campo
  • Estratégia de mercado interno vs externoTestes e instrumentação própria como fonte de dados · Casos internos mais precisos que papers externos · McKinsey como referência externa
  • Context HubContext Hub como repositório de documentação atualizado · Camada de contexto como ativo competitivo estrutural · Conhecimento envelhece mais rápido que ciclo de treinamento
  • Empresa AI First vs. Usuária de IAModelo LLM como commodity · Arquitetura em volta do modelo como diferencial · Controle do contexto como controle do resultado
  • Escolhas Conscientes vs InerciaInércia como piloto automático com dados antigos · Paralisia como consciência do risco e travamento deliberado · Inércia é mais perigosa por não doer
Transcrição36 segmentoswhispermlx/large-v3-turbo

O Andrew Yang, fundador da Deep Learning.ai, mostrou em abril uma cena que eu não consigo tirar da cabeça. O Cloud Code, agente de IA da Antropic, que escreve e executa código de forma autônoma, rodando com toda a confiança do mundo, chamando uma API da OpenAI que foi descontinuada faz mais de um ano. Sem erro, sem nenhum aviso, sem nada piscando vermelho. Só um agente de IA trabalhando lindamente em cima de um mundo que não existe mais.

Pois é, mas esse ainda é o menor dos dois problemas que a gente tem que discutir. O problema grande é que a maioria dos relatórios que CEO está lendo essa semana sobre IA no trabalho foi escrita antes desse tipo de agente existir. A gente está decidindo contratação com mapa de uma cidade que já foi reformada. Dois mapas velhos, um na máquina, outro na cabeça do executivo.

Bom dia, gente! Hoje a gente tem duas histórias que se tocam de ângulos bem diferentes, e eu acho que vale a pena tratá-las separadas antes de juntar. O dossiê dessa semana é sobre uma ferramenta nova do Andrew Annie, a Context Hub, que ataca um problema técnico bem específico. Agentes de código alucinando porque a documentação que eles aprenderam no treinamento já está desatualizada e falta um sistema de manutenção dessa documentação.

O briefing é sobre uma observação do Ethan Mollick, que é muito real. Quase tudo que a gente lê sobre o futuro do trabalho com IA foi pesquisado antes dos agentes existirem. Portanto, está desatualizado.

Então a gente tem duas camadas de informação congelada. Uma é a documentação técnica que o modelo internalizou. A outra é o corpo de pesquisa acadêmica e de consultoria, que os líderes consultam para decidir o que fazer com seus times. E nos dois casos a coisa funciona aparentemente bem. O agente de IA está lá rodando, o relatório sobre IA no trabalho é citado em reunião de comitê, mas ninguém percebe que o chão já se mexeu por baixo.

É exatamente isso, e é a parte que me incomoda de verdade. Quando o erro aparece como stack trace, aquele bloquinho de texto vermelho no terminal que avisa que algo quebrou, a equipe conserta antes do cliente perceber. Mas quando o erro é silencioso, ele chega como reclamação só semanas depois, e ninguém conecta com o agente.

Vamos começar pelo dossiê, porque é o caso mais palpável, e depois passamos para a discussão do mapa que o Molek está provocando. Lily, antes de ir fundo, traduz essa dinâmica para quem não está mergulhado no mundo de APIs. Por que um agente de código alucina chamando uma interface que não existe mais? Imagina que você contrata um consultor brilhante, mas que estudou o seu setor pela última vez em 2024.

Ele chega seguro, fala com a autoridade e te recomenda usar uma ferramenta que foi descontinuada faz oito meses. E cita fontes impecavelmente desatualizadas com total confiança, sem sinal de dúvida. É justamente esse o comportamento do modelo e do consultor que ele representa. Ele não está mentindo, só está trabalhando com o mundo que ele conhece. O modelo de linguagem também é assim.

Ele aprendeu que a OpenAI tinha uma API de chat completions e essa informação ficou cristalizada. Quando a OpenAI lançou a API de responses, mais nova e mais capaz, o modelo não foi avisado. E o ponto operacional importante aqui é que esse tipo de erro não aparece em nenhum log. Aparece no cliente que recebe uma proposta com o número errado ou no processo que alguém da equipe corrigiu silenciosamente sem reportar.

Parece uma coisa tão simples, né? Mas que produz dor de cabeça real na ponta. Esse é o tipo de coisa que vira história de incidentes seis meses depois.

Faz sentido e revela um padrão que eu vejo sempre. A reação padrão das empresas quando isso acontece é a errada. Trocam o modelo, trocam o fornecedor, contratam mais revisor humano, como se o problema fosse a inteligência da máquina, quando o problema real é a fonte de informação que ela está consultando. É uma falha de contexto, não de capacidade.

A solução do NG ataca exatamente esse ponto. Antes do agente executar uma chamada de API, por exemplo, ele consulta um repositório de documentação que está atualizado, versionado e curado.

Eles chamaram a ferramenta de Context Hub, ela é open source e roda como linha de comando. O modelo deixa de ser a fonte da verdade técnica e vira o orquestrador que sabe onde buscar. E aí entra a parte que eu acho mais relevante para quem toma decisão de compra de tecnologia.

Nos próximos 18 meses, a discussão qual LLM usar vai ser uma discussão menos importante do que que contexto eu estou injetando, de qual fonte, com qual frequência de atualização. A camada de contexto tende a se tornar tão crítica quanto o modelo. E isso vale para muito além de código. Vale para qualquer pedaço da operação onde o conhecimento envelhece mais rápido que o ciclo de atualização.

vale para qualquer domínio onde o conhecimento evolui mais rápido que o ciclo de treinamento de um modelo. Contrato jurídico, regulamento fiscal, manual de conformidade, tabela de preço de fornecedor. Em todos esses casos, um agente de IIA operando só com o conhecimento congelado do modelo é um agente trabalhando com o mapa antigo.

É o mesmo tipo de situação que o suporte de uma SaaS vive, por exemplo, quando a base de conhecimento e a FAQ não conseguem acompanhar as atualizações do software. Fica bem difícil dar uma resposta correta ao cliente. E a vantagem competitiva da empresa que resolver isso em larga escala, incluindo wicks internas, manuais operacionais, histórico de decisões de engenharia, acaba se tornando estrutural. Não depende de qual modelo LLM está liderando o ranking da semana.

Tem uma pergunta operacional que sai daí, que é A sua equipe sabe quais APIs e dependências os agentes estão usando em produção. E se o modelo conhece as versões atuais? Aposto que a resposta na maioria dos casos é não. A resposta é sempre a mesma. A gente descobre quando o cliente reclama. E enquanto isso, o agente continuou trabalhando com toda a confiança, sem saber que o chão se mexeu. Documentação congelada no treinamento. O cliente paga o preço na produção.

Agora vamos para o briefing, que pega um outro problema, mas que tem suas semelhanças. Mollick é um dos pesquisadores mais respeitados sobre IA no trabalho. Está em Wharton, publica sem parar. E ele soltou essa observação que é bem real. Praticamente toda a análise séria sobre o futuro do trabalho com IA está apoiada em dados coletados, quando a IA era, na prática, só um copiloto de texto. Quando o ser humano decidia e a IA redigia ou revisava. É isso mesmo.

que é o agente executando processos inteiros de forma autônoma, que é radicalmente diferente de um copilot, que autocompleta a linha de código enquanto o engenheiro decide o que escrever. Radicalmente diferente. Quase uma categoria operacional separada. Isso cria uma condição experimental completamente nova. Os estudos não estão errados para a época deles. Eles só estão medindo um mundo, que durou uns 18 meses e já passou.

Interessante esse paralelo entre os dois temas. O modelo LLM trabalhando com documentação congelada e desatualizada. E o líder trabalhando com pesquisa ultrapassada. Chega a ser cômico. As duas coisas dão a mesma sensação de segurança falsa. E o que me chama essa atenção é que tem duas reações igualmente ruins.

Uma é o líder que diz, ah, agentes mudaram tudo, joga fora os estudos, o que vale agora é a intuição, e toma a decisão de 2 milhões de reais no improviso. A outra é citar paper de 2024 em reunião de board, como se nada tivesse mudado. E os dois caminhos terminam mal. Um te leva para a furada por excesso de otimismo, o outro te leva para a paralisia por excesso de precaução. Discordo desse enquadramento.

Paralisia pressupõe que a empresa percebeu o problema e travou deliberadamente. O que eu vejo na maioria das empresas brasileiras não é paralisia, é inércia. Elas continuam agindo no piloto automático, com os dados antigos, sem nem perceber que o mundo ao redor mudou. É uma distinção válida, mas no resultado prático chega no mesmo lugar, não chega? Não chega, porque inércia não gera urgência de correção.

Paralisia, pelo menos, cria a consciência do risco, e consciência é o primeiro passo para a mudança. Inércia é mais perigosa exatamente porque não dói. Sabe que Mollick, que publicou essa crítica, não dá uma saída pronta, mas ele aponta a direção. E é uma direção que mexe com a forma como a empresa decide sobre IA.

que é mais teste e instrumentação própria e menos dependência de benchmark externo. Se você já tem uma equipe usando agentes de IA desde o final de 2025, você deve ter dados mais relevantes do que qualquer paper publicado esse trimestre. Seu caso interno é mais preciso que a média citada em relatório de consultoria. Mas isso é o oposto da reação natural do executivo.

que é buscar a referência externa para se proteger, para ter um benchmark que justifique a decisão. É antinatural para a maioria, mas é o que de fato faz sentido operacional. Documentar o que mudou no fluxo de trabalho nos últimos 90 dias, medir onde o agente assumiu tarefa que era humana, identificar quais decisões ainda exigem julgamento, sem delegação possível. Isso vale mais que qualquer benchmark da McKinsey.

E o item da N.A. Mira, do Andrew Ng, reforça exatamente isso. Ele descreve como times de engenharia completamente reconstruídos em torno de agentes, o que ele chama de AI Native, operam de forma radicalmente diferente. Engenheiros assumem papéis de produto e design, times pequenos em escritório físico se movem mais rápido que grandes empresas distribuídas. A velocidade deixou de ser função do número de contratações.

Sim, e isso muda toda a lógica de planejamento de Headcount. Um líder de engenharia que pede 30 vagas para o próximo trimestre, baseado em modelo de 2023 de produtividade por engenheiro, está usando exatamente o mapa antigo que o MOLIC aponta. E o item da Microsoft e OpenAI também encaixa. Acesso ao mesmo modelo. Produtos radicalmente diferentes.

O diferencial das empresas não está mais no modelo LLM que adotam. Está na arquitetura em volta dele, no contexto que se injeta, na forma como o time se organiza para usar a coisa. E isso muda completamente onde a competição acontece. A disputa saiu do modelo e foi para a arquitetura ao redor dele, para o contexto que cada empresa consegue construir e manter.

É por aí mesmo. Quem controla o contexto, no final, controla o resultado. O modelo já virou commodity, e o diferencial real está em tudo o que você constrói em volta dele.

Eu queria aterrissar isso na realidade brasileira, porque tem uma coisa específica acontecendo aqui que merece atenção. A maioria das empresas brasileiras de médio porte ainda está na fase de avaliar consultoria para a estratégia de IA. E essas consultorias estão vendendo apresentações com gráficos de 2024. Cobram caro, conteúdo desatualizado e ainda embalado como se fosse estratégia de vanguarda.

Caro, desatualizado e embalado em vocabulário novo para parecer fresco. Você paga seis dígitos por um relatório que cita estudos de uma era que não é mais a sua era operacional. Enquanto isso, o time interno que está mexendo com Cloud Code e Cursor, editor de código com agente embutido, há seis meses tem aprendizados que ninguém capturou nem documentou.

O ativo mais valioso das empresas hoje, nem em termos de conhecimento sobre IA, está na cabeça das três pessoas que estão usando o agente em produção e em nenhum relatório.

E quando a Amazon começa a oferecer modelos da OpenAI na AWS, como apareceu na newsletter, isso também muda a equação de fornecedor para o comprador corporativo brasileiro. Quem dependia de Microsoft via Azure agora tem uma opção. Quem dependia da própria OpenAI agora tem múltiplos canais. Mas para aproveitar tudo isso, você precisa saber o que você está comprando, qual a estrutura de contexto que você construiu dentro de casa, e isso não está no relatório do consultor.

Se não está no relatório do consultor, onde é que esse conhecimento realmente está? Está nos seus dados internos que ninguém está coletando direito. Olha a cena. Mapa antigo na máquina, mapa antigo na sala de reunião e o mapa certo guardado na cabeça de quem está operando no campo sem ter sido perguntado. Então, na semana em que a gente está, eu fico com duas coisas.

A camada de contexto, seja a documentação técnica que alimenta o agente, seja a pesquisa que alimenta a decisão executiva, virou tão importante quanto o modelo ou o framework de gestão. E quem não controla essa camada está tomando decisão com informação que já expirou, mesmo achando que está modernizando.

A pergunta que eu deixo para a semana é a seguinte. Se os dados que orientam suas decisões sobre IA no trabalho foram coletados antes dos agentes existirem, e se a documentação que seus agentes de IA consultam foi congelada na data do treinamento do modelo, o que exatamente você está assumindo que realmente continua verdadeiro?