"Inteligência Artificial (IA)" em Engenharia de Software (o lado ruim), Adolfo Neto #EsquentaSe4FP
Nesta palestra Adolfo Neto comentou os problemas relacionados ao uso de "Inteligência Artificial (IA)" na Engenharia de Software.Adolfo Neto é professor da UTFPR, podcaster (Fronteiras da Engenharia de Software, Elixir em Foco, Emílias Podcast) e um dos coordenadores do SE4FP. Slides em https://codeberg.org/adolfont/unethical-ai-slideshttps://se4fp.github.io/2026/https://elixiremfoco.comhttps://fronteirases.github.io/https://fronteirases.github.io/redeemilias/
Veja no YouTube em https://www.youtube.com/live/zrsIq0G5pVY
Adolfo Neto
Gilmar
- Modelos Transformer e LLMsDependência de data workers · Dados roubados · Data centers de IA · Investimentos gigantes
- Futuro da Engenharia de SoftwareTermo IA é ruim · LLMs (Modelos de Linguagem Grandes) · Uso ético de IA · Críticas aos LLMs
- Exploração de Data WorkersTrabalho precarizado e desumano · Imagens e textos tóxicos · Suicídio de trabalhadores · Data labelers
- Big Techs· TecnologiaOpenAI · Anthropic · Custo subsidiado · Modelos de negócios inviáveis
- Inteligência artificial e seus riscos para criançasTermo vago e genérico · Automação probabilística · Provador de teoremas
- Data Centers e InfraestruturaConsumo de energia e água · Poluição e barulho · Data centers de IA
- A influência da tecnologia na comunicação e nas relaçõesRedução da comunicação entre humanos · Diminuição do uso de fóruns públicos · Aquisição Stack Overflow ProSus
- Riscos para Desenvolvedores em FormaçãoPerda de habilidades lógicas · Dependência de LLMs · Avaliação de código gerado
Olá pessoal, boa tarde! Boa tarde, Gilmar!
Boa tarde, professor!
Então estamos começando aqui a nossa live do Esquenta SC4FP. Deixa eu colocar aqui na tela. Não, não era isso que eu queria, era isso aqui. É o nome dessa palestra de hoje, é Inteligência Artificial em Engenharia de Software. Veja que eu coloquei o inteligência artificial e a, entre aspas, o lado ruim. Adolfo Neto É um palestra do Esquenta SE4FP. O Esquenta SE4FP é o evento que tá fazendo uma preparação para o SE4FP, Software Engineering for Functional Programming Workshop, que vai acontecer lá no CBSoft em São Paulo em setembro.
A gente já teve a chamada de artigos, vários artigos foram submetidos, inclusive alguns aqui de alunos da UTFPR, do PPGCA. E estão sendo avaliados agora. Eu sou o coordenador do evento junto com Lucas Verge, Marco Túlio Valente, e o professor Michel Albônico e a professora Maria Cláudia Ema estão coordenando o comitê de programa. Na verdade, eu acho que ficou, achei que tava o Michel também, não, acabou ficando só a Maria Cláudia.
Então é um convite para todo mundo participar. Eu tava compartilhando a tela. Tava, tava, desculpa, pensei que não tava aqui. É um convite para todo mundo participar do CBSoft, do S4P. Eu deixei aqui na descrição, tem esses slides, eu vou colocar no chat também. Vamos ser a base aqui para conversa. Tô vendo aqui pessoas comentando, Jean Pigato e o Igor. Boa tarde, pessoal! Quem quiser depois continuar a conversa aqui nas redes sociais.
Eu atualmente, Dilma, eu gosto, eu sei que a gente se conheceu lá no Twitter, não foi? Falecido Twitter, hoje X. Mas eu gosto mais do Blue Sky. O Heitor tá aqui também, legal. Então deixa eu começar aqui com um pouco de uma motivação e daqui a pouco eu vou fazer um TL;DR. Eu postei isso aqui ontem. So good to see this at Codeberg. Tão bom ver isso no Codeberg. Aí é o texto que saiu da página do Codeberg. Codeberg mudou seus termos de uso.
Conteúdo gerado por LLM está sendo restringido. Projetos de criptomoedas não são mais permitidos. E o que é interessante é que eu tenho seguidores no Blue Sky, mas eu não tô longe de ser uma celebridade no Blue Sky. Mas esse post aqui por causa do tema e pelo que eu escrevi, teve 567 curtidas, 5 quotes, que são posts comentados, 75 reposts. Para os meus padrões é um grande sucesso. Então, primeira coisa que eu quero te perguntar, Gilmar, é: você sabe o que é Codeberg?
Não precisa saber. Eu vou fazer várias perguntas aqui para você que eu não espero que você saiba, mas se você souber, você explica.
O que é CodeBerry? Sim, sei, é uma alternativa ao GitHub, mas de código aberto.
É de código aberto, e o mais importante é que é uma comunidade, não é uma empresa como GitHub ou mesmo GitLab, né? Então eu até descobri o CodeBerry através de um aluno nosso aqui do PPGCA. Você não chegou a conhecê-lo porque ele entrou bem depois que você, é o Felipe Augusto. Mas uma coisa que eu tava pensando assim, às vezes as pessoas começam a assistir uma palestra, depois tem que sair, alguma coisa. Então eu quis, não, vou deixar aqui um TL;DW logo no começo da palestra, que é para quem precisar sair ou quem achar, pô, isso aqui eu já sei, não quero mais saber disso, não vou nem assistir o restante da palestra.
TL;DW quer dizer muito longo, não assistir. Então, número 1, IA é um termo horrível. O termo inteligência artificial, principalmente do jeito que tá sendo usado hoje em dia, é um termo horrível. Já era um termo péssimo no passado e hoje tá ainda pior. Segundo, aqui a gente vai se focar mais em LLMs, que são os grandes modelos de linguagem, e dos sistemas que dependem, trabalham em cima dos LLMs, como por exemplo Claude Code, Codex, ChatGPT, etc.
Outro, outro TL;DW que eu quero deixar aqui é: a gente não sabe se os LLMs estão aqui para ficar por questões econômicas, ambientais, etc. Enfim, não sei se você acha que LLM são uma coisa ruim. Não seja fraco, não desista fácil. Ah, é uma porcaria, é ruim. Veja, eu não tô falando de quem acha que é bom, que acha que é bom é outra história. Mas quem acha que é ruim, quem já sabe que é ruim, ou quem já concorda comigo que é ruim, né, já sabe, é muito forte.
Quem concorda comigo que é ruim não pode dizer: ah, é ruim, é uma porcaria, mas não tem nada o que fazer. Não, há o que fazer sim. A gente vai conversar sobre isso. E aí os 4 pontos que eu acho mais importantes sobre LLMs. Veja que eu coloquei um quase todos os. Eu vou falar o quase todos os só no primeiro, depois eu vou falar só LLMs. Quase todos os LLMs dependem de data workers, trabalhadores de dados, e por isso deveríamos evitá-los, deveríamos evitar usá-los.
Os LLMs dependem de dados roubados e por isso deveríamos evitar usá-los. Que não é legal ficar roubando os dados dos outros, não é legal ficar roubando nada dos outros, né? Nem ficar explorando trabalhadores de dados. Todos os LLMs, ou quase todos, dependem de data centers de IA. Não só data centers, data center a gente depende aqui para fazer essa live, a gente tá dependendo de data center. Mas data center de IA é outro animal, como diz o professor Mauro Oliveira, e por isso a gente deveria evitar usá-los.
E LLMs dependem de investimentos gigantes e por isso deveríamos evitar usá-los. Então eu vou deixar uma declaração aqui de não uso de IA. Eu não usei IA ou IA generativa para fazer escrever um documento. E esse documento, sim, eu sei, se eu pegar isso aqui, colocar, se qualquer um de vocês pegar e colocar num desses gerador de slides, ele vai gerar slides com imagens maravilhosas, etc. Eu não usei, né? Tanto é que tá assim meio feio o texto.
Mas eu lembro que uma das melhores palestras que eu já assisti na minha vida do Renan Ranelli na LX Brasil 2018 era até mais simples que isso aqui, é menos formatação que isso. Então eu acho que slide não determina qualidade de palestra, pelo menos não para mim, né? Eu fico meio chateado às vezes quando eu vejo que a pessoa tem um ponto interessante a passar, mas ela de forma meio que desnecessária colocou um slide feito por IA generativa.
Aí eu até coloquei essas siglas aqui, né? Vou explicar o que que são as siglas, né? IA, inteligência artificial. Eu tô vendo que o meu som fica variando aqui de acordo com a distância que eu fico do microfone. Deixar aqui mais próximo, que o mais importante é o som. E aí é um termo, inteligência artificial, que surgiu já muitos anos atrás, né? Não, a gente tá numa nova onda de IA. Tem algumas pessoas que sugerem que chame de automação probabilística.
É, e por que que eu acho que é um termo péssimo? Porque ele envolve tanta coisa que até o que eu fiz no meu doutorado, Gilmar, o meu doutorado foi um provador de teoremas. Você já implementou um provador de teoremas? É um programinha, tem uma série de regras lá. Na época que eu fiz, eu submetia para os eventos de IA. Eu cheguei a submeter para o ISBIA, não foi aceito, mas eu submeti para o ENIA, que é o Encontro Nacional de Inteligência Artificial, foi aceito.
E eu submeti para o IFIP AI, é um evento também, aconteceu lá em Santiago, foi aceito. Enfim, é uma coisa tão ampla que incluiu uma coisa que hoje em dia quase não se fala como sendo algo de IA. Então, primeira crítica que se tem ao termo IA, apesar de que a gente vai acabar usando aqui meio como sinônimo de LLM, é que é um termo ruim. Então aí fica o pedido aí para quem são, para os que são desenvolvedores, para os que são pesquisadores, que são vários, Quando vocês forem falar de IA, pelo menos em contextos mais técnicos, sejam específicos.
Eu acho que isso a maioria das pessoas já faz, né? E aí, dentro desse balaio de gato que a gente chama de IA, tem a tal da inteligência artificial generativa, que é o que tá na crista da onda agora. Eu acho que já tá começando a cair um pouco, espero. Talvez eu esteja só desejando isso. Mas que essa ideia de você escreve um textozinho e sai um monte de código, você escreve um textozinho, sai uma imagem, sai slide, etc. E eu não sei se todo mundo sabe, mas Gilmar, você conhece pessoas que odeiam IA e que dizem que, me excluindo aí dessa história, e que ficam postando nas redes sociais que odeiam IA?
Não, a maioria acha legal o uso dessas artificiais porque dá uma ideia mais moderna, né? Gostava falando sobre as apresentações aí, que é passar uma imagem mais descolada, mais moderna. E aí eu fico usando essas IA.
Certo, então é isso. Existem muitas pessoas que gostam, mas existem também pessoas que odeiam, odeiam ativamente, que reclamam em vários lugares inclusive. E aí a gente não vai falar de tudo no mundo, a gente vai falar mais aqui de engenharia de software, inclusive dentro do mundo da engenharia de software. Por isso que eu coloquei aqui como motivação esse post aqui do Codeberg. Veja, o fato de eu ter falado uma coisa, ó, saiu LLM de um sistema, todos esses likes e reposts aqui são pessoas que gostaram disso.
Eu não sei se eu linkei aqui Não, eu acho que vai ter, eu vou ter que ver aqui. É que tem um texto do pessoal do Codeberg, mas não vou achar fácil. Mas tem um texto do pessoal do Codeberg explicando por que que eles proibiram LLMs no Codeberg, né, nesse sistema que faz mais ou menos o que o GitHub e o GitLab fazem. Certo, então pessoas odeiam IA, a gente vai ver basicamente porque. Eu vou contar um pouco a minha história de odiar IA.
Eu posso dizer hoje em dia que eu odeio IA, né, nesse, sabendo que é principalmente por isso, né, é um termo vago, né. Então odeio que se use IA para uma coisa genérica, né. Quando as pessoas vão ser mais específicas, odiar IA generativa, por exemplo, ontem mesmo eu tava vendo um vídeo de uma moça que eu já entrevistei, a Sulamun, Ela é artista. Conhece ela, Gilmar? Uma tão conhecida assim, Sulamun. Ela tem canal no YouTube e por ela ser artista ela acompanha essa ideia da IA generativa desde o comecinho lá, desde os primórdios.
Em algum momento ela falou que tinha uma empresa chamada— interessante que logo eu também tenho acompanhado bastante essas coisas de AI lá atrás, se falava muito dela, hoje quase não se fala, pelo menos eu não escuto falar. Eu tô, eu tô dentro lá das comunidades de de IA, de algumas comunidades de IA, de fãs de IA, digamos assim. E era o Midjourney, era um gerador de imagens. E ela fala que lá no começo, quando o pessoal usava o Midjourney, você podia pedir assim: ah, eu quero uma arte no estilo de fulano de tal.
Hoje não pode mais por causa de direitos autorais, mas que no começo— então acho que essa é uma das razões que talvez a comunidade de artistas tenha sido uma das primeiras a rejeitar IA generativa, por causa disso, que acharam que tava roubando o trabalho deles, tava roubando a arte deles. Então, por que não usar IA? É o que a gente vai ver aqui. Então, claro, eu vou colocar aqui algumas premissas só para simplificar nossa conversa aqui.
Premissa número 1: vivemos no capitalismo. Porque às vezes a gente vai falar, ah não, mas tem isso, tem isso. Ah, mas o problema é o capitalismo. É assim, o capitalismo pode ser um problema, você pode concordar disso ou não, mas eu acho que os problemas da dos LLMs no desenvolvimento de software, eles são maiores do que simplesmente apontar que o problema é o capitalismo. Claro que tem a ver com isso, mas, né, eu acho que mesmo dentro de um ponto de vista capitalista é possível ser contra IA generativa, LLMs no desenvolvimento de software.
Outra coisa que eu quero colocar aqui é assim: se você que tá assistindo, escutando isso aqui tá sendo gravado, colocado ao vivo, transmitido ao vivo, depois vai ficar no podcast, etc. Se você tá escutando e usa e gosta, não é sobre você. A menos que você esteja numa posição de determinar os caminhos do desenvolvimento da IA generativa, que você seja um Sam Altman, um Dario Amodei, que são pessoas muito problemáticas cá entre nós, não é sobre você.
Se você é somente um usuário de IA generativa, as minhas críticas não são a você. As minhas reclamações principais são contra quem desenvolve IA generativa de forma antiética. Nem é contra o LLM, não tem culpa de nada. Quem tem culpa é quem abusou dos princípios éticos para desenvolver os sistemas, né? Então, e outra coisa também que eu coloco assim, às vezes a pessoa sabe que tá errado, mas acaba fazendo e Mas por outro lado tem outras coisas que ela sabe que tá errada, que não, que ela não faz.
Mas sou eu, por exemplo, que eu sei que tô errado e faço. Enfim, as pessoas têm formas diferentes de expressar. Eu acho que, não sei se o Danilo tá assistindo aqui, mas o Danilo certa vez escreveu: olha, eu uso LLM, mas eu não uso calça jeans porque calça jeans gasta um monte de água. Veja, ele tem uma consciência, ele tá fazendo alguma coisa, só decidiu, pensando somente no consumo de água, que obviamente não é só isso, focar em outra coisa.
E a última coisa é: eu não sou polícia da IA, né? No sentido que a solução, se você concordar que é um problema, é coletiva e não individual. É um pouco, eu sou, por exemplo, não sei se você conhece o jornalista Reinaldo Azevedo. Já ouviu falar? Ele é um dos jornalistas mais bem pagos do país, ele tem dinheiro bastante. Eu perguntei na internet assim estimativas de salário, eu li coisa, R$150 mil, R$300 mil por mês. É um baita salário, né?
A gente não ganha isso. Nós dois somos professores federais e não ganha isso. Eu tô no final da carreira, você tá no começo, mas a gente definitivamente não ganha isso. E esse cara, o Reinaldo Azevedo, ele fica usando IA para gerar imagens para o blog dele. Eu até entendo porque que ele faz isso, é um pouco meio que um desafio de usar uma ferramenta para fazer alguma coisa. Mas veja, ele tem dinheiro para pagar um artista, ele podia ter uma pessoa que ele pagasse, sei lá, R$1.000, ia ser uma fraçãozinha do R$1.000 por mês.
E eu falo não porque esse seria o salário da pessoa, seria as as charges que essa pessoa faria no mês, R$1.000 por mês, a pessoa ficaria feliz da vida. Ele estaria dando um pouco do dinheiro dele, mas ele não faz isso. Então eu fico triste um pouco com isso, porque eu acho que tem gente que poderia estar recebendo dinheiro e não tá recebendo porque a pessoa resolveu usar uma coisa que roubou dessas pessoas que foram, estão sendo prejudicadas no momento.
Né? Então para mim é um roubo indireto nesses casos. Agora, claro, a pessoa tem um projetinho lá que não ganha dinheiro de nada, tá só, e usa IA no seu Instagram, eu acho ruim, mas eu não acho feio como uma pessoa como Reinaldo Azevedo usando, certo? Aí eu vou colocar aqui, eu tô vendo os comentários, mas eu vou, é, esse tem uns que eu vou deixar para depois, mas esse aqui é interessante, do Momo Satoshi, Node-RED 5348. É sufocante a quantidade de ar sendo utilizada para coisas pequenas hoje em dia, né?
Isso vale para software, vale para não software, né? Às vezes a pessoa ela quer um sisteminha que já existe open source, mas não, mas ela quer ter o prazer de vibe codar o dela, né? Então eu não tenho essas necessidades todas assim de sair vibe codando as coisas. Eu Eu vejo, existe alguma coisa já pronta, eu uso. Por que que eu preciso eu mesmo vai me codar a minha versão? E quando eu falo vai me codar, vai me coding, né, para mim eu tô usando a definição original, é a pessoa que não sabe programar, não quer, ou não quer programar naquele momento, e usa um LLM para gerar um código, um sistema, de forma assim Eu acho que o criador do conceito, ele diz, ah, é só você dizer sim, sim, sim, sim.
Então tá vibe codando. Isso é vibe code. É diferente de usar LLM na engenharia de software, em que você pode usar de uma forma razoavelmente responsável, né? E aí eu coloquei essa seção aqui, vantagens de usar IA no desenvolvimento de software. Eu até coloquei aqui em brincadeira, né? O autor não encontrou nada de significativo para falar, já tem muita gente por aí falando. Na verdade é o seguinte, eu não vou falar nada porque eu já tenho muita gente falando.
Se você ignorar tudo que eu vou falar aqui, dá para dizer que tem vantagens de usar IA no desenvolvimento de software, LLMs, etc. Mas não vou falar, não é para mim, esse espaço tá bem ocupado. Vocês quiserem, depois vocês me peçam, eu passo, dou umas dicas. Até pessoas em grupos que eu tô já indiquei alguns cursos, etc. Né, então alguns bem-intencionados, geralmente eu só recomendo quando eu acho que são bem-intencionados, e alguns muito mal-intencionados.
Por exemplo, algumas das pessoas mais mal-intencionadas que eu vejo falar sobre IA no desenvolvimento de software são as pessoas da Antropic, a empresa que faz o Claude. E de vez em quando tem uma coisa assim, uma matéria, ah, IA vai acabar com engenharia de software, blá blá blá. E são pessoas de alto escalão lá na Anthropic. Como assim? Anthropic não dá lucro. Os caras não conseguiram fazer a empresa deles dar lucro e eles estão falando que vão acabar com engenheiro de software?
Tenham calma, calma, calma, muita calma nessa hora, né? E outra coisa também, veja, mesmo eu não duvido que possa vir um dia dar lucro, mas aí deixa, deixa essa observação aqui do patch coding. Hoje em dia as empresas obrigam o uso de LLM na esteira de desenvolvimento. Isso quer dizer o quê? Mesmo essas empresas dando um baita de um prejuízo, elas só conseguem— o prejuízo só não é maior porque as empresas para as quais os desenvolvedores, desenvolvedores de software trabalham, forçam as pessoas a usarem.
Tem gente que gostaria de passar um pouco mais de tempo para fazer um código melhor, fazer mais à mão, mas não faz isso porque é forçado pela empresa para a qual ela trabalha. Então isso para mim é preocupante também. Já tem gente fazendo pesquisa sobre isso. Eu recebi recentemente um preprint, não consegui ler ainda, mas é da Emily Mazzo sobre essa questão aí. Pessoas que estão— gostaria de pontuar sobre isso. Sim, porque até porque tem outras áreas também, mas pode falar, Gilmar.
Era sobre isso, que tanto sufoco quanto essas obrigações Tá muito complicado você fazer alguma coisa que não use IA. Parece que todo corpo docente, alguma coisa, te força a usar também, senão você tá desatualizado. Os alunos querem que você use somente as apresentações ou alguma coisa do tipo que envolva IA. E você fica assim, cara, eu não quero usar IA, eu quero ler. Não, aqui, professor, você pega esse aqui, faz o resumo. Não, eu sei que esse código faz isso, mas eu quero ler o texto. E a gente, obrigado. Parece que é obrigado a fazer isso.
É, não teve agora uma coisa que eu achei bem vergonhosa, que foi lá no X. E até o coordenador do X mais recente, o Kalinowski, escreveu aqui, né? Acho que o Emerson Murphy Hill dizendo, ah, eu não quero mais avisar artigos do X porque eu não posso usar IA. Pô, você passou anos e anos usando IA. Tudo bem, eu acho que o argumento dele, ele é uma das pessoas que eu digo aqui, é uma pessoa bem-intencionada. Eu acho que aí também eu não vou entrar muito porque foge um pouco do contexto, porque é o uso da IA na ciência.
Mas enfim, ele fala, não, ele tem um método dele para revisar usando IA. Mas enfim, eu acho que você não pode usar, já não pode usar, tudo bem. Sim, então desvantagens de usar IA no desenvolvimento de software. Então uma das desvantagens, deixa eu ocultar o comentário atual, uma das desvantagens de usar IA no desenvolvimento de software é a redução da comunicação entre humanos. Isso é uma coisa que um artigo que a gente acabou de ter aceito lá no CBSoft, na trilha IEEE dos BES, Silent ROS Community: Let's Start Discussing the Impact of AI Adoption on Published Knowledge Sharing.
Não é uma coisa que— não é o primeiro artigo sobre isso. A gente lista, linka Cita vários artigos nesse artigo aqui, mas é que as pessoas pararam de usar fóruns públicos. Pararam é forte demais, diminuíram o uso de fóruns públicos, como por exemplo o Stack Overflow, né? E aí você tem menos comunicação entre humanos, mais comunicação de um humano com a máquina que tá pegando dados de outros humanos. E aí tem outras histórias aí por trás, né?
Então Essa é uma das questões da redução da comunicação entre humanos. Outra questão que eu acho importante é a dependência de Big Tech, né, de grandes empresas. E aí eu gosto de colocar que é big só no investimento, não no lucro, né. Essas empresas, quais são as duas empresas mais relevantes para as pessoas no desenvolvimento de software hoje em dia? É OpenAI e Anthropic. OpenAI que faz o ChatGPT, Codex, e a Antropic faz o cloud, cloud code, etc.
Essas empresas, os números são razoavelmente públicos, eles vazam, mas eles não são bem públicos. Essas empresas, elas têm recebido muito investimento e não há certeza sequer de que um dia elas vão dar lucro. Tem gente que aposta no too big to fail, elas vão entrar na economia de um jeito que todo mundo vai ter que usar. Então, se elas não derem lucro, o governo dos Estados Unidos vai pagar para elas continuarem existindo. Tem gente que acha que não é bem assim.
Enfim, foge um pouco do nosso esquema aqui. Mas alguém pode falar também, ah, e a questão da, e as IA chinesas? Mas veja, uma suspeita bem razoável sobre os LLMs chineses é que eles estão sempre atrás dos estadunidenses e que eles usam o— isso é um fato, que eles estão atrás, né, nos benchmarks que são usados, e que eles usam os americanos para se desenvolver. Inclusive, a Anthropic já acusou publicamente empresas chinesas de usarem o LLM deles para tornar os LLMs chineses melhores.
Então vamos supor que um dia, só uma suposição maluca, OpenAI fecha, já ChatGPT acabou, Anthropic fecha, Cloud acabou. Como é que os LLM chineses vão se desenvolver, né? A gente não sabe, não tem resposta, é só ideias para que a gente tem que pensar na engenharia de software, a gente tem que pensar nas dependências. Se a gente tá dependendo, e veja, eu coloquei ali dependência de Big Tech, mas não é só de Big Tech, é dependência de qualquer coisa.
A gente vai depender de um LLM chinês que seja? O que que eu preciso para usar esse LLM chinês? Aí eu preciso de uma GPU tal, ou de um conjunto de GPUs, e isso tem um custo, e o custo tá aumentando. Não é tão simples assim, certo? A outra questão, sim, e aí eu acho que tá relacionado. Antes, deixa eu ver aqui só os comentários. O Jean Souza escreveu: tem um ponto que tenho percebido atualmente, os LLMs estão virando o novo Google.
Esse não é um dos grandes perigos? Eu não sei se eu tô entendendo. Você tá falando em— porque assim, a tecnologia que está por trás dos LLMs, os Transformers, foi desenvolvida por pesquisadores no Google, ou no Google. Então eu acho que dentre os usos que se pode fazer de LLMs, um dos menos tóxicos, digamos assim, é para busca. Você escreve uma coisa, ele vai lá no LLM e acha outras palavras para adicionar sua busca, e depois ele organiza a resposta para você.
Mas é um grande perigo sim, questão de informação, porque não há tecnologia hoje em dia de LLM que impeça alucinação. Você pode reduzir, mas tem alucinação. Então chega uma resposta maluca.
Sim, que o Jean também não tá apontando que que como você faz uma pergunta no LLM, ele responde, aí você evita que as pessoas escrevam sites, blogs e outras coisas e notícias, porque só os LLMs vão ficar usando coisa do passado. Então será que não atrapalha também? Não é um grande perigo também?
E dentro do contexto do engenheiro de software é aquilo lá, por que que eu vou, para que que eu vou escrever um blog post? Antigamente as pessoas, eu via muitas pessoas escrevendo blog posts no DevTool, nos seus sites pessoais, Eu tenho no começo desses slides, eu tenho lá um link para os meus blog posts aí. Mas é isso, se vem tudo de DLLM, e assim, pela tecnologia é assim, tem gente que fala bobagem porque não entende a parte técnica.
Então vamos explicar a parte técnica. O fato de um sistema DLLM te dar uma resposta colocando links para algum site não quer dizer que aquela frase ali veio daquele site. Às vezes tem uma frase que diz isso, isso, isso, isso, isso, aí tem um link, aí você clica naquele link, não tá lá. E é assim que LLM funciona. Não é porque o LLM tá quebrado, tá alucinando, não. É assim mesmo, é assim que ele funciona. Então é um perigo em vários aspectos.
Um deles, esse que o Gilmar colocou, as pessoas pararem de se comunicar entre humanos porque que o LLM tá inventando as coisas para gente. E esses outros aí que eu falei hoje, ó, LLM faz parte do ecossistema de grande parte das empresas como uma peça central. Impressionante. Sim, aí vem a pergunta, João Vitor, João Vitor Piagem Pereira: faz parte por causa do custo atual? O custo atual é subsidiado. Eu brinco às vezes que assim, todo mundo que usa LLM para qualquer coisa profissional, tá recebendo uma bolsa, uma bolsa, um subsídio do governo.
Eu deveria falar de subsídio, não bolsa, que bolsa a gente lembra de Bolsa Família, que é uma coisa legal, massa, muito boa. Subsídio é aquilo que é aquele desconto de imposto que o governador do estado X dá para empresa porque é amigo do dono da empresa e quer receber auxílio na campanha. Então é o subsídio LLM. Então é, como assim subsídio LLM? Por exemplo, Tem várias empresas que tem o Copilot para todos os funcionários. Não sei se o Felipe tá aqui, mas eu acho que ele já falou alguma coisa, que ele sabe disso, sabe de empresa que tem Copilot para todos os funcionários, ou não para todos, mas assim, tem alguém na empresa que diz, ah, essa pessoa que programa, então vamos dar o Copilot para ele.
Eu tô falando, eu falo o nome de produto mesmo, eu acabo fazendo propaganda indireta, mas enfim. Eu acho importante ser concreto. Às vezes eu fico sem entender algumas pessoas, são muito abstratas, eu não consigo ser. Então tem lá empresa que dá um Copilot para todos os seus funcionários. Esse Copilot para Microsoft custa $100, mas ela cobra da empresa $10, por exemplo. São números chutados aí porque a gente não sabe os números, que os números são da empresa.
Mas veja, se para Microsoft custa $100 e para empresa custa $10 por funcionário, Quem tá pagando esses $90 é o tal do subsídio LLM. A Microsoft tá pagando para empresa porque ela quer que a empresa, que os funcionários da empresa usem, e que um dia eles possam, ou eles vão descobrir um jeito mágico de cobrar, de gastar apenas $10. E dizem que tem empresas que fazem isso de uma forma bem desonesta. Uma delas é a Anthropic, que simplesmente o pessoal usa um termo que eu não sei se você conhece, chama nerf.
A Anthropic nerfa o modelo, faz o modelo trabalhar mal, e aí pronto. Então fala, ok, você pagou, você pagou 10 achando que ia receber 100, se enganou, vai receber só 10 mesmo, né? E ou simplesmente um dia eles vão cobrar 100, né? Então essa é uma das questões. Vamos ver agora o comentário da Ema. A desvantagem, Ema Miranda 1591, a desvantagem de uso de IA para desenvolvimento de linguagem deixa o pensamento lógico preguiçoso e não desenvolve o pensar.
É, essa é uma preocupação do ponto de vista da engenharia de software, porque assim, tem pessoas preocupadas realmente com isso. Eu até entrevistei uma pessoa lá no podcast da Livraria em Foco ano passado, que ela disse, eu tô usando isso aqui, eu tô deixando de saber fazer essas coisas aqui. Se um dia eu não tiver isso aqui, eu não vou mais saber fazer. Tem gente que faz uma comparação errada, que diz assim, ah, mas é como compilador, a gente não vê o código que compilador gera.
Não, não é como compilador. Compilador é determinístico, IA não é determinístico, então é diferente.
E eu acho que muitas pessoas confundem os scaffolds e os boilerplates com IA. Não tem que usar. Antes já existia essa ideia de criar um código básico em boilerplate, e aí agora quer pegar tudo. Também sobre as ideias de você ficar repetindo funções, então se aquela função já existe, aí eu vou ficar usando. E a própria ideia já oferecia. Então, mas são coisas bem diferentes mesmo e que deveriam ser usadas com muito mais cautela.
É, aqui, ó, acho especialmente preocupante, Jean Souza, acho especialmente preocupante quando olhamos para os desenvolvedores de software em formação. Ah, essa no caso ele explicou a questão do Google em relação ao acesso à informação verídica. É, deixa eu falar isso aqui, depois eu volto lá para o outro. Né, em relação ao acesso à informação verídica, eu já não sei se você soube que lá na Alemanha, assim, pela lei da Alemanha, se o Google retorna uma lista de links e tem alguma coisa errada ali, o Google não é culpado.
Mas se o Google faz um resuminho daqueles links e tem informação errada naquele resumo, e aquela informação errada é agressiva contra alguém, sei lá, fulano é um assassino, aí o Google é culpado. Então realmente, e assim, essa questão da informação verídica não tem como garantir que o, aí assim, você pode testar, sei lá, 99 vezes, não dá problema. Uma vez vai dar uma informação inverídica lá no resumo do Google, faz parte. Agora vamos voltar a parte que interessa mais a gente aqui da, eu acho que essa parte interessa também a gente, a engenharia de software, porque é o seguinte, eu penso nas pessoas do Google.
Google, essas pessoas são engenheiras de software, elas estão fazendo um sistema que elas sabem que de vez em quando dá uma informação errada e que essa informação errada pode ser tóxica, pode ser perigosa para alguém. E mesmo assim elas decidiram ir adiante, deram ok, vai, vai, deixa, deixa isso aí no ar. Eu acho isso muito complicado, essa falta de empatia com o usuário, essa falta de ética em relação ao que que deveria ser o sistema.
Eu acho isso complicado. E a outra coisa aqui do Jean é: acho especialmente preocupante enquanto olhamos para desenvolvedor de software em formação. Eu acho que assim, vale para todos os profissionais em formação, né? Porque assim, uma coisa é você fazer algo. Aí você: eu sei fazer X. Aí eu peço para o LLM fazer. Ah, ele fez direitinho. Mas e quem não sabe? Se eu pedir agora para um LLM me dá uma receita para o tratamento de uma pessoa com tuberculose.
Ele vai me dar lá. Vamos supor que o guardrail dele, né, porque os guardrails são as partes do sistema que impedem que certas respostas sejam geradas. Vamos supor que esse aí consiga passar pelos guardrails, que eu acho que a princípio não deveria. Se eu pedir o tratamento para tuberculose, ele vai dizer procure um médico. Mas vamos dizer que passe, até porque guardrails são um golpe. Diz a professora Olívia Guedes, sempre tem um jeitinho de burlar os guardrails.
Mas enfim, como é que eu que não sou médico vou saber se aquilo tá certo ou tá errado? Não tem como eu saber. Então somente alguém que já sabe é capaz de avaliar a resposta. Isso vale para código também, vale para software também. Então é perigoso realmente para o desenvolvedor de software e informação. Deixa eu ver aqui, ó, o patch coding. Trabalho em empresa que deu cloud code para todos os devs. Depois fez layoff por conta de custos.
Aí tá afetando a economia que gira em torno de software. Essa é uma questão muito polêmica no sentido de: a empresa fez layoff para pagar IA, ou a empresa fez layoff porque agora os que ficaram estão sendo mais produtivos? Pode ser que seja um pouco de ambos, pode ser. Mas assim, de novo, não interessa se é porque as pessoas estão sendo mais produtivas. Isso tá na parte do pessoal que gosta de IA. Eu só acho assim: mesmo que a IA tenha deixado as pessoas mais produtivas e por isso a empresa fez layoff, Aí é que entra no próximo tópico aqui: data centers.
Quem é que tá pagando o custo dessa produtividade aí da empresa do Duo, da Petia Coding? Quem que tá pagando isso? Ah, são as pessoas que moram perto dos data centers. Essas pessoas estão tendo que pagar energia mais cara, essas pessoas estão tendo que lidar com água poluída, essas pessoas estão tendo que lidar com barulho. Tem vídeos e mais vídeos na internet de pessoas que moram perto de data centers e registrando o barulho que os data centers fazem.
Se vocês quiserem saber mais, assim, outra coisa, cuidado quando fala, ah não, mas data center isso, data center aquilo. Tem os data centers e tem os data centers de ar. Quem explica bem essas questões, deve ter um monte de gente que explica bem, mas duas pessoas que eu conheço e confio razoavelmente, né, não vou dizer que eu conheço 100% porque eu mesmo não entendo tudo, mas uma é o professor Mauro Oliveira, professor do Instituto Federal do Ceará, professor do Instituto Federal como Gilmar, né, lá do Instituto Federal do Ceará.
Ele deu palestra, ele foi entrevistado por mim no meu podcast, ele deu palestra aqui na UTFPR. Ele fala que data center de IA é outro animal. E o Ed Zitron, ele vai nos detalhes, ele fala, olha, você precisa de GPU, precisa de uma certa quantidade de memória, o prédio tem que ser assim refrigerado, não sei o quê, água. Então tem uma série de detalhes que eu não vou entrar. O que não está em dúvida sobre essa questão é: as empresas estão doidas por aí querendo construir data center.
Então alguma coisa tem, porque senão, por que que elas não simplesmente usam os data centers que já existem? Se elas estão querendo construir um monte de data center por aí, é porque tá sendo necessário, ou elas acham que vai ser necessário. E aí é um pouco a opinião do Ed Zitro. O Ed Zitro fala: as empresas estão querendo construir data center não porque seja realmente necessário, mas porque elas, para que elas tenham lucro um dia, é preciso que haja uma grande adoção de IA.
E para que haja essa adoção, grande adoção, é preciso ter mais data center. Mas não há demanda ainda. Mas isso foge um pouco do nosso tema. Mas o que tá dentro do nosso tema é: se eu vou usar LLM na engenharia de software, eu vou precisar indiretamente de data center. Eu vou estar fazendo alguém sofrer em algum lugar. Isso é legal? Isso é humano? Isso é ético? Esse é um ponto que eu que eu quero colocar. A observação aqui do Marcos Kalinowski: os preços subsidiados serão revistos logo logo.
Gartner prevê que os custos de codificação IA irão ultrapassar o salário médio dos desenvolvedores em 2018, de acordo com os consumos de token, né, os aumentos no consumo de token. Mas uma das coisas que já aconteceu é que a Microsoft no Copilot ela passou a cobrar somente por token, porque hoje em dia o OpenAI é assim, É bom diferenciar, né? Tem 4 grandes empresas aí de IA no mundo, mas as 2 principais são Anthropic e OpenAI.
E tem 2 grandes empresas que têm também muita coisa de IA, mas que não vivem disso, que são a Microsoft e a Google. A Microsoft e a Google, elas enfiam em tudo, mas elas não vivem disso, elas vivem de propaganda. A OpenAI até tava tentando viver de propaganda aí, colocou propaganda no ChatGPT em alguns contextos, mas parece que não deu certo. Vamos ver, né, o que é que vai acontecer. Não sei, mas o que aconteceu foi que o Copilot passou a ser cobrado por token, não por plano.
E aí tem uma diferença aí que fica mais caro para as pessoas. Então eu lembro que tinha uma época que a pessoa só usava, usava, usava, e paciência. Agora o pessoal tá, opa, pera aí, deixa eu usar aqui. Ou uma coisa que acontece também, que eu vejo acontecer lá no grupo de Vida com IA, é que o pessoal usa, usa. Opa, tá quase acabando aqui o meu limite, aqui vou ter que parar de trabalhar. Eles já fizeram até meme, João, aqui atrás assim, a pessoa diz: acabou o meu limite aqui no Cloud Code.
Aí a pessoa sai para passear aí pela praia, etc. Enfim, outra razão pela qual a gente, eu acho, veja, isso aqui é minha opinião, não espero que todo mundo concorde, eu acho que a gente deveria evitar usar LLMs na engenharia de software. Em vez de, eu tô falando de LLM, tem coisa que é IA. Por exemplo, eu fui o apresentador, apresentador, fui o anfitrião de uma palestra do professor Marcelo Finger, que foi meu orientador no doutorado, como ele usa IA no tratamento de doenças vocais, respiratórias, etc.
Aí, aquele usa o mínimo de poder computacional, compute, como as pessoas chamam, uso mínimo. Não é problema dele. Problema é que quem precisa de data center gigante são esses LLMs, não é o sisteminha do professor Marcelo Finger, certo? Então são coisas diferentes, né? E a outra razão, ah sim, no caso do professor Marcelo Finger, ele não precisa contratar pessoas no Quênia para ficar vendo imagens tóxicas, vídeos tóxicos. Os LLMs precisam.
Então eu acho que a gente precisa ter mais empatia com data workers. Eu uso mais esse termo data workers, mas tem os data workers, trabalhadores de dados, data labelers, rotuladores de dados. Inclusive tem uma associação lá no LinkedIn de trabalhadores de dados lá do Quênia. Recentemente uma pessoa dessa associação tirou a própria vida porque o trabalho— estou supondo que é porque o trabalho é muito tóxico. As pessoas têm que ver imagens horríveis, ler textos horríveis.
Tem um termo também, ghost workers. Eu acho que tem até um livro chamado Ghost Work, Trabalho Invisível. E aqui, ó, deixei uns links para alguns vídeos falando sobre isso. Esse aqui é sobre pessoas no Quênia, mas até no Brasil tem um desses aqui, que são pessoas nos Estados Unidos mesmo. Esse último aqui é com a Karen Hall. Então a minha posição é: enquanto a gente não conseguir treinar os LLMs sem depender de data workers, eu prefiro não usar.
Eu prefiro que não seja incluído no fluxo normal de engenharia de software, porque é um trabalho muito pesado, é um trabalho desumano, geralmente mal pago. Então é complicado. E aí entra outra questão, que é a questão do, veja, por que que precisa dos data workers? O que que você acha que precisa? Que, por exemplo, tem vídeo pornográfico para as IAs que trabalham com vídeo, tem vídeo pornográfico na base de vídeo de treinamentos dessas IAs.
Por que que você acha que esse vídeo tá lá, Gilmar? Seria para treinar para reconhecimento se aquele vídeo que tá sendo exibido é ou não pornográfico? Essa, essa é uma boa razão, mas normalmente não é isso, pelo que eu leio. Normalmente é porque eles pegam todo tipo de vídeo, eles não verificam cada um dos vídeos, ele pega uma base gigantesca de vídeo e aí no meio tem vídeo pornográfico. Paciência, eu preciso treinar mesmo, vai esse vídeo aqui, vai vídeo de assassinato, vai tudo, né?
Tem gente trabalhando com isso aí também. Eu acho que até uma moça do canal Peixe Babel, ela tava fazendo doutorado sobre isso, que era Ela não via os vídeos, mas ela treinava um sistema para detectar esse tipo de vídeo. Achei bem interessante.
Eu acho que na época que eu era estudante da UFT teve um colega que fez um trabalho mais ou menos nessa área, só que não tinha IA. Aí ele tava tentando reconhecer algumas coisas, alguns padrões, cor de pele, alguma coisa assim do tipo.
É, olha aqui, então essa é uma questão. É, a questão é Quando você usa um LLM, você sabe de onde vieram os dados usados no treinamento desse LLM? Tem um comentário aqui que depois eu vou deixar, vai ter um ponto que vai se encaixar. Esses dados foram obtidos com consentimento de quem gerou esses dados? Esses dados respeitam os direitos autorais? Alguém, ah, eu discordo, eu acho que não deveria existir direito autoral. Ok, mas vai fazer isso com Mickey, com a Minnie, com o Pato Donald?
Não vai fazer com artistazinho coitado lá no— coitado no sentido de pobre em relação à Disney. É dele que você vai roubar os direitos autorais, não é da Disney. Porque você faz um negocinho com Disney, já se você pega uma música e coloca no YouTube, já vem um negócio, derruba seu vídeo. Agora a empresa pode pegar, né? Então eu acho importante saber, ah, eu tô usando um LLM, De onde vieram os dados para treinar esse LLM? Eu sei.
Se eu não sei, eu não quero usar. Se eu não sei de onde vieram os dados, eu não quero usar. A licença permite o uso? A licença do código usado para treinar o Claude Code permite o uso do jeito que eles estão usando? Eu não sei, porque eles não dizem de onde eles tiraram o código. Então, e outra coisa, tem, ah não, mas isso aqui era tudo código que tava lá no GitHub. Não, mas você não pode olhar somente para o código. Um sistema como Cloud Code não usa só o código.
Tudo bem, Cloud Code não gera imagem, mas ele precisa entender o seu texto. Para entender o seu texto, Anthropic já foi processada por roubar livros, teve que pagar multa. Então, para mim, é uma questão de respeitar os artistas, os criadores, os escritores. Aí, mas parece que tava lendo o meu pensamento aqui. O caso da Karen Bachini sobre direito autoral, podem comentar. Saiu ontem, se não me engano foi ontem, Ema, um vídeo da Sula Miranda.
Sula Miranda, Sulamum. Era uma cantora do passado. Sulamum, seu problema de falar ao vivo, né? A gente mistura aqui os neurônios aqui, acaba saindo umas coisas de estresse. Sulamum sobre isso, né, que A Karen Bachini é uma influenciadora. Ela começou a desenhar algumas coisas e ela, segundo ela, ela finalizava as artes dela com IA. E a Sula Moon disse, explicou no vídeo dela, não, finalizar é parte da arte. Você não pode finalizar com IA e achar que aquilo é seu.
Não, para conseguir aquilo você tá roubando de um monte de gente. E a Karen Bachini aceitou e já pediu desculpas. Deixa eu ver essa postagem aqui que eu salvei. É aqui, ó: Anthropic destruiu milhões de livros impressos. O pessoal tá destruindo o livro impresso, eles estão comprando livro em papel, rasga as páginas, escaneia. Por quê? Porque a internet tá tóxica, tá cheio de conteúdo gerado por IA. E quando você usa conteúdo gerado por para treinar IA não é bom para IA, para o LLM.
Então eles precisam de conteúdo de verdade feito antes da IA. E aí tá tendo esse problema aqui também, né? E aí entra a questão aqui, é o Redaction Vídeos. LLM não é solução para tudo realmente, mas vocês têm que acordar. É um ponto sem retorno? Não é um ponto sem retorno. Se fosse um ponto sem retorno, as pessoas não estariam dizendo que é um ponto sem retorno. Se fosse um ponto sem retorno, repito, as pessoas não estariam dizendo que é um ponto sem retorno.
Qual é o lucro, Redaction Vídeos? Qual é o lucro que a Anthropic tá dando? Qual é o lucro que a OpenAI tá dando? Só dá prejuízo. Aí entra outra questão, Redaction Vídeos, que é o seguinte: Ah, mas tem a Microsoft, tem o Google. O Google é muito famoso por manter os produtos que as pessoas gostam, né? Você chegou a usar o Google Reader, Gilmar? Era um leitor de blogs maravilhoso. Acabou. Eles tinham o Google Podcast também, não era maravilhoso, mas acabou.
O Google tá enfiando IA em tudo quanto é lugar. Para concorrer. Aí no dia que acabar o Anthropic, ChatGPT, porque o impressionante, tem gente que usa, tem gente que usa ChatGPT como mecanismo de busca. No dia que acabar isso, o Google diz, ah, beleza, acabou, não quero mais, não vai ter mais modo IA no Google. Então não é um ponto sem retorno, a gente tá no momento que não é um ponto sem retorno. Não é tudo, mas faz um trabalho eficiente até em energia mesmo?
Não, não existe nenhuma evidência que faz um trabalho eficiente em energia, né? Isso não existe. Você não pode considerar energia somente da inferência, você tem que considerar energia também do treinamento. Então tem que olhar toda a linha de, como é que fala, a cadeia de processamento de tudo. Então até hoje. É, não existe mais volta, só resta se adaptar aí. E aí eu coloco assim, eu coloquei isso aqui, eu coloquei isso aqui lá no meu Blue Sky.
Deixa eu ver se eu coloco aqui no Blue Sky, que eu acabei de colocar. Não sei se chegou algum comentário. Esse cara aqui que eu sigo lá no Blue Sky, o Ed Zitro, de vez em quando ele tá colocando uma newsletter grátis. Esse é um dos poucos caras que tá ganhando dinheiro com IA, porque ele tem um Ele tem uma newsletter que fala mal de IA, e aí ele cobra das pessoas para ler alguns posts. Ele tá ganhando dinheiro com IA, as empresas mesmo não estão ganhando.
E aí, é, foi esse comentário aqui. Deixa eu voltar aqui. Isso aqui foi escrito, essa pergunta fui eu que fiz numa palestra, e a resposta na verdade eu não sei de quem é, mas assim, a minha pergunta foi: é ético usar IA generativa para gerar código ou testar software, considerando Lembrando que todos os principais modelos de linguagem de grande porte, LLMs, são treinados com dados roubados, dados utilizados, os dados foram utilizados para treinamento sem autorização.
Aí essa pessoa aqui, que é o Bertrand Meyer, que é uma espécie de sumidade na engenharia de software, sim, com certeza, se não usasse, não, ele não respondeu, ele pegou o comentário de alguém, então ele se recusou até mesmo a responder, ele só pegou o comentário de alguém, colocou como resposta a minha pergunta. Olha a resposta irônica da pessoa: sim, com certeza. Se não usássemos inovações provenientes de origens duvidosas, estaríamos muito mais empobrecidos, mais doentes e teríamos menos prosperidade.
Aí tem um comentário aqui da pessoa aqui do Samu. Ah, eu, é, o que foi que o Samu escreveu aqui? Samu Korotchek, parece com a pessoa, opa. É, não tá aparecendo. Parece com uma pessoa que estaria legal com alguém roubar seu dinheiro e melhorar sua vida com ele. Porque isso eu faço assim: ah, ok, tudo bem, eu vou roubar dos data workers, vou piorar a vida de algumas pessoas no data center, tudo bem, mas a minha vida tá sendo melhorada.
Por que que eu vou me preocupar com eles se a minha vida tá sendo melhorada? Ah, vou roubar meus pais, tudo bem. Então isso para mim é uma resposta fraca. Veja, eu não tô dizendo o seguinte: ah, teve um médico nazista que durante a Segunda Guerra tava fazendo experimentos com seres humanos e descobriu uma coisa maravilhosa que hoje ajuda as pessoas a não terem câncer ou a curar o câncer. Veja, é diferente. Já aconteceu. Nesse caso aqui não está acontecendo.
Existem nesse momento data workers trabalhando, existem vários data centers que estão sendo planejados, alguns estão sendo, alguns estão sendo construídos. Não é como, como disse lá o Radaction Vídeos, um ponto sem retorno. Não tem retorno ainda. Então, por isso que, claro, primeiro você precisa concordar que é um problema. Se você não concorda que é um problema, aí veja, a gente tá em ambientes éticos diferentes, tudo bem. Mas se você concorda que é um problema, você não pode dizer, ah, deixa para lá, dane-se, não quero saber, aquelas pessoas lá estão sofrendo, problema delas.
E claro, E aí de novo eu volto aqui, o que eu falei lá. Sim, tem pessoas sofrendo em vários contextos. Eu tô falando aqui somente do contexto engenharia de software. Então eu por mim eu acabava com o carro. Só quem ia ter carro, sei lá, serão pessoas que tivessem uma licença especial por alguma coisa. Há médicos que precisam por conta de sua especialidade ter hospitais, mas uma pessoa precisar de carro para ir e voltar do trabalho, eu sou contra.
Então não é uma coisa assim única da IA. Certo. Aí a pergunta do Redaction Vídeos: quando todo mundo tiver um hardware compatível e custos compatíveis medianos rodando modelos capazes de open source ou não, você vai ter a mesma opinião? Boa questão. Eu vou colocar isso aí lá no final, vou deixar um asterisco aqui. Aí tem outras coisas mais específicas da engenharia de software. Vejam, falei do problema dos data workers, data laborers, data centers, do roubo de dados.
E tem outras questões, são mais específicas ainda da engenharia de software, que assim, eu que eu vejo, e até um dos caras que é um dos maiores, um dos piores exemplos de ser humano da comunidade de engenharia de software, que é o Robert C. Martin, ele falou assim, ah, eu não leio mais meu código gerado por IA. Claro, aí depois ele disse, ah não, tem que colocar isso, isso, isso, isso, isso, isso, isso, isso, isso. Se eu fizer tudo isso aqui Aí eu não preciso ler o código.
Mas parece que as pessoas não estão fazendo nenhuma coisa nem outra, elas simplesmente confiam, faz um mínimo de testes e paciência. Então há um perigo nisso aí também. Eu acho que tem gente trabalhando com isso, né? E aí tem aquela coisa, dá para garantir algo apenas de forma indireta? Então, por exemplo, uma coisa é usar um lint, um lint para garantir mesmo um software, outra coisa é simplesmente, ah, fazer 3 testes aqui e tenho certeza que o meu código tá correto.
Então não, não é tão simples assim. Ao longo dos últimos anos, veja, Dilma, eu quando surgiu esse negócio de AI, eu era bem positivo assim. Eu fui aos poucos descobrindo que tinha todos esses problemas. Eu não descobri da noite para o dia, não. Uma das pessoas que eu agradeço até hoje, que me ajudou a abrir os olhos é a minha filha Noara, que ela é designer. Então ela tava vendo o que tava acontecendo na comunidade dela. Demorou um pouco para chegar essa revolta na comunidade de desenvolvedores de software.
Então eu fiz alguns vídeos ao longo dos anos, inclusive eu acho que tem vídeo eu programando com ChatGPT no passado no meu canal. Não quis apagar não, deixo, deixo minhas feridas à mostra. Lá, né? Esse aqui é sobre o relatório do grupo de trabalho da SBC sobre políticas de incentivos a data centers. Eu sei que o Mauro Oliveira não gostou tanto disso aqui, ele não tá nesse grupo, mas aqui é o vídeo com meus comentários. Desenvolvedores de software afirmam que a IA está deteriorando seus cérebros.
É meio chamativo, mas é uma matéria de um site muito bom. Por que me oponho e rejeito a IA generativa, de Débora Lupton. Eu odeio a inteligência artificial, de Anthony Moser. E tem uma playlista de IA que inclui shorts. Eu vou colocar aqui, antes de passar aquela questão lá do plágio, deixa eu entrar aqui lá no meu blog, que eu gosto muito de algumas coisas que tem aqui. Ó, tem esse texto aqui: por que resistir à IA? Água e energia, economia da IA para leigos, mostrando que vai ser muito difícil essas empresas um dia darem lucro.
Timnit Gebru, adoro a Timnit. Deixa eu ver um que tem aqui. Esse aqui, mas não é esse que eu quero. Ah, esse aqui eu gostei muito, é do Joep Schurks, é um nome holandês. Veja, para você aceitar usar IA generativa, você tem que aceitar que os modelos foram treinados com dados roubados, aceitar que os dados foram rotulados por trabalhadores explorados, os data workers, aceitar os custos ambientais dos data centers que operam esses modelos.
Aceitar que estou terceirizando algumas das minhas habilidades para uma empresa, que assim você pede tanto para fazer que você esquece como é que se faz, e só o LLM que sabe fazer por você, ou você só sabe fazer com ajuda de um LLM. Aceitar que as empresas não têm um modelo de negócios viável. Aceitar que está concedendo mais poder às grandes empresas de tecnologia e a sua visão de mundo. Aceitar que está concedendo mais poder aos Estados Unidos, porque os grandes sistemas de dos grandes LLMs, os melhores, mais conhecidos até hoje ainda são dos Estados Unidos.
Aceitar que todo esse esforço poderia ter sido empregado em outro lugar. Aí eu gosto dessas frases que ele colocou aqui, ó. Esse cara é um testador. Se algum desses fatos for novidade para você, é porque você não tem feito a sua devida diligência. Normal, nem todo mundo tem que saber tudo, não. Tenho o mais profundo respeito e solidariedade pelas pessoas que são forçadas pelas circunstâncias a aceitar essas coisas. Foi comentado aqui.
É interessante que tem gente que comenta para mim em privado, não tem coragem de falar mal de IA em público porque é forçado a falar mal, falar bem, não é nem forçado a falar bem, é forçado a não falar mal, tem medo de falar mal e sofrer represálias. Isso eu acho uma coisa bem complicada. Reconheço que o comportamento ético das pessoas não é nem determinístico nem consistente. Então eu acho que isso é Lembra aquele ponto que eu falei lá do Danilo, da calça jeans?
Eu uso calça jeans, mas em minha defesa, Danilo, eu só descobri que calça jeans gastava tanta água depois do seu comentário. Aí veja, foi útil o comentário do Danilo. Eu não sabia que calça jeans gastava tanta água. Graças ao comentário do Danilo, a próxima vez vou pensar muito bem se eu vou ou não comprar uma calça jeans. Então aí a generativa me radicalizou, disse lá o Jope. E aí, deixa eu, tô quase terminando aqui. É máquina de plágio.
Isso aí, isso vale mais para quem usa texto, usa para gerar texto. Como é que você garante que um texto gerado não é plágio? E veja, plágio não é somente ipsis litteris, né, aquele plágio que você pega palavra por palavra. Às vezes é a mesma frase, a mesma estrutura de um parágrafo que pode vir de algum texto tá indo para o seu texto e é plágio. Como é que você garante isso? Não tem como garantir usando o LLM. E aí vem um experimento mental para quem é professor universitário ou para quem é gerente, desenvolvedor de software.
Se um aluno ou funcionário, né, aluno para os professores, funcionário para o gerente, desenvolvimento de software, digamos, esse aluno funcionário trabalhou numa empresa muito boa que faz um software muito bom, foi demitido. Aí essa pessoa, antes de ser demitida, baixa todo o código lá daquela empresa que tem uns algoritmos maravilhosos, chega para você e mostra: olha, vamos trabalhar com isso aqui, peguei lá daquela empresa que eu trabalhava lá.
Você aceitaria? Você usaria isso aí para fazer um trabalho de pesquisa fantástico? Claro, você ia ter que disfarçar o que, qual foi a origem daquilo, mas você usaria sabendo que é roubado? Né? Então eu sugiro que todo mundo pesquise para entender essa questão aqui. Pesquise o que é LLM, o que é IA, que eu gosto sempre de colocar entre aspas, e fique com isso na cabeça, que IA é um termo lixo. Não usa esse termo. Ética é uma coisa também que tem várias definições.
Eu não vou entrar na questão do que é ética, qual a definição de ética, e assim Falando em termos leigos assim, dá para dizer que dá para usar o LLM de forma minimamente ética. Eu lembro quando eu usava LLM, eu pegava, ó, escrevi isso aqui, reescreve aí de um jeito que fica mais claro. E fazia, não é antiético. Eu escrevi a frase, só pedi para reescrever, né? Ah, uma coisa que eu usava era assim, eu pegava o roteiro de um podcast meu, pedia para ele gerar um resumo a partir daquele roteiro.
Minimamente ético, né? O que não existe ainda, ao menos, é que é um LLM que as pessoas realmente usem e que tenha sido construído de forma minimamente ética. Quando eu falo as pessoas, é a grande maioria das pessoas. Existem alguns LLMs construídos com bases de dados públicas, etc., uso mínimo de poder computacional, mas quase ninguém usa, né? Isso aqui eu já falei, essa questão que nenhuma empresa que faz LLM hoje em dia tem lucro, nem as estadunidenses, nem as chinesas, nem a francesa, nenhuma, né?
Ah, mas tem uns modelos abertos. Achei um pouco que o Redaction Videos colocou, tem uns modelos abertos, são abertos de verdade, eles são de pesos abertos, não são abertos, não tem um código-fonte. Eu acho que tem um ou dois que são, mas a maioria são fechados para tudo menos para os pesos. Quer dizer, o procedimento, você pode rodar, mas não sabe como é que aquilo foi feito. Alguém chega na sua casa com, ó, tô aqui te dando de presente um salame.
Você vai comer esse salame? De onde veio aquele salame? Que animal foi morto para você, para aquele salame ter sido feito, né? E aquilo que eu falei aqui, tudo indica que os avanços em modelos abertos dependem dos avanços em modelos fechados subsidiados. Se um dos modelos fechados ficarem mais caros, o que que vai acontecer com avanços abertos? Acho que tem um post aqui do, esse aqui é do Gijo, era sobre a questão da dívida das empresas de ar.
Não vou entrar nisso aqui não. E outra coisa também que eu acho que é importante, as pessoas, é a questão da escala, né? Ok, o Redaction falou aqui, deixa eu voltar aqui ao ponto do Redaction, né? É quando todo mundo tiver um hardware hardware compatível. Todo mundo tiver um hardware compatível? Será que vai ser possível todo mundo ter um hardware compatível? Tem que pensar na escala. Eu até acredito que vai ter uma série de empresas que vai conseguir ter, mas todo mundo, tenho minhas dúvidas.
Então, escala. Isso aqui eu já falei, mas eu acho que é importante repetir: nenhuma das grandes empresas de IA dá lucro, estão longe disso. E não é como Uber, AWS, Isso a Desitron explica bem em vários episódios, né? São vários custos aí que tem que não tinha nessas empresas. Por exemplo, o que é que o Uber fez? Ele roubou o negócio dos táxis. É diferente. E a IA não tá roubando um negócio, tá tentando roubar vários ao mesmo tempo, né?
Isso aqui eu, para deixar uma coisa assim mais positiva do professor Maldonado, ele, entre aspas aqui, acho uma perspectiva positiva, pois pode ser direcionada ao uso de IA em diferentes perspectivas e avaliado. Então ele fala assim que é importante analisar custos, benefícios, vantagens vantagens e desvantagens. Eu acho que isso é o básico da engenharia de software, né? A gente analisar custos, benefícios, vantagens, desvantagens.
E a gente na engenharia de software tem que analisar os custos ocultos também. Você não pode sair usando o LLM só porque, ah, tá aqui, tá disponível, tá por $20 por desenvolvedor. Não pode ser assim, tá? $20 ali, mas quanto é que tá? Quem tá sofrendo para que isso aqui seja $20, né? Então tomar cuidado. Mas veja, eu não tô, não quero com isso apontar o dedo para pessoa desenvolvedora que tá sendo forçada a usar no mercado de trabalho.
Isso aí são outro, é outra questão. E aí, para quem quiser saber mais, tem o livro The AI Code, muito bom, de Emily Bender e Alex Hanna. Tem uma live que nós fizemos com essas autoras aqui no canal do Fronteiras de Engenharia de Software. Essa live aqui tá acontecendo no canal do Fronteiras de Engenharia de Software. Tem um livro, O Império da IA, de Karen Hall, que acabou de ser traduzido para o português faz um mês, talvez. Eu não gostei tanto desse livro, Gilmar, sabe por quê?
Porque tem muita fofoca, muita coisa assim: ah, fulano trabalhava aqui, saiu para trabalhar lá, aí porque teve a demissão do São Altman. Mas tem muita coisa boa dentro. Então eu sou ambivalente com relação a isso. Eu gosto muito, eu não terminei de ler ainda aqui, mas eu gosto muito do que eu já li do livro de Hagenblicks e Ingeborg Glimmer, que ele tá falando o seguinte: veja, IA, e aí esse nome horroroso mesmo, Não é perigoso para os empregos só porque funciona.
Às vezes é perigoso porque não funciona. O fato de não funcionar pode atrapalhar a vida das pessoas também. Você vai ser substituído, você não vai ser substituído por um IA, mas sim você vai ter que trabalhar, vai ter que corrigir os erros de uma IA vagabunda, né? Talvez isso já aconteça com algumas pessoas na área de código. Você fica lá tendo, você fica brigando com o cloud para ele gerar um código minimamente bom. Quando você podia estar escrevendo aquele código bom do zero.
Mas veja, não sei, não tenho experiência com Cloud Code não. Talvez hoje em dia seja, mas faz um prompt e já sai um negócio bom. De novo, para mim isso não importa. Tô pouco me lixando se o Cloud Code gera código bom ou ruim, porque por trás desse código bom ou ruim, mesmo que seja um código excepcional, tem sofrimento de pessoas. E é isso que eu quero evitar. Podcast do Cal Newport, ele é muito bom para explicar as coisas de um jeito assim Para nós que somos assim do meio do caminho, a gente não é— eu imagino que a maioria das pessoas que tá aqui não são pessoas pesquisadoras com doutorado em IA, mas são pessoas que entendem minimamente de IA e que entendem engenharia de software, gostam muito do Cal Newport.
Nem eu não recomendo para todo mundo o podcast do Ed Zitron porque ele, ele xinga, ele fala palavrão, ele fala de um jeito engraçado, deselegante. Mas ele traz informações, então é bom. O problema é que eu nem sempre eu consigo saber se as informações são verdadeiras ou não, né? E por último, eu quero deixar essa mensagem, né? Não seja fraco achando que é inevitável. Se você discorda de LLM, não diga, ah, é uma porcaria, mas não tem o que fazer.
Não, ainda dá tempo, dá tempo, né? Não seja derrotista, não seja também fã vítima de infiltrados, junte-se a nós, né? Eu chamei aqui de Escola Guest, Iris, Emily, Alex, Fellini. São algumas pessoas que eu respeito muito. Eu escolhi só 5: Olivia Guest, da Radboud University, Iris van Rooy, mesma universidade, Emily Bender, Universidade de Seattle, Alexana do DER, Fellini Hermans, da Universidade Livre de Amsterdã. Né, então tem que tomar cuidado com o derrotismo de dizer, ah, não tem o que fazer, paciência.
Deixa eu ver antes a questão aqui, depois eu faço. Antes eu vou concluir. Veja, se um dia, e eu acho que isso volta para a questão lá do Radaction Vídeos, se um dia for possível fazer LLMs sem dados roubados, sem a necessidade de consumo significativo de água e energia, Algum consumo de água, energia, computador sempre tem. Mas o que as pessoas, algumas pessoas especialistas, e como sempre tem pessoas que dizem, ah não, mas não gasta tanto assim, não sei, não sou especialista nisso.
Eu tô olhando para as pessoas que eu confio, que dizem que o consumo de água, energia por LMs é muito grande. Mas se um dia for possível fazer isso, é um consumo significativo de água, energia, que não vai fazer falta para nós humanos. Sem a necessidade do trabalho precarizado de data workers, sem a necessidade dos investimentos gigantes que a gente está vendo em Anthropic, LLM, tudo bem, dá para usar na engenharia de software.
É isso que eu acho. Aqui tem uns links extras, mas é só para complementar se sobrasse tempo, mas não sobrou tempo. Então vamos só para pergunta aqui da Ema e a gente finaliza. A Ema escreveu: teve o caso em que a informou o caso de ação de uma inteligência artificial, de que uma inteligência artificial entrou em contato com as autoridades para evitar um crime grave no Brasil após um caso envolvendo ChatGPT no Espírito Santo. Foi no Espírito Santo, não foi no Pará, não?
Eu acho que foi no Pará isso, Ema. Mas sim, teve esse caso sim. E você sabe por que que aconteceu isso, Ema? Que aconteceu um caso parecido no Canadá e a empresa não fez nada. Depois disso eles passaram a olhar. Já teve vários casos de suicídio induzido ou auxiliado, o termo é errado, mas assim, pessoas que ficaram conversando com LLM e decidiram se matar. Foi culpa do LLM? Não, mas foi, teve um sistema lá que tava interagindo.
Então enfim, isso é uma questão ética para o uso. Por exemplo, vamos supor que Uma pessoa trabalhando como desenvolvedor de software de uma empresa, ela não usa LLM na vida dela, mas aí a empresa diz: não, você tem que usar. Aí ela começa a usar, aí depois de um tempo ela começa a usar o LLM como apoio psicológico, e depois de um tempo ela se mata. De quem é a culpa aí? Não sei, não sei. Isso para mim é, de novo, é uma questão ética, mas de quem é a culpa, para mim é complicado saber.
É Então são várias questões aí. Fato é que já teve vários casos. Tem uma, eu acho que um dos links que tá aqui nos slides, eu chamo de slides, mas não são slides, são de uma jornalista chamada Maggie Harrison Dupré, que ela já cobriu vários desses casos. Ela é muito boa, ela vai a fundo, ela lê os processos, famílias mandam os documentos para ela. Então é complicado, tem gente realmente se dando muito mal. Mas aí, se dá para ver uma coisa positiva aí, é que por conta de vários casos que já estão na justiça dos Estados Unidos meio que parou.
Os últimos casos que teve foram relacionados ao ChatGPT-4o. Então, menos mal que eles estão conseguindo de alguma forma. Essa é a minha esperança, que eles estão conseguindo. A pessoa começou a falar muita coisa aqui, corta, corta a conversa, não conversa mais, né? Ah, tem um comentário aqui. Quem tiver mais alguma pergunta, comentário, pode fazer aí no chat. A gente vai ficar aqui mais uns minutinhos, no máximo até 15:30. Eu também tenho acompanhado tais questões da LLM e a generativa com bastante preocupação.
Concordo muito com o que foi dito aqui, fico feliz de ver esse importante posicionamento público. Obrigado, Joênio. Veja, eu acho assim que mesmo se você acha útil, tem que saber o que tá acontecendo. Você fala, ah não, eu acho que os riscos compensam, os benefícios compensam os riscos. É sua posição. É a questão aqui, ó. Não é o Radaction Vídeos, não é pela LLM o gasto da água dos data centers em geral. Sim, mas aí é que entra assim, eu redireciono você para o especialista que é o Mauro Oliveira, ele é especialista em data center.
Segundo ele, parece que é pior, né, para data centers de ar. Sempre teve os data centers menos ou mais eficientes nesse sentido. LLM abriu uma brecha para dar razões para demanda continuar ineficiente. É, inclusive até uma, tem uma coisa assim, ah, as empresas iam, vamos usar energia limpa, não sei o quê, blá blá blá blá blá. Acabou, né? Agora é tudo. Eu acho que a Microsoft vai reativar usina nuclear, o Google. Alguma dessas empresas tem uma coisa: não, vamos aumentar nosso uso de energia limpa até tal ano.
E apagaram isso aí do site, sei lá. Gilmar, você trabalhava lá no Instituto Federal do Amazonas, né, em Boca do Acre. Agora você tá em que campus mesmo do IFTO, Instituto Federal Tocantins? Famoso do Araguaia. Como é que a natureza aí tá preservada ou agropecuária também tá destruindo?
Então, a gente tá próximo a maior ilha fluvial do mundo, né, que é a Ilha do Bananal. Parece que tá bem, vamos dizer assim, o agro tá muito forte aqui.
De novo, é aquilo que eu disse, não é tudo só culpa dela. Tem muita coisa, pô, eu tô engajado aqui na luta para reduzir a poluição dos carros pelos carros elétricos. Legal, eu não tô reclamando de você. Essa é uma coisa que por acaso caiu dentro da minha área de especialidade, que é engenharia de software. Então deixa eu falar um pouco sobre isso aqui, mas tem várias questões aí. Certo, eu não tô vendo mais nenhuma pergunta, nenhum comentário.
Agradecer a todo mundo. Obrigado, Gilmar, aí pela parceria. Pelo menos eu não me senti que eu tava falando sozinho aqui, né? E você falou, só para complementar, você falou que lá onde você tá trabalhando eles estão querendo, estão estimulando você a usar, vocês a usarem um LLM, mais ou menos isso? Sim, quer dizer, não é um LLM, é um sistema que usa um LLM por trás. Porque o que acontece muito hoje é isso, né? É um sistema que a pessoa usa IA para dizer não, é um sistema que tem um LLM por trás, tem toda uma casca em volta, né?
Hoje em dia todos esses softwares de codificação, né, tem toda uma casca em volta. O pessoal chama de harness, né? O LLM é uma das coisas que tá lá dentro, mas não é só LLM. Por que que o meu foco tá sendo aqui no LLM? Porque a gente sempre usou IDE. É um software cheio de coisas, às vezes depende de data center para gravar, guardar os plugins, etc., mas não tinha o roubo de dados, o consumo ambiental, uma série de coisas que tem nos LLMs.
Só veio aqui o teu comentário aqui do Jean Souza: palestra de utilidade pública, muito obrigado. Obrigado, Jean. Sim, mas você quer falar alguma coisa? Você pode falar alguma coisa sobre isso aí? Não sei se vocês tiveram muita explicação sobre isso no Hoje você só comentou assim por cima.
Não, sobre o que a gente falou mesmo, a ideia de que é estimulado para ficar moderno, para ficar com a linguagem mais jovem, para automatizar o processo de elaboração e correção de atividades. Era esse o ponto.
Teve um grupo aqui, não sei quem foi, pegou todos os repositórios do GitHub e colocou num dataset para treinar IA. Aí eu pedi para sair, só que eu achei muito chato que você tem que pedir para sair, tinha que ser opt-in, não opt-out, né? Enfim, deixa, coloquei o link aí no chat, mas é, eu acho meio chato quando uma coisa dessas é opt-in, certo? Aqui, olha, todos os meus repositórios que eu pedi para tirar aqui. Porque optem. Então é isso, eu acho que deveria ser assim também essa questão nas empresas, sabe?
Quer usar, tudo bem. Não quer, ah, tem uma pergunta aqui, uma última pergunta. Professor, pode comentar sobre a carga cognitiva e o débito técnico cognitivo devido ao uso de LLM na engenharia de software? Eu não posso comentar muito porque eu realmente eu não sei, não tenho lido. Como eu fiquei mais nessas questões aí que eu falei, eu nunca fui muito atrás. Veja, porque de novo Eu tento evitar coisas que possam ser vistas como algo que tá ajudando as empresas.
Então, por exemplo, ficar com uma, será que a carga cognitiva é maior, menor, o débito técnico é maior? Parece que eu tô querendo ajudar as empresas de LLM a fazerem coisas que não tenham débito técnico, não tem um débito cognitivo. Não, eu quero que simplesmente não usem por mim. Se depender de mim, OpenAI amanhã vai à falência, Anthropic vai hoje já, né? Anthropic para mim eu acho que consegue ser pior que a OpenAI. Então eu sei, mas respondendo, eu sei que tem muita gente trabalhando sobre isso e eu acho legal que as pessoas trabalhem sobre isso, mas realmente eu não conheço.
Aí fica a pergunta aí, quem tiver escreve aí nos comentários. Esse episódio aqui vai ser publicado no, tá, já tá sendo live lá no YouTube, depois vai ser publicado no Spotify do podcast Alice em Foco. E aí vocês podem comentar se vocês sabem de algum trabalho que fale sobre Carga cognitiva e débito técnico e cognitivo devido ao uso de LLM na engenharia de software. E hoje, para mim, por exemplo, só vale a pena prestar atenção nesse trabalho depois que a gente resolver aqueles problemas anteriores.
É só essa questão, Carlos Dantas. E aí, por último, o Tácio escreveu: ótima discussão, precisa ser mais abordado e discutido. Obrigado, obrigado, Gilmar. Então, até a próxima. Este é um episódio da Rede Emílias de Podcasts, que é uma iniciativa dedicada à divulgação de conteúdos relevantes nas áreas de tecnologia, ciência da computação e engenharia de software, com foco especial na diversidade e inclusão. Esta rede abrange 5 podcasts distintos, cada com seu propósito único, uma audiência dedicada.
E esses podcasts fazem parte das atividades de divulgação científica e extensão do Programa de Pós-Graduação em Computação Aplicada, PPGCA, da Universidade Tecnológica Federal do Paraná, UTFPR, no campus Curitiba. Esta rede está associada ao programa de extensão Emílias Armação em Bits. O coordenador da rede de podcast é o professor Adolfo Neto, sou eu, e a coordenadora do programa de extensão Emílias Armação em Bits é a professora Maria Cláudia Emmer.
Estamos nas redes sociais, principalmente nos meus perfis pessoais. Eu estou no Blue Sky em @adolfoNT.github.io, estou também no LinkedIn, Adolfo NT, O Emílias tem um perfil no Instagram, @emilias_otfr, e o Fronteiras tem também um perfil no Instagram, @fronteirases. São as redes que a gente procura manter mais atualizadas. Mas claro, se você não quer nos seguir em nenhuma rede social, você pode simplesmente nos seguir nos aplicativos de podcasts como Pocket Casts, Apple Podcasts, podcasts, Spotify, é só procurar pelo nome do podcast e clicar em seguir.
Ou no YouTube, onde também nós publicamos nossos episódios. De novo, é só procurar pelo nome do podcast e seguir o canal. Só não no caso do Emílias, que no caso do Emílias Podcast Mulheres na Computação você tem que seguir o canal do Emílias Armação em Bits. É isso, pessoal, até o próximo episódio da Rede Emílias de Podcasts.