Episódios de InovaSocial

Quem governa a Inteligência Artificial? | A Era da IA #04

26 de agosto de 202639min
0:00 / 39:19

No quarto episódio de A Era da IA, Andressa Jordano e Victor Vasques investigam regulação e governança de IA, do depoimento de Sam Altman no Senado dos EUA ao uso de reconhecimento facial na Bahia.

O episódio passa pelo AI Act europeu, o PL 2338/2023 e o Marco Legal da IA no Brasil, LGPD, decisões automatizadas, explicabilidade e soberania digital. Com participações de Kenzo Soares Seto e Nelson Leoni, discute ainda a concentração da infraestrutura de IA, o novo supercomputador brasileiro e como organizações podem adotar essas tecnologias com responsabilidade.

Quem define as regras, quem pode contestar uma decisão e quem responde quando a IA produz consequências no mundo real?

Para conferir reportagens, relatórios e referências citadas, acesse https://inovasocial.com.br/podcast/.

Participantes neste episódio4
A

Andressa Jordano

Host
V

Victor Vasques

Host
K

Kenzo Soares Seto

ConvidadoPesquisador associado da Yale Law School
N

Nelson Leoni

ConvidadoCEO da WideLabs
Assuntos7
  • A necessidade de regulação da inteligência artificial e os interesses envolvidosSam Altman·OpenAI·Senado dos Estados Unidos·Regulação de IA
  • Impactos do reconhecimento facial na segurança pública e a responsabilidadeReconhecimento facial·Bahia·Segurança pública·Defensoria Pública
  • Propostas de marco legal para IA no Brasil e a proporcionalidade ao riscoPL 2338/2023·Marco Legal da IA·União Europeia·AI Act·ANPD
  • Soberania digital e a concentração da infraestrutura de IASoberania digital·Alphabet·Amazon·Microsoft·NVIDIA·Supercomputador brasileiro
  • A responsabilidade das organizações no uso de IA e a dignidade do trabalhoTrabalho precário·Políticas de uso de IA·MST·Marcha Mundial das Mulheres·Transcribus·União Europeia
  • Desafios da regulação da IA e a disputa política por suas regrasTransparência·Segredo comercial·Risco aceitável
  • A importância da explicabilidade e revisão humana em decisões automatizadasExplicabilidade·LGPD·Decisões automatizadas
Transcrição31 segmentosassemblyai/universal-3-5-pro
?Voz A

Acreditamos que a intervenção regulatória dos governos será fundamental para reduzir os riscos de modelos cada vez mais poderosos. Por exemplo, o governo dos Estados Unidos poderia considerar uma combinação de exigências de licenciamento e testes para o desenvolvimento e o lançamento de modelos de inteligência artificial acima de determinado nível de capacidade. Há várias outras áreas que mencionei no meu depoimento por escrito em que acredito que empresas como a nossa podem trabalhar em parceria com os governos.

Entre elas, garantir que os modelos de inteligência artificial mais poderosos cumpram um conjunto de requisitos de segurança, facilitar processos para desenvolver e atualizar medidas de segurança, e avaliar oportunidades de coordenação global. E como você mencionou, acho importante que as empresas também assumam sua própria responsabilidade, independentemente do que o Congresso faça. Este é um momento extraordinário para trabalhar com inteligência artificial.

Mas, à medida que essa tecnologia avança, entendemos que as pessoas estão preocupadas com a forma como ela pode mudar a maneira como vivemos. Nós também estamos. Mas acreditamos que podemos e devemos trabalhar juntos para identificar e administrar os possíveis impactos negativos, para que todos possamos aproveitar os enormes benefícios.

AJAndressa Jordano

Quem acabou de pedir intervenção do governo não é um ativista preocupado com os efeitos da inteligência artificial. Também não é um pesquisador crítico das Big Techs. Esse é Sam Altman, CEO da OpenAI. Era maio de 2023, o ChatGPT tinha sido lançado havia menos de 6 meses e já havia transformado inteligência artificial em um assunto cotidiano no mundo inteiro. E o CEO tava sentado diante de uma subcomissão do Senado dos Estados Unidos para uma audiência cujo título não deixava muita margem para dúvida: Regras para a inteligência artificial.

E uma das pessoas à frente da corrida para desenvolver essa tecnologia estava dizendo ao governo americano que algum tipo de intervenção seria necessário. Só que pedir para ser regulado não coloca uma empresa do lado de fora da disputa sobre a regulação. Ela também tem interesses no desenho dessas regras, no que elas exigem e em quem terá condições de cumpri-las.

VVVictor Vasques

A cena chamou a atenção até de quem está acostumado a ver grandes empresas passarem pelo Congresso. Mas pedir regulação é a parte fácil. O problema começa quando a gente para para perguntar: que regulação? Duas empresas podem concordar que a inteligência artificial precisa de regras e discordar completamente sobre quais deveriam ser elas. Uma obrigação de transparência pode parecer indispensável para quem trabalha com direitos civis e excessiva para quem desenvolve um determinado produto.

Informações que um auditor considera necessárias podem ser tratadas como segredo comercial pela empresa. E o nível de risco aceitável para quem vende uma tecnologia não é necessariamente o mesmo de quem responde pelas pessoas afetadas por ela. Essa disputa não é uma peculiaridade da inteligência artificial, é política.

AJAndressa Jordano

E é aqui que a palavra governança começa a fazer sentido. Governar uma tecnologia não é simplesmente colocar uma lei em cima dela. É construir uma estrutura de responsabilidade ao redor de um poder que já está sendo exercido. No episódio passado, a gente chegou até aqui seguindo outro caminho. A inteligência artificial que parecia caber dentro de uma tela nos levou a data centers, energia, água, território, trabalho humano e cadeias econômicas que atravessam o planeta.

No fim daquela investigação, o funcionamento da tecnologia era só uma parte da história. O que aparecia por trás dela era uma disputa por poder, sobre as condições em que essa infraestrutura opera, sobre os limites que ela encontra e sobre quem responde pelas consequências. E é aqui que a governança deixa de ser uma discussão abstrata. As regras são negociadas num campo em que governos, empresas, sociedade civil e trabalhadores têm capacidades muito diferentes de influência.

E é justamente essa desigualdade de poder que organiza a história de hoje. Eu sou Andressa Giordano.

VVVictor Vasques

Eu sou Vitor Vasques. E nesse 4º episódio da Era da Inteligência Artificial, a gente vai investigar quem governa a inteligência. O que significa regular uma tecnologia que muda tão rápido? Quem responde quando o sistema entra numa decisão que prejudica alguém? E como essa discussão chega até uma empresa, um instituto ou uma organização social escolhendo qual ferramenta usar? No centro dessa disputa estão os poderes que estamos dispostos a entregar à máquina as condições para que isso aconteça e quem continua responsável pelas consequências.

AJAndressa Jordano

Inova Social apresenta: A Era da Inteligência Artificial. Episódio 4: Quem governa a inteligência? Em março de 2026, o governo da Bahia anunciou uma marca que considera histórica. O sistema de reconhecimento facial utilizado pela Secretaria de Segurança Pública tinha ajudado a localizar 5 mil pessoas procuradas pela justiça desde a implantação da tecnologia. A câmera capta uma imagem, o sistema compara aquele rosto com a base utilizada pelas forças de segurança e, quando identifica uma similaridade relevante, produz um alerta. A partir daí, policiais entram em cena.

VVVictor Vasques

Agora volta comigo 4 anos. Junho de 2022. Um vigilante chega ao Parque de Exposições de Salvador com a mulher e o filho para aproveitar o São João. E em algum ponto daquele caminho, uma câmera capta o rosto dele. O sistema faz a comparação. 95% de similaridade. Pouco depois, o homem é abordado e preso por um roubo ocorrido 10 anos antes. Só que ele não tinha cometido aquele crime. A história tinha começado em 2012, quando uma outra pessoa foi presa em flagrante e usou o nome do vigilante para se identificar.

Anos depois, o mandado de prisão continuava associado à identidade errada. O reconhecimento facial entrou nessa cadeia e indicou que aquele rosto correspondia ao registro. A Defensoria Pública precisou recorrer às impressões digitais para demonstrar que eram pessoas diferentes. O vigilante ficou 26 dias preso. E perdeu um emprego que começaria poucos dias depois.

AJAndressa Jordano

É bem tentador resumir essa história dizendo que a IA prendeu uma pessoa inocente. Só que isso esconderia justamente o que ela tem de mais importante. O problema não começou na câmera. Havia uma identificação errada produzida anos antes. Além disso, também havia informações circulando numa base, um sistema que transformou aquilo numa porcentagem de similaridade e uma equipe policial recebendo o alerta no mundo real. A tecnologia entrou numa cadeia de decisão que já existia e aumentou a velocidade e a aparência de precisão daquela cadeia.

É por isso que a governança não pode olhar apenas para a taxa de acerto de um software, Também é importante saber como que uma base foi construída, quais parâmetros produzem um alerta e o que precisa ser verificado antes de uma correspondência algorítmica ganhar uma consequência policial. E a ideia aqui não é espalhar a responsabilidade até que ninguém seja responsável por nada. Na verdade, é fazer o contrário, é deixar claro antes do problema qual obrigação pertence a cada parte.

Porque um alerta não coloca uma algema em alguém sozinho. Existe uma instituição no meio do caminho, certo? E existe também o contexto onde essa tecnologia chega. Reconhecimento facial não entra numa sociedade em branco. Na segurança pública brasileira, ele passa a fazer parte de instituições, bases de dados e práticas que já carregam desigualdades que existem desde antes dessa tecnologia fazer parte do cenário. E por isso, organizações de direitos digitais e pesquisadores têm insistido que avaliar esses sistemas não pode significar olhar apenas para quantas pessoas foram localizadas.

Também é muito importante acompanhar os erros e, principalmente, entender quem assume o dano quando eles acontecem.

VVVictor Vasques

Existe ainda um efeito difícil de medir. Um resultado produzido por uma máquina chega com uma linguagem que parece muito objetiva. 95% de similaridade. Aquela porcentagem pode parecer mais sólida do que uma suspeita humana, mas ela continua dependendo das escolhas feitas ao redor do sistema. Qual base usar? Qual limite considerar suficiente para gerar um alerta? E qual procedimento adotar em seguida? Estatísticas não eliminam a decisão.

Quando alguma coisa dá errado, foi o sistema não pode ser uma resposta final. E é justamente para impedir isso que as regras começam a entrar em cena.

NLNelson Leoni

Você provavelmente nunca entrou num avião pensando na agência que certificou aquela aeronave.

VVVictor Vasques

Mas boa parte da confiança que permite sentar ali vem justamente de uma estrutura que a gente quase não percebe. O avião foi testado, existe uma manutenção obrigatória, há um procedimento de segurança e investigação quando alguma coisa falha, e ninguém acha que exigir isso significa ser contra a aviação. Essa comparação ajuda a sair de uma caricatura comum do debate da inteligência artificial. Regular não significa necessariamente colocar um freio na tecnologia.

Pode significar estabelecer obrigações maiores justamente onde a consequência de um erro também é maior.

AJAndressa Jordano

Isso não quer dizer que qualquer regra seja boa. Uma regulação mal desenhada pode criar uma burocracia inútil, envelhecer rapidamente ou impor a uma pequena empresa custos que uma gigante da tecnologia absorve sem dificuldade nenhuma. É por isso que uma das ideias centrais dos marcos atuais é a proporcionalidade ao risco. A União Europeia organizou boa parte do AI Act dessa maneira. O regulamento entrou em vigor lá em 2024 e só agora, em agosto de 2026, ele passou a ter uma aplicação mais ampla.

Claro, nesse processo algumas proibições começaram antes, assim como obrigações específicas para modelos de propósito geral. Outras regras ainda estão num período de transição. Pra sistemas considerados de alto risco, em áreas como biometria, educação e emprego, por exemplo, o cronograma atual leva a aplicação das exigências específicas até dezembro de 2027. No detalhe, tudo isso é muito complexo, mas a ideia de fundo é relativamente simples.

Um filtro de spam e uma ferramenta usada pra selecionar candidatos ao emprego não precisam ser tratados como se colocassem a mesma coisa em jogo.

VVVictor Vasques

No Brasil, essa discussão também já ganhou uma proposta concreta. O principal texto hoje é o PL 2338/2023, que tenta criar um marco legal para o desenvolvimento e uso da inteligência artificial no país. Ele foi aprovado pelo Senado no fim de 2024 e enviado à Câmara em março do ano seguinte, onde continua em discussão. Então vale fazer uma distinção importante. O Brasil ainda não tem um marco legal da inteligência artificial aprovado e em vigor.

O que existe é uma proposta de marco que ainda pode mudar bastante antes de virar lei. Na versão aprovada pelo Senado, uma das ideias centrais é diferenciar as obrigações de acordo com o risco. Uma ferramenta que executa uma tarefa administrativa simples não deveria receber o mesmo tratamento de um sistema usado para selecionar candidatos ao emprego ou avaliar o acesso à política pública, ou fazer um diagnóstico médico. Quanto maior a possibilidade de afetar direitos, maiores são as exigências previstas no projeto.

Para certos sistemas considerados de alto risco, o texto prevê avaliação do impacto, medidas para reduzir vieses discriminatórios, documentação e mecanismos que permitem explicar os resultados. E existe um limite acima disso. O texto também prevê uma categoria de risco excessivo para usos que seriam proibidos, ou seja, A lógica de risco não serve apenas para aumentar o nível de controle. Em alguns casos, ela também estabelece que determinado uso da tecnologia não deveria acontecer.

Também prevê direitos para as pessoas afetadas, como contestar determinadas decisões e, nesse sistema de alto risco, pedir explicação e revisão humana. Mas uma regra também precisa de alguém capaz de fiscalizá-la. No desenho aprovado pelo Senado, a Agência Nacional de Proteção de Dados ocupa um papel central e coordena um Sistema Nacional de Regulação e Governança de Inteligência Artificial, formado por autoridades que já regulam setores específicos.

A lógica é combinar uma coordenação comum para a IA com o conhecimento de quem já fiscaliza diferentes áreas da economia e dos serviços públicos. E como todo o resto desse projeto, essa arquitetura ainda pode mudar na Câmara.

AJAndressa Jordano

Só que é justamente quando essas ideias precisam virar regra que começa a disputa. Classificar um sistema como de alto risco pode significar submetê-lo a testes, documentação e controles adicionais. Para quem defende uma proteção mais forte, esse cuidado é necessário porque alguns erros podem produzir discriminação ou danos difíceis de reparar. Por outro lado, parte do setor empresarial argumenta que obrigações muito amplas podem aumentar custos, criar insegurança e pesar de maneira desproporcional sobre empresas menores.

Então, quando a gente fala em marco legal da inteligência artificial, A gente não tá falando só de decidir se o Brasil vai ou não regular essa tecnologia. O que tá sendo negociado é como distribuir risco, responsabilidade e poder dentro dessa cadeia. E tem outro detalhe importante: o Congresso pode levar meses ou anos para chegar a uma regra. Só que a tecnologia não fica parada enquanto isso. Enquanto o marco brasileiro ainda tá sendo discutido, existe outro tipo de governança funcionando todos os dias, aquela que a gente vê nas nossas telas quase todos os dias. Eu li e concordo com os termos de uso.

VVVictor Vasques

Termos de serviço e contratos privados também criam regras. Eles determinam o que uma tecnologia permite, como essas informações podem ser utilizadas e em quais condições alguém acessa aquele serviço. Isso faz parte de qualquer relação comercial, mas existe uma diferença entre uma empresa estabelecer regras para o próprio produto e ser a única responsável por decidir se essas regras são suficientes.

AJAndressa Jordano

E mesmo uma boa lei ainda deixa um problema em aberto. Uma coisa é saber que existem regras para uma decisão automatizada, outra é conseguir entender o que aconteceu quando aquela decisão atinge você.

VVVictor Vasques

Imagina receber essa mensagem: solicitação não aprovada. Você procura o motivo e recebe: Após análise das informações disponíveis e dos critérios internos, sua solicitação não atingiu os parâmetros necessários. Tem palavras suficientes para parecer uma explicação, mas você continua sem saber o que fazer com ela. É aí que aparece o problema da explicabilidade. Às vezes existe uma dificuldade técnica real. Sistemas complexos trabalham com relações entre tantas variáveis que transformar todo o processo numa justificativa simples não é trivial.

Também existe segredo comercial. Só que nenhuma dessas coisas elimina a necessidade de ter alguma resposta útil para quem sofre com uma consequência. Transparência não significa necessariamente abrir o código-fonte. 10 mil linhas de código podem ser transparentes para um engenheiro e completamente inúteis só para quem quer saber por que perdeu uma oportunidade. O que importa é existir informação suficiente para reagir. Se um dado estava errado, precisa ser possível corrigi-lo.

Se a pessoa discordar da decisão, precisa saber por onde contestar. Caso contrário, a revisão vira uma formalidade. Você pede para rever, alguém abre a mesma tela e confirma o resultado.

AJAndressa Jordano

Enquanto esse novo marco continua sendo discutido, já existe uma proteção geral em vigor para decisões automatizadas: a LGPD. O artigo 20 garante o direito de solicitar revisão quando uma decisão que afeta os interesses da pessoa foi tomada unicamente com base em tratamento automatizado de dados pessoais. Esse artigo também permite pedir informações sobre os critérios e procedimentos utilizados. E o segredo comercial não encerra necessariamente essa fiscalização.

Se uma empresa deixar de fornecer essas informações com essa justificativa, a própria LGPD permite que a ANPD faça uma auditoria para verificar aspectos discriminatórios no tratamento automatizado. Mas existe uma nuance importante: A lei fala em revisão, mas ela não determina que essa revisão tenha de ser humana em qualquer situação. Enquanto isso, a própria NPD ainda trabalha na regulamentação do tema. E ter uma pessoa no processo também não resolve automaticamente.

Se o atendente olha para uma pontuação produzida pelo sistema e não tem informação ou autoridade para discordar dela, a presença humana virou quase decorativa. Uma revisão só é significativa se existir uma possibilidade real de mudar a decisão.

VVVictor Vasques

Tem ainda mais uma diferença entre explicar um caso e avaliar o sistema inteiro. Para a pessoa afetada, interessa saber por que aquilo aconteceu com ela. Para quem audita, interessa descobrir se milhares de decisões revelam um padrão. Talvez um grupo esteja recebendo mais negativas, talvez determinado erro esteja acontecendo com frequência, talvez uma atualização tenha piorado o comportamento da ferramenta. É por isso que explicação Documentação e auditoria não são a mesma coisa.

Cada uma enxerga uma dimensão do problema. E existe um risco curioso quando os sistemas acertam muito: a confiança cresce. A recomendação começa como apoio e, depois de centenas de resultados considerados bons, passa a ser aceita quase que automaticamente. Nesse ponto, a supervisão humana pode continuar existindo no organograma e desaparecer na prática. A caixa preta não é perigosa apenas quando ninguém entende um erro. Ela também pode ser perigosa quando todo mundo se acostuma a confiar.

Só que existe outra concentração de poder que não está na decisão, está na infraestrutura que torna aquela decisão possível.

AJAndressa Jordano

No episódio passado a gente falou de soberania digital, então a gente não vai definir isso tudo de novo. E claro, se você é ouvinte, descobriu essa temporada a partir desse episódio, o episódio 4, eu recomendo que assim que ele acabar você volte e ouça os episódios 1, 2 e 3, ok? Vamos continuar. Vamos imaginar uma situação: uma universidade constrói um projeto importante em cima da plataforma de uma empresa global. A ferramenta funciona, ok?

A equipe aprende a usar a ferramenta, sistemas começam a conversar entre si. Até aqui Tudo ótimo. 2 anos depois, o fornecedor muda o preço ou encerra uma funcionalidade que era essencial para o projeto. A universidade pode até decidir trocar de fornecedor, mas a essa altura boa parte do projeto já foi construída em torno daquela plataforma. Mudar de solução pode significar refazer integrações, migrar dados, adaptar o trabalho da equipe, enfim, um trabalho um retrabalho enorme e muito tempo gasto em algo que talvez não precisasse acontecer se não fosse essa intercorrência.

Então, quanto mais difícil é sair de uma plataforma, maior é a dependência. E esse cenário não é algo muito distante, não é algo impossível de acontecer. Existem áreas da infraestrutura digital em que poucas empresas concentram uma fatia enorme do mercado. Mercado. Dados reunidos pela Conferência das Nações Unidas sobre o Comércio e Desenvolvimento para 2024 mostravam Alphabet, Amazon e Microsoft com mais de 2/3 do mercado global de nuvem.

Lembrando que quando a gente fala de nuvem, a gente tá falando da infraestrutura de servidores e serviços computacionais que permite armazenar dados, processar informações e rodar aplicações sem tudo precisa estar na máquina de quem usa. No mesmo período, a NVIDIA concentrava cerca de 90% dos mercados de GPUs. As GPUs são processadores capazes de fazer muitos cálculos ao mesmo tempo, e por isso elas se tornaram peças centrais no treinamento e na execução de modelos de IA.

Essas empresas atuam em partes diferentes da cadeia, e é justamente por isso que uma aplicação pode depender de várias delas sem que o usuário perceba.

VVVictor Vasques

Nesse contexto, soberania não significa fabricar absolutamente tudo dentro do Brasil. Significa ter capacidade real de escolha. Essa discussão já apareceu aqui no próprio podcast do Inova Social. No episódio 155, eu conversei com o Nelson Leone, CEO da WideLabs, uma empresa brasileira que desenvolve modelos e soluções de inteligência artificial. Quando a gente entrou em soberania tecnológica, o Nelson resumiu a ideia com uma imagem bem simples.

NLNelson Leoni

E a gente entende, entendeu, que aí ela pode gerar uma dependência tecnológica muito grande. Só que se essa dependência tecnológica ela for de um outro país, de uma empresa que você não controla— e aí precisa dar uma explicaçãozinha básica para o pessoal entender— imagina que para um ChatGPT, uma solução de atendimento ao público, tudo isso elas são sistemas. Mas existe um motor por trás dela. O ChatGPT, por exemplo, é uma aplicação, ele não é uma IA em si.

A IA é o motor dela, que é um Large Language Model, um grande modelo de linguagem, e outros grandes modelos, outros modelos. É isso aí que é o grande motor, o combustível para aquilo funcionar. Se você cessa esse motor, esse combustível de funcionar, você não tem mais aplicação, você não tem mais a IA funcionando. E se a gente tem 100% dependência dessa tecnologia de um outro país, de uma empresa internacional, você não tem independência tecnológica.

E quando você fala de soberania, soberania de fato, é você— quando você fala de ar, é você poder ter a liberdade de controlar o botão. Eu ligo e desligo. Eu não posso depender de alguém ou de uma nação que não seja minha para ligar e desligar isso. Esse aqui é o conceito do que a gente acredita que é a soberania.

AJAndressa Jordano

Controlar o botão é uma imagem bastante direta para falar de autonomia. Isso não significa que um país precisa produzir sozinho cada camada da tecnologia que utiliza. Significa ter capacidade de escolha quando decisões importantes dependem de uma infraestrutura que pode estar fora dele. E construir essa capacidade também pode ser uma decisão de política pública. Agora, em agosto de 2026, o governo federal anunciou que o Rio Grande do Norte vai receber um novo supercomputador dedicado à inteligência artificial.

O equipamento vai ser instalado em Macaíba, que fica na região metropolitana de Natal, e deve custar pouco mais de R$1 bilhão. O Brasil já tem supercomputadores. Segundo o Laboratório Nacional de Computação Científica, 10 máquinas brasileiras aparecem hoje no ranking internacional Top 500. Entre elas está o Santos Dumont, que fica instalado em Petrópolis, que continua em operação e é o único desse grupo inteiramente dedicado à comunidade científica.

O novo equipamento vem para ampliar essa infraestrutura com uma capacidade voltada especialmente para inteligência artificial. A previsão é que ele possa ser usado para treinar e executar modelos avançados e atender universidades, centros de pesquisa, órgãos públicos e também empresas. E a diferença de escala é gigante. Aqui a gente vai falar sobre uma unidade de medida que tem um nome bem peculiar, bem fofinho, eu diria, e que é importante a gente entender o que que ela significa, que são os petaplofs.

Eles são uma medida da capacidade de processamento de um supercomputador. Um petaplof equivale a cerca de 1 quatrilhão de operações por segundo. Vamos repetir? 1 quatrilhão de operações por segundo, um petaplof. Hoje, o Santos Dumont chega a 27 Petaplofs de capacidade de processamento. E para a nova máquina, a previsão divulgada é de 7.200 Petaplofs de processamento voltado à IA. Mas o investimento não termina na compra da máquina.

O projeto também prevê transferência de tecnologia, formação profissional, pesquisa e desenvolvimento nacional. Um investimento como esse entra na discussão sobre governança Porque ele amplia a capacidade de decisão do país. Quanto mais conhecimento, infraestrutura e capacidade técnica existem aqui, menos escolhas estratégicas precisam depender exclusivamente de fornecedores externos. A governança passa tanto pelos limites que a regulação estabelece quanto pelas alternativas que a infraestrutura torna possíveis.

E essa mesma lógica aparece numa escala muito menor. Quando uma organização decide incorporar uma nova ferramenta de IA, Ela também tá fazendo escolhas sobre dependência, responsabilidade e sobre as condições em que aquela tecnologia vai entrar no seu trabalho. Imagina uma organização social que acompanha milhares de famílias. Ao longo dos anos, ela construiu uma base com informações importantes para o seu trabalho. Um dia, alguém da equipe encontra uma ferramenta de IA e tem uma ideia: vamos colocar uma família e pedir pra IA encontrar padrões.

A setinha do mouse chega ao botão e... é aí que a governança começa. Antes do vazamento ou de alguma coisa dar errado.

VVVictor Vasques

No episódio passado, eu conversei com Kenzo Soares Seto sobre o trabalho humano que existe por trás da inteligência artificial. O Kenzo é pesquisador associado da Yale Law School, doutor em comunicação pela Universidade Federal do Rio de Janeiro e pesquisa cadeia produtiva da inteligência artificial e a sua regulação. Uma parte daquela conversa ficou de fora justamente porque apontava para o assunto desse episódio. Eu perguntei a ele o que organizações sociais podem fazer para utilizar inteligência artificial sem ignorar os impactos escondidos na cadeia das ferramentas que adotam.

KSKenzo Soares Seto

Olha, se a sua organização ainda não tem uma política de uso de inteligência artificial, ela provavelmente tá utilizando da forma errada, tá sendo conivente com uma cadeia produtiva muito intensiva em trabalho precário, né, que tem esses efeitos danosos aos trabalhadores que participam dela. Então eu acho que toda organização, toda empresa, toda universidade, o Estado brasileiro, né, os governos estaduais têm que se responsabilizar pela cadeia de trabalho digno das soluções de inteligência artificial que ela utiliza.

Né, eu sempre dou um exemplo, faço uma analogia. A gente não compra hoje produtos que não tenham selos de certificação sustentável, né? O Brasil, Estado brasileiro, por lei, não pode comprar produtos agrícolas, por exemplo, para merenda escolar, que foram produzidos em condições análogas à escravidão. Mas ele pode contratar soluções de inteligência artificial que são produzidas por uma cadeia que tem denúncias, por exemplo, de trabalho análogo à escravidão no Quênia.

Então acho que é fundamental todas as organizações da sociedade civil, movimentos sociais, academia, então desenvolvam suas políticas de adoção, de uso e também de desenvolvimento de inteligência artificial considerando é isso, né, procurar saber quais são os custos ambientais, quais são os custos sociais, quais são as condições de trabalho por trás daqueles modelos que a gente tá utilizando no nosso dia a dia. E sabendo que há alternativas, né?

Então, por exemplo, aqui no Brasil a gente tem agora o MST desenvolvendo a sua própria inteligência artificial em parceria com a Marcha Mundial das Mulheres. Nós temos o setor de cooperativismo de plataforma que surgiu como uma alternativa lá atrás ao Uber, né, essas plataformas de trabalho muito precárias, que já desenvolve, por exemplo, inteligências artificiais cooperativas. Um exemplo muito bem-sucedido chama Transcribus. Que é uma cooperativa de indivíduos, de pesquisadores e de universidades da Europa, desenvolveu um modelo para transcrição, escaneamento e digitalização de documentos, super bem-sucedida.

Já escaneou mais de milhões de documentos e ela tem garantia de que foi treinada com base em trabalho digno, e a propriedade é distribuída por todos os seus participantes. Você pode se tornar um membro da Transcribus Além de ter toda uma garantia, por exemplo, muito forte de privacidade, sigilo dos dados. Então, depois que o seu documento é transcrito ou digitalizado por meio dela, né, os dados são completamente deletados, não são usados no treinamento do modelo se você não der autorização expressa.

Tem todo um debate de como remunerar também as pessoas que cedem documentos, enfim, qualquer outra fonte para o treinamento do modelo. Então, a gente tem essas alternativas. Agora, tem algo fundamental que tem que ser dito para terminar. Se não houver uma ação decisiva do Estado, essas iniciativas cooperativas solidárias, economia solidária digital, é inclusive modelos de inteligência artificial alternativos ao das grandes corporações, não tem como prosperar.

Porque o Estado também financia o desenvolvimento dos modelos proprietários das grandes corporações. Não existiria Google, né, não existiria Alphabet, Meta, OpenAI, sem um enorme investimento estatal por parte dos Estados Unidos. E mesmo no Brasil, é só pensar as compras públicas, o quanto o Estado brasileiro gasta todo ano com contratos com a OpenAI, com a Oracle, com a Microsoft, né? Mesmo quando a gente tem uma nuvem soberana de dados como a do Serpro, é que o governo anuncia, na verdade o contrato é com a Oracle e com a AWS, com a Amazon, né?

Então Para terminar com isso, é fundamental que o Estado tenha políticas públicas para incentivar esses modelos alternativos e que ele também regule o trabalho de dados, né? Então vou terminar com isso. A União Europeia, por exemplo, publicou uma diretiva, uma diretiva que foi a 2024/2831, que buscava regularizar os 28 milhões de trabalhadores de plataforma da Europa, incluindo trabalhadores de dados, né? Então o que que a União Europeia tá avançando?

Na formalização do trabalho, então, por exemplo, passa a ser ônus da plataforma provar que aquele trabalhador não tem vínculo empregatício com ela, em vez do contrário, do trabalhador ter que ficar correndo atrás de comprovar que trabalha para plataforma. É, daí em garantir uma gestão algorítmica que proíbe decisão automatizada sem revisão humana. Então, se o trabalhador ele é descontinuado, ele é bloqueado pela plataforma, ele tem direito a apelar, né, e saber que houve uma instância humana que avaliou o seu recurso.

Nós temos o debate da transparência algorítmica, que a União Europeia também tá buscando impor como uma obrigação dessas plataformas de trabalho de dados. Então, a clareza dos parâmetros de monitoramento, como é que o seu desempenho é avaliado, como seus dados pessoais são incorporados pela plataforma. E aí, e principalmente, a previsão de remuneração e previsão de jornada. Para que esses trabalhadores possam ter o mínimo de dignidade.

E aqui no Brasil a gente também tem alguns projetos de lei nesse sentido, mas que infelizmente estão parados no Congresso Nacional. Cabe à sociedade civil também fazer pressão, né, para ser solidária à organização coletiva dos trabalhadores de dados. E, né, por exemplo, alguns deles estão se sindicalizando. Quênia tem o primeiro sindicato de trabalhadores da indústria da inteligência artificial e de anotadores de dados, é para a gente conseguir mudar essa realidade.

VVVictor Vasques

O Kenzo empurra a responsabilidade um pouco para trás. Antes de perguntar se um sistema produziu um resultado injusto, existe uma escolha anterior: colocar aquela ferramenta dentro da organização. Essa escolha também é governança, e o alcance dessa escolha não termina nos dados que entram na ferramenta. O ponto do Kenzo amplia o perímetro de responsabilidade. Ao escolher um fornecedor, a organização também se vincula à cadeia que sustenta aquela solução, às condições de trabalho e aos custos sociais e ambientais continuam fazendo parte dessa decisão, mesmo quando elas não aparecem na interface.

AJAndressa Jordano

Voltemos para a planilha esperando para ser enviada. Usar IA para reorganizar um texto institucional sem informação pessoal é muito diferente de colocar numa ferramenta externa dados de beneficiários. Mais delicado ainda seria usar aquele sistema para ajudar a definir quais famílias terão prioridade num programa. Na tela, o botão Pode ser o mesmo, mas o risco não é. No Inova Social, a gente publicou um guia justamente sobre como organizações do terceiro setor podem usar inteligência artificial com mais segurança.

Um dos princípios que orientam esse uso é: quanto mais sensível for a tarefa, menor deve ser a autonomia da ferramenta. O guia traz exemplos de onde a IA pode ajudar, cuidados com dados, revisão humana e situações em que certas decisões precisam continuar sob responsabilidade de pessoas. O texto Como Usar Inteligência Artificial no Terceiro Setor com Segurança tá linkado na descrição desse episódio.

VVVictor Vasques

O entusiasmo KIA costuma começar pela capacidade. Olha só o que ela consegue fazer! A governança acrescenta outra pergunta: faz sentido fazer assim? Economizar tempo não é o único critério se a ferramenta precisa receber informações que nunca deveriam sair da organização. Uma automação pode eliminar o trabalho repetitivo e, ao mesmo tempo, empurrar uma decisão sensível para um sistema que ninguém testou direito. E uma política interna de IA não precisa nascer com um manual de 80 páginas.

No começo, ela pode simplesmente deixar claro quais ferramentas estão autorizadas, que informações não podem entrar nelas e quais resultados precisam obrigatoriamente passar por alguém com capacidade real de discordar. Também precisa existir um responsável quando alguma coisa dá errado. Sem isso, Cada pessoa escolhe uma ferramenta, aceita um contrato e cria o próprio jeito de trabalhar. E quando a organização percebe, ela já tem uma política de inteligência artificial, só que criada por acidente.

E uma política dessas também precisa continuar viva depois da aprovação inicial. Modelos são atualizados, termos mudam e uma ferramenta pode passar a funcionar de outra forma sem que a organização tenha feito uma nova contratação. Acompanhar o uso e saber quando rever ou interromper uma solução também faz parte da governança. Naquela sala, a resposta pode continuar sendo usar a tecnologia. Talvez seja possível anonimizar os dados.

Talvez exista uma solução mais adequada. Talvez a IA ajude a organizar o processo sem participar da decisão sobre quem será atendido. Governança não serve para produzir sempre um não. Serve para que o sim seja uma decisão consciente. Em maio de 2023, Sam Altman sentou diante do Senado americano e disse que governos precisam intervir na inteligência artificial. 3 anos depois, essa discussão já passa por leis, autoridades, contratos, auditorias, infraestrutura pública e pelas próprias regras que as empresas e organizações criam para usar essas ferramentas.

E talvez isso ajude a desmontar uma ideia: governar inteligência artificial não significa conseguir controlar tudo o que ela fará. Nenhuma lei torna um sistema infalível. Nenhuma auditoria consegue prever qualquer consequência. E colocar uma pessoa no processo não garante, por si só, que haverá uma supervisão de verdade. A governança tem mais a ver com impedir que o poder se torne absoluto.

AJAndressa Jordano

Foi isso que apareceu quando a gente olhou para o reconhecimento facial na Bahia. Uma porcentagem de similaridade produzida por um sistema não faz desaparecer a base de dados, o procedimento policial, a instituição que contratou a tecnologia ou as decisões humanas que vêm antes e depois daquele alerta. Apareceu também quando nós falamos de explicabilidade. Não basta informar que uma máquina participou do processo. Se uma decisão afeta a vida de alguém, precisa existir alguma possibilidade real de entender, contestar e corrigir.

E apareceu na infraestrutura. Depender da tecnologia de outra empresa ou de outro país não é necessariamente um problema. O problema surge, na verdade, quando não existe alternativa se as condições mudarem.

VVVictor Vasques

No fundo, a governança tem muito a ver com uma palavra menos sofisticada: margem. Margem para discordar da máquina, margem para corrigir um erro, margem para trocar de fornecedor, margem para decidir que determinado uso simplesmente não vale o risco. Poder que continua podendo ser contestado. Só que existe um lugar onde essa disputa ganha uma dimensão ainda maior. Porque a inteligência artificial não está entrando apenas nas empresas, nos serviços públicos ou nas decisões administrativas.

Ela também está entrando na política. Ferramentas generativas conseguem produzir imagens, vídeos e vozes cada vez mais convincentes. Sistemas de recomendação participam daquilo que chega até nós nas plataformas. Campanhas políticas experimentam novas formas de produzir conteúdo, segmentar mensagens e disputar atenção. Nada disso inventou a propaganda, a mentira ou a manipulação política, mas pode mudar a escala, a velocidade e aparência que essas coisas assumem.

Isso cria uma virada interessante para nossa investigação. Até aqui a gente perguntou: quem governa a inteligência artificial? No próximo episódio, a pergunta começa a se inverter. O que acontece quando a inteligência artificial entra nos mecanismos pelos quais nós escolhemos quem governa? Porque numa democracia, a tecnologia não precisa alterar diretamente o voto para produzir efeitos políticos. Ela pode mudar o ambiente em que as pessoas forma opinião, pode tornar mais difícil saber de onde veio uma informação, pode embaralhar a fronteira entre registro e fabricação, e pode intensificar uma crise que já existia antes dela: a crise de confiança.

AJAndressa Jordano

É para esse território que a nossa investigação segue. No próximo episódio de A Era da Inteligência Artificial, a gente vai olhar para a relação entre IA, política e democracia. O que muda nas eleições, nas campanhas e no debate público quando o fabricar conteúdo convincente fica mais fácil? Como proteger a confiança sem transformar combate à desinformação em controle do discurso? E o que acontece com a democracia quando até aquilo que parece prova pode precisar ser colocado em dúvida?

Eu sou Andressa Giordano. A pesquisa e a estruturação desse episódio são minhas, a partir de um argumento original que eu desenvolvi com o Vitor Vasques. A concepção e o desenvolvimento estratégico dessa temporada tem a colaboração de Gabriel Cardoso, gerente executivo do Instituto Sabin. A edição, a mixagem e o desenho de som são da Colimon Co. E o Inovo Social é uma iniciativa do Instituto Sabin. Se esse episódio te ajudou a entender melhor quem define as regras da inteligência artificial e por que isso importa, compartilha isso com alguém que também tá tentando acompanhar essa transformação.

E aproveita pra seguir o Inovo Social no seu tocador de podcasts favorito. A gente se encontra no próximo episódio. Até lá!

Quem governa a Inteligência Artificial? | A Era da IA #04 | Castnews Index — Castnews Index