IA e Automatização do Racismo

Geralmente, quando a gente pensa em tecnologia de ponta, a expectativa inicial é sempre de uma precisão tipo cirúrgica, né?

Exato.

Isso, tipo uma calculadora de bolso mesmo. A gente digita lá 2+ 2, aperta igual e o visor mostra 4.

É um processo limpo, matemático e teoricamente infalível.

Exatamente. Mas na nossa imersão de hoje, a gente vai ver essa ilusão de neutralidade desmoronar completamente. Nós vamos basear essa análise aprofundada num estudo de caso fenomenal, conduzido pelo Davidson Faustino e pelo Walter Lippold, que foca justamente nas diretrizes de governança e ética em inteligência artificial.

E é um texto riquíssimo.

Muito. A nossa missão aqui hoje é entender como esses sistemas, que parecem flutuar numa nuvem mágica de perfeição algorítmica, podem, na verdade, espelhar e até amplificar falhas históricas profundamente humanas.

O que é mais fascinante na abordagem dos dois autores é a clareza analítica, sabe? Eles lidam com um tema muito complexo e sensível, porque o texto cruza tópicos como racismo estrutural, segurança pública, desigualdade de trabalho.

Sim, temas bem pesados.

Com certeza. Mas o foco da análise deles não é estabelecer tribunais ideológicos ou morais. Não se trata de tomar partido político. Eles olham rigorosamente para o tipo, para a arquitetura da tecnologia e para o fluxo de dados em si. O objetivo é dissecar os mecanismos da máquina para entender a raiz puramente estatística do comportamento do algoritmo.

Perfeito. E para começar a quebrar essa expectativa matemática que a gente tem, o estudo abre com um experimento prático que, olha, é revelador.

Muito revelador.

Os pesquisadores decidiram testar o ChatGPT-4, que na época estava integrado ao gerador de imagens DALL·E 2. O comando que eles deram para máquina, o famoso prompt, foi super específico.

Eles não deixaram muita margem de erro, nenhuma.

Eles digitaram Freud no divã, Dr. Frantz Fanon, é o psicanalista, em litografia.

Bom, e para dar um contexto rápido para quem tá nos ouvindo e talvez não conheça, Frantz Fanon é um dos mais proeminentes psiquiatras, filósofos e intelectuais do século 20. Um gigante, um gigante. Ele era um homem negro de origem afro-caribenha, e as obras dele são os pilares dos estudos sobre o impacto psicológico do colonialismo. Ou seja, é uma figura histórica que tem uma iconografia vastamente documentada.

Tem foto dele em todo lugar.

Exato, tá disponível em qualquer busca básica na internet.

E ainda assim, a gente olha para o resultado e, cara, o sistema gerou a imagem do Frantz Fanon como um homem branco, caucasiano.

Pois é.

A inteligência artificial pegou um dos maiores intelectuais da história do antirracismo e simplesmente desenhou ele como um europeu padrão vestindo um jaleco.

E a tentativa de correção do sistema logo depois desse primeiro tropeço acho que ilustra de forma ainda mais cristalina o colapso do modelo.

Sim, porque eles não pararam por aí, né?

Não. Os autores informaram no chat que o Fanon era negro. Aí a máquina, que é programada para manter aquele tom super polido e prestativo, pediu desculpas formais e confirmou que faria o ajuste.

Aquela resposta padrão, tipo, me desculpe pelo erro.

Isso. Aí eles solicitaram a criação de uma nova cena histórica. Pediram o Frantz Fanon caminhando pelas ruas da Casbah, em Argel, lá no ano de 1956.

E o resultado, de alguma forma bizarra, falhou de novo.

Falhou feio. A máquina gerou um Fanon branco caminhando e se destacando no meio de toda a população magrebina da Argélia.

Certo, então vamos desempacotar isso, porque é muita coisa. A analogia que me vem imediatamente à cabeça é a de, tipo, delegar uma pesquisa super importante para um assistente que tem acesso a todas as bibliotecas do mundo. Só que, em vez de ler os livros de história e checar a biografia do cara, esse assistente tem preguiça. Ele decide simplesmente fechar os olhos e adivinhar a aparência do personagem baseado no estereótipo estatístico mais raso que ele tem na cabeça sobre quem costuma possuir o título de doutor. Na sociedade ocidental.

Essa metáfora do assistente preguiçoso traduz perfeitamente o conceito técnico que o estudo define como racialização codificada.

Racialização codificada.

Exato. Para entender isso, a gente precisa olhar para o mecanismo de aprendizado da máquina.

O treinamento desses grandes modelos ocorre através do web scraping, que é raspagem de dados, né?

Isso, a raspagem industrial massiva de bilhões de textos e imagens da internet. E nesse processo, que não tem uma curadoria fina, o modelo absorve uma correlação estatística esmagadora.

Correlação entre o quê?

Entre marcadores de prestígio e autoridade, palavras como doutor, psicanalista, e indivíduos brancos.

Caramba!

Então, quando o modelo precisa calcular ali a probabilidade dos pixels para gerar a imagem, a branquitude se torna a resposta padrão para o sucesso acadêmico. Isso causa uma invisibilização algorítmica brutal de intelectuais negros.

O curioso, e até meio irônico, é observar a justificativa da máquina quando foi questionada sobre esse embranquecimento do Fanon. A IA atribuiu a própria falha ao que ela chamou de vastidão dos datasets.

Sim, ela culpou os dados.

Exatamente. O programa tentou se eximir meio que argumentando que a quantidade colossal de dados causava confusão e ainda sugeriu nas entrelinhas que caberia ao usuário digitar características fenotípicas explícitas no prompt para garantir a precisão histórica.

A máquina basicamente automatizou a velha desculpa corporativa.

Totalmente.

E essa estratégia de colocar a culpa na incontrolável dos dados nos obriga a voltar o olhar para a raiz do ecossistema. Tipo, quem está coletando essa vastidão de dados? Sob quais diretrizes?

E é aí que os autores entram com uma crítica forte.

Sim, o estudo de Faustino e Lippold diagnostica essa dinâmica sob a lente sociológica do fetiche da tecnologia.

Fetiche da tecnologia?

Que seria tratar a tecnologia como um ídolo intocável, ou tipo uma entidade mágica flutuando no ciberespaço, separada da gente. Precisamente essa visão quase mística esconde o fator humano, oculta as pessoas reais, as decisões corporativas de design e as condições sociais que sustentam todo esse processamento. Eles ancoram essa análise utilizando a teoria do racismo estrutural da pensadora brasileira Lélia González. E aí eles adaptam o conceito para o que chamam de denegação algorítmica.

Tá, e o que seria denegação nesse contexto? Porque na psicanálise, denegação é o ato de negar uma realidade incômoda que tá óbvia bem na sua frente.

É exatamente isso. Na prática, a denegação algorítmica se torna o escudo institucional das Big Techs.

Como assim?

Olha, toda vez que um erro sistêmico e preconceituoso vem a público, a narrativa de relações públicas segue um roteiro fixo. Eles sempre afirmam que não houve intenção maliciosa e jogam a responsabilidade nos dados. Dizem que a IA apenas reflete as falhas do mundo real.

Ah, entendi. É uma transferência de responsabilidade enorme.

Gigante. As corporações lucram na casa dos bilhões desenvolvendo arquitetura de coleta e de treinamento, mas agem como meras observadoras passivas quando essa mesma arquitetura reproduz discriminação.

Então, o que tudo isso significa para nossa compreensão da internet moderna? Porque a imagem comum que vendem para a gente é a de servidores imaculados, com luzes azuis, operando de forma autônoma e limpa lá no Vale do Silício.

É a imagem de marketing.

Sim. Mas a terminologia que o estudo traz evoca uns cenários de exploração clássica, sabe? Eles usam termos como colonialismo digital e extrativismo. É como se a raspagem de dados sem critério funcionasse como uma verdadeira acumulação primitiva de riquezas.

E se a gente conectar isso ao quadro geral da história econômica, a coleta de dados atual mimetiza muito as eras de extração predatória de recursos naturais.

Só que agora no campo intelectual.

Exato. Há uma captura unilateral e não consensual de produções intelectuais: fotografias, livros, ilustrações artísticas. O valor gerado pela inteligência artificial hoje depende fortemente da violação em massa de direitos autorais e da apropriação do conhecimento coletivo, sem compensar ninguém financeiramente.

Mas espera um pouco, me tira uma dúvida técnica aqui.

Claro.

Se as máquinas simplesmente varrem a internet de forma cega, tipo engolindo fóruns obscuros, redes sociais e sites aleatórios, como é que os geradores de texto não reproduzem material grotesco e violento o tempo todo? Porque a internet é um lugar bem caótico.

Muito caótico.

Algum filtro muito pesado precisa existir para que a ferramenta entregue essas respostas corporativas e higienizadas para a gente, né?

Essa é uma das partes mais pesadas do estudo. Eles apontam um holofote brilhante sobre o grupo que realiza essa limpeza diária. Eles chamam esse grupo de O infoproletariado.

Infoproletariado.

Sim, o chamado alinhamento da inteligência artificial, que é essa blindagem que impede a máquina de ofender usuários ou gerar imagens horrendas o tempo todo, não é fruto de matemática pura. É o resultado do trabalho vivo e um trabalho muito precarizado.

É o custo humano invisível por trás da mágica da automação.

Exatamente. As empresas terceirizam o peso do alinhamento moral para multidões de trabalhadores em países do Sul Global. Quênia, Filipinas, por exemplo. Nossa, são pessoas contratadas em plataformas de microtarefas recebendo tipo frações de dólar por hora, e a função delas é visualizar, categorizar e filtrar milhares de textos criminosos, imagens de abusos e atos de violência extrema todos os dias.

É de revirar o estômago.

É assim que eles ensinam a IA o que deve ser bloqueado. Então o custo real para manter o ChatGPT funcionando de forma educada é o trauma psicológico severo absorvido por trabalhadores que na maioria das vezes não contam com suporte psiquiátrico nenhum, nem direitos trabalhistas adequados.

É um soco no estômago. A gente entra lá, digita um pedido de receita de bolo de cenoura ou pede uma piada boba, e a estrutura que permite que a máquina responda educadamente é erguida sobre a exaustão mental de alguém do outro lado do mundo que tá operando como um escudo humano para os horrores da internet.

A materialidade da inteligência artificial não é feita só de microchips de silício.

Ela depende de carne, osso, suor e precariedade Essa percepção nos empurra direto para verificação do impacto dessa tecnologia fora do ambiente virtual. Porque assim, o experimento com o Frantz Fanon que a gente falou no começo mostra um apagamento histórico super grave, mas ele fica restrito à tela. Só que o estudo cataloga como os mesmíssimos vícios estatísticos de raspagem estão tomando decisões críticas em áreas institucionais de altíssimo risco hoje em dia.

E o mapeamento de riscos que eles fazem detalha desdobramentos muito concretos. Por exemplo, focando em como esses Esses sistemas são implementados de maneira falha na saúde pública. O caso dos algoritmos de triagem hospitalar nos Estados Unidos é muito emblemático para a gente entender o perigo dessas correlações equivocadas.

Aqui é onde a coisa fica realmente interessante e urgente. Vamos dissecar o mecanismo dessa falha na saúde, porque a lógica que operou aí é simplesmente perversa. Vamos lá. Os hospitais americanos precisavam de um sistema automatizado para identificar quais pacientes demandavam cuidados intensivos e programas especiais de saúde.

O desafio de desenvolvimento deles era ensinar a máquina a reconhecer o nível de gravidade das doenças de cada paciente. Só que para fazer isso em larga escala, os programadores precisavam de uma variável central e eles utilizaram os custos financeiros históricos de saúde.

E a premissa puramente matemática e fria ditava que pacientes mais graves acabam gerando mais gastos em tratamentos. Faz sentido no papel, né? Faz.

Só que o algoritmo engolia os dados de uma sociedade que tem um abismo na desigualdade de acesso. Historicamente, gasta-se exponencialmente mais dinheiro no sistema de saúde com pacientes brancos do que com pacientes negros por lá.

Simplesmente porque um grupo tem acesso a planos de saúde caros e hospitais de ponta e o outro é sistematicamente marginalizado.

Exatamente. Aí a máquina analisou a planilha e concluiu: bom, se foi gasto pouco dinheiro com essa pessoa no passado, é porque ela não tá tão doente.

Cara, é chocante. Uma disparidade social e econômica estrutural foi traduzida pela inteligência artificial em uma métrica de gravidade clínica.

E o resultado prático disso, comprovado por auditorias independentes no sistema, foi que pacientes negros com quadros muito severos perdiam a prioridade de atendimento para pacientes brancos com sintomas significativamente mais leves. A máquina aprendeu racismo financeiro e codificou isso como uma política de triagem hospitalar.

É assustador. E o texto também reporta como o uso apressado da tecnologia aqui no Brasil, no âmbito da segurança e gera o mesmo ciclo de aceleração do preconceito.

Sim, o uso de ferramentas de reconhecimento facial.

Isso, sistemas automatizados aplicados pelas forças de segurança apresentaram taxas de imprecisão gritantes para rostos não brancos.

As estatísticas levantadas pelo estudo são inequívocas. Esse treinamento em bases fotográficas enviesadas levou à prisão de dezenas de cidadãos comprovadamente inocentes nas ruas do Brasil. E o detalhe: 83% deles eram pessoas negras.

83%. E esse reflexo distorcido afeta todas as esferas. Chega na cultura, na política, como naquele episódio analisado envolvendo a deputada estadual Renata Souza.

Ah, aquele teste com o gerador de imagens que a deputada expôs? Exato.

Foi muito recente. O comando dado ao sistema era super banal. O prompt era só mulher negra na favela. E sem nenhum tipo de restrição ou comando adicional, a plataforma gerou ilustrações colocando armas de fogo ostensivas nas mãos da mulher.

A máquina amarrou automaticamente a figura de uma mulher negra em território periférico à ideia de criminalidade e tráfico.

A correlação entre os casos do hospital nos Estados Unidos, das falsas prisões aqui no Brasil e dessa imagem criminosa do gerador revela bem o núcleo do problema, né?

Revela que modelos estatísticos, não importa quão amplos sejam os processadores deles, não operam com senso de justiça, ética ou sequer com a noção do que seja a escravidão ou racismo. Eles não têm consciência. Eles apenas reúnem palavras e pixels que aparecem com frequência no mesmo espaço vetorial. Se a sociedade passou as últimas décadas associando favela e violência em manchetes sensacionalistas na internet, é essa vizinhança semântica que o gerador de imagens transforma em verdade absoluta.

Pois é. E diante dessa montanha de evidências sobre danos práticos que a gente comentou, fica impossível tratar a escalada das IAs generativas apenas como um marco de inovação legal de laboratório.

É muito mais do que isso.

A inteligência artificial, na forma como ela é construída hoje, atua como um acelerador e um fixador de desigualdades históricas. O desafio prático que o Faustino e o Lippo tentam resolver na parte final do estudo é justamente a governança. Como a gente conserta essa estrutura antes que esses sistemas decidam todas as engrenagens da sociedade?

As diretrizes que eles desenham formam um guia prático muito robusto. Eles iniciam delimitando os 3 erros fundamentais que o mercado de tecnologia precisa parar deixar de cometer urgentemente.

Quais são?

Primeiro, abandonar a ilusão de que dados em volumes gigantescos se tornam magicamente neutros. Aquele aumento de escala sem controle, o famoso scaling, ele apenas multiplica o preconceito de forma exponencial.

Faz sentido. Qual é o segundo?

Segundo, parar de delegar o alinhamento moral para o usuário final. Sabe quando a empresa exige que o usuário crie solicitações mirabolantes e hiperdetalhadas no prompt só para impedir a inteligência artificial de gerar uma imagem racista?

Ah, sim. O ônus de evitar a discriminação estrutural do sistema não pode recair sobre o consumidor, que já pagou pelo acesso à plataforma, né? A ferramenta devia vir segura de fábrica.

Exatamente. E a terceira armadilha apontada é a crença cega na supervisão básica de dados, achando que uma filtragem superficial resolve o abismo. E aí, entendidos esses erros, o estudo traz um conjunto de boas práticas focadas em transparência.

Começando pelas auditorias independentes e incisivas, certo?

Isso. A recomendação central antes de qualquer implementação comercial em áreas sensíveis como saúde, crédito e justiça é o que a indústria chama de red teaming.

Red teaming, que seriam os testes de estresse profundo, né?

Isso. Grupos de especialistas independentes precisam receber carta branca da empresa para tentar ativamente quebrar os limites morais do sistema. O objetivo deles é forçar o algoritmo a ser racista, machista ou elitista em um ambiente completamente controlado.

Entendi. Para identificar e corrigir as rachaduras de viés de classe e raça antes que a tecnologia atinja a população geral. Seria tipo um crash test ético bem severo.

Boa analogia. É para garantir que os airbags funcionem antes do modelo ganhar as ruas de fato. Outra recomendação interessante para trazer claridade para os bancos de dados é a documentação padronizada, que no jargão técnico eles chamam de Data Sheets for Datasets.

Que é basicamente a implementação de um rótulo nutricional colado no banco de dados. Informar exatamente de quais sites aquelas informações vieram, quais foram os critérios de curadoria usados e permitir um rebalanceamento ativo das imagens.

Sim, para que a associação automática entre prestígio e branquitude pare de asfixiar figuras históricas não brancas, como a gente viu lá no caso do Frantz Fanon.

Perfeito. E claro, não dá para deixar de lado a espinha dorsal invisível desse processo todo, que são os direitos dos trabalhadores que você mencionou mais cedo.

As diretrizes deles batem muito duro na necessidade de frear o extrativismo no sul global. A erradicação dessa prática exige a proteção desse trabalho vivo.

E na prática, o que isso significa para as empresas?

Significa obrigar as corporações a garantirem remuneração justa, condições dignas de ergonomia e, obrigatoriamente, apoio psicológico contínuo e pago para todos os rotuladores de dados e moderadores de conteúdo.

Quem filtra o esgoto virtual precisa de equipamento de proteção, né? No caso, proteção mental.

Com certeza. E a resposta contra o extrativismo não tá vindo apenas das regulações teóricas. Há um movimento fascinante de criadores, artistas e ilustradores, documentado no estudo, que, olha, não esperou por leis governamentais lentas.

É, o pessoal da arte partiu para o ataque. Para proteger os portfólios autorais contra raspagem não consensual, Eles começaram a utilizar ferramentas que promovem o que chamam de envenenamento ético de dados.

E o que é fascinante aqui é o uso da própria arquitetura tecnológica como mecanismo de protesto e defesa. O texto explora essas iniciativas geniais lideradas pela comunidade acadêmica e artística que resultaram na criação de sistemas de código aberto, tipo o Glaze e o Nightshade.

E fiquei muito curioso com isso. Como se dá essa mecânica de envenenamento visual? O que exatamente o programa faz nas obras antes do artista postar na internet? Internet.

É brilhante! O software altera a imagem adicionando texturas e ruídos em nível de pixel que são virtualmente imperceptíveis aos olhos humanos.

Tá, então eu olho para imagem e não vejo diferença nenhuma?

Nenhuma. Quando o público visualiza a imagem na tela, enxerga só a ilustração original perfeitamente. Contudo, quando o bot da IA raspa a imagem para roubar o dado, ele lê os dados matemáticos daquele ruído que foi inserido. E esses dados confundem totalmente a rede neural.

Dá um nó na cabeça da IA.

Exato. A inteligência artificial classifica silenciosamente a imagem de um gato que foi envenenada pelo Nightshade como sendo, por exemplo, a imagem de uma bolsa de couro.

Cara, é um contra-ataque espetacular contra a voracidade dos bancos de dados. Se a empresa continuar ignorando os direitos autorais e engolir em massa milhares dessas artes protegidas, o modelo generativo colapsa por dentro.

É isso, isso mesmo. Os pesos matemáticos são destruídos e a máquina simplesmente desaprende conceitos básicos. Ela passa a gerar figuras distorcidas de bolsas toda vez que um usuário pede para desenhar um gato.

A tecnologia obriga as plataformas a respeitarem a propriedade intelectual e o consentimento na marra, né, integrando a proteção de direitos humanos ao design intrínseco do sistema. A empresa que quiser um banco de dados limpo e funcional agora vai precisar pagar e obter autorização antes de alimentar a IA.

Sim, é uma solução de arquitetura para um problema de arquitetura.

Bom, encerrando essa nossa densa exploração de hoje, acho que o fio condutor que guiou a gente através do estudo do Faustino e do Leopold é claríssimo: as máquinas são formadas à nossa imagem e semelhança.

Sem dúvida.

A inteligência artificial reflete, compila e acelera o nosso histórico coletivo de triunfos. Mas principalmente de preconceitos brutais. E a estabilidade dessa ilusão matemática se mantém às custas do esgotamento diário de trabalhadores vulneráveis. Se a gente continuar confiando nesse volume cego, sem a curadoria rigorosa que os autores sugerem, os apagamentos de pessoas como Frantz Fanon e os erros dos hospitais não serão acidentes de percurso, serão o código central do nosso futuro tecnológico.

E isso levanta uma questão importante: Uma reflexão que expande a provocação deixada pelo estudo e que quem está acompanhando a gente deve ponderar com cuidado.

Qual seria?

Nós passamos a análise inteira verificando como as IAs lutam hoje para espelhar a realidade humana de maneira minimamente correta, por conta desse lixo tóxico histórico que já tá sedimentado na internet e na nossa sociedade.

Sim, o dado já vem sujo.

Exato. Mas o futuro guarda um desafio arquitetônico ainda mais perturbador.

Qual é o próximo gargalo desse desenvolvimento, então?

Pensa bem. À medida que os modelos generativos barateiam, a esmagadora maioria do novo conteúdo inserido na internet começará a ser gerado sinteticamente pela própria inteligência artificial.

Ah, os textos de blog, os diagnósticos preliminares, as imagens, tudo?

Tudo. E o momento de inflexão ocorre quando a raspagem de dados de amanhã coletar as respostas dadas pela IA de hoje. Sem a correção imediata dessas diretrizes que a gente abordou, os futuros modelos globais não serão mais treinados nos erros da humanidade.

Caramba, eles serão treinados nos vieses alucinados que as próprias máquinas fixaram hoje.

É isso. Prenderemos a evolução tecnológica em um ciclo de retroalimentação tóxica, uma imensa câmara de eco onde o robô automatiza e intensifica cegamente o preconceito que já tinha sido validado pelo robô anterior.

Estilhaçando indefinidamente as distorções originais da humanidade, até a gente perder qualquer controle sobre o resultado estatístico do que é a realidade. A urgência de intervir e governar o algoritmo antes que esse ciclo sintético se feche nunca foi tão óbvia. Fica esse enorme alerta e um convite à reflexão para quem acompanhou a nossa conversa até o fim. Muito obrigado pela companhia e nos vemos na próxima investigação profunda sobre as linhas de código que moldam o amanhã.