11. Guia de Redes Neurais e Deep Learning: Evolução e Arquiteturas - áudio

imaginemos pedir para um computador, lá em 1958, traçar uma linha simples num gráfico para separar umas bolinhas brancas e pretas. E a máquina falha miseravelmente, assim que essas bolinhas se misturam um pouco. E aí, bom, a gente contrasta isso com o cenário de hoje.

A base dessa mesma matemática está rodando por trás das nossas telas, sabe? Escrevendo códigos super complexos a partir de uma frase banal, detectando fraudes financeiras no mundo todo em milissegundos e, tipo, dirigindo carros sozinhos por aí. Nossa, sim. É um salto absurdo. Exato. Como a gente saltou de um interruptor digital bem rudimentar para esses cérebros artificiais que parecem lementes.

Certo, vamos desempacotar isso. A nossa missão na exploração de hoje é justamente abrir essa caixa preta. Com certeza. A Barzi para o nosso papo é um material fantástico estruturado pelo professor doutor Ivan Carlos Alcântara de Oliveira, que mapeia a evolução completa das redes neurais e do Deep Learning.

O que é fascinante aqui é que existe uma narrativa muito comum na mídia, de que a inteligência artificial é uma espécie de magia negra tecnológica que surgiu do nada na última década. Sim, a mágica do algoritmo. Pois é. Mas, na verdade, é uma progressão de décadas de becos sem saída, crises de financiamento e saltos matemáticos geniais. Cada arquitetura que domina o mundo hoje foi inventada especificamente para curar uma limitação paralisante da arquitetura anterior.

E o grande objetivo aqui não é jogar um dicionário de siglas assustadoras para quem escuta, mas entender como a máquina realmente pensa. Prometemos que até o final termos como transformers e guns vão fazer todo sentido. Vamos traduzir isso. Então vamos começar pelo princípio absoluto. Para entender os gigantes de hoje, a gente precisa voltar ao primeiríssimo neurônio artificial, o perceptron, criado pelo Frank Rosenblatt na década de 50.

E a ambição do Rosenblatt era gigantesca, sabe? Ele queria pegar aquele maquinário biológico, o modo como os neurônios do nosso próprio cérebro recebem sinais e disparam uma carga, e traduzir isso para a lógica matemática pura. Certo. O perceptron recebia as entradas, multiplicava cada uma por um, digamos assim, peso de importância, e se a soma ultrapassasse um certo limite, ele disparava o sinal.

É tipo um interruptor de luz com um dimmer matemático. Ele foi projetado para classificação linear. Exatamente. Basicamente, ele olhava para um conjunto de dados simples e traçava na linha reta, dividindo as coisas em duas categorias. E, bom, funcionava para problemas bem básicos.

Mas aqui eu preciso fazer o papel de advogada do diabo. Manda. Se esse interruptor biológico já funcionava em 58, por que a revolução das máquinas não aconteceu na era das calças boca de sina, lá nos anos 70? Ah, a resposta para isso é o motivo de um dos maiores traumas da história da computação. Isso culminou no ano de 1969. Foi quando Marvin Minsky e o Seymour Peppert publicaram um livro chamado Perceptrons. Uhum.

Essa obra provou com uma clareza matemática, assim, brutal, que esse modelo de uma única camada não conseguia resolver absolutamente nada que exigisse uma lógica não linear. O carrasco do modelo de Rosenblatt foi um probleminha lógico conhecido como XOR, o ou exclusivo.

Certo, o famoso XOR. Vamos tentar visualizar para quem nos ouve o porquê disso ser um problema tão fatal. Boa. Se tivermos pontos desenhados numa folha de papel, alguns pretos de um lado e brancos do outro, o Perceptron consegue ir lá e desenhar uma linha reta entre eles. Mas e se os dados estiverem dispostos tipo as casas de um tabuleiro de xadrez?

com o preto e o branco se alternando? Isso, alternando e cruzando. Aí que tá. Tentar separar essas cores no tabuleiro de xadris usando apenas uma única linha reta é geometricamente impossível. E como grande parte do mundo real opera com lógicas misturadas e cruzadas como essa, o Perceptron simples se mostrou uma enorme rua sem saída. Nossa!

A prova do Minsk e do Papert foi tão devastadora na época que os financiamentos governamentais para redes neurais simplesmente evaporaram. Os laboratórios fecharam as portas. Tudo parou. Tudo parou. Entramos de cabeça no que a história chama de o inverno da IA. Um congelamento profundo nessas pesquisas que durou quase duas décadas. Fiquei muito surpreso relendo sobre o impacto disso.

E a tecnologia ficou praticamente em animação suspensa até 1986. É quando as anotações da nossa pesquisa destacam o grande descongelamento. O fim do inverno. Isso. A salvação veio através da popularização do algoritmo de backpropagation, a retropropagação. Uma ideia liderada por pesquisadores como Romel Hart, Hinton e Williams. Exato.

Para resolver o problema do tabuleiro de xadrez, os cientistas perceberam que precisavam colocar várias camadas de neurônios trabalhando juntas, o tal do Multilayer Perceptron, ou MLP. Só que existiu um bloqueio enorme aí. Como ensinar as camadas do meio, as camadas ocultas, a corrigir os próprios erros? O Backpropagation foi quem resolveu isso. Dá para a gente fazer uma analogia aqui com uma mesa de som de um estúdio musical gigante, né? Como essa mesa de som funcionaria para a rede neural?

Imaginemos que um produtor musical esteja tentando afinar uma música que está saindo totalmente distorcida nas caixas de som lá no final do estúdio. Entre o microfone e as caixas de som, existem várias camadas ocultas cheias de botões de equalização. Sem a retropropagação, o produtor girava esses botões meio que às cegas.

Tentativa e erro pura. Exato. Mas com backpropagation, é como se o sistema pegasse a distorção exata que saiu lá na ponta, viajasse matematicamente de trás para frente pelos cabos e fosse ajustando cada botãozinho milimetricamente. Camada por camada. Isso, camada por camada oculta para minimizar aquele erro na próxima tentativa até a música sair cristalina.

Isso permitiu que redes com múltiplas camadas ocultas pudessem finalmente ser treinadas de forma sistemática. O MLP, equipado com esse backpropagation, conseguiu dobrar o espaço matemático e desenhar curvas e círculos lá no nosso tabuleiro de xadrez hipotético.

E assim o inverno havia acabado. As fundações modernas estavam lançadas. O que nos empurra direto para os anos 90 e para aquela necessidade iminente de aplicar isso ao caos do mundo real, né? Com certeza. A galera queria que as máquinas lidassem com imagens e vídeos de verdade.

O fluxo básico estabelecido era a arquitetura feedforward, é onde a informação viaja numa via de mão única. Os dados entram na camada de entrada, são mastigados pelos cálculos nas camadas do meio e a resposta sai na ponta. Por exemplo, a rede olha a foto e diz Ah, isso é um gato. Mas as imagens estilhaçaram essa abordagem inicial, não é?

Totalmente. Se a gente tentar usar uma rede feedforward clássica para processar uma foto moderna, o sistema entra em colapso computacional. Fica pesado demais, né? Sim, porque uma foto de alta resolução tem milhões de pixels. Ligar cada um desses pixels individualmente aos neurônios cria uma explosão combinatória quase impossível de treinar e de generalizar.

E a imagem muda, né? Um cachorro na foto pode estar no canto esquerdo ou lá no canto direito, e a rede linear veria isso como coisas completamente diferentes. Exato. Foi aí que curamos a cegueira da IA com as CNNs, as redes neurais convolucionais.

E como uma CNN burla esse problema de ler milhões de pixels de uma vez só? O truque brilhante das CNNs é a operação de convolução. Ela atua como um filtro, tipo uma pequena lupa de observação que desliza metodicamente sobre a imagem, analisando bloquinhos bem pequenos por vez.

Em vez de decorar as posições exatas de cada pixel, a primeira camada da CNN procura apenas por bordas e contrastes. A camada seguinte agrupa essas bordas para encontrar texturas. Vai montando um quebra-cabeça. Isso.

A próxima já procura formas maiores, como uma orelha de gato ou a roda de um carro. E tudo isso é combinado com as camadas de pooling, que reduzem o tamanho da imagem e jogam fora os dados inúteis, mantendo só o que importa. É um funil de abstração.

Nossa, isso faz todo sentido. Em vez de decorar cada pontinho, a rede entende o conceito geométrico da orelha, não importa onde ela esteja na foto. E o documento que a gente está analisando crava o ano de 2012 como o estrondo global dessa arquitetura. O caso da AlexNet. Exato, o modelo AlexNet triturando a competição lá no desafio ImageNet. E o grande catalisador ali foi o uso massivo das placas de vídeo, as GPUs.

É, as GPUs trouxeram um fôlego novo. Elas processavam essas convoluções numa velocidade absurda. Se conectarmos isso a um cenário maior, a partir daquele momento a sociedade ganhou sistemas de reconhecimento facial de altíssima precisão e, bom, IA diagnosticando exames médicos por imagem, sabe? O impacto foi brutal. Mas com a visão computacional resolvida, nós esbarramos no próximo obstáculo da arquitetura.

A CNN enxerga perfeitamente a foto, mas ela sofre de uma amnésia crônica a cada novo quadro. Ela não tem o fator tempo. Se mostrarmos para a rede a foto de uma pessoa caindo, ela identifica a pessoa e o chão. Mas ela não sabe se a pessoa acabou de tropeçar ou se ela está se levantando. Porque para a rede Feedforward, o passado não existe. E quando a gente entra no território da linguagem, da fala...

Essa amnésia é ainda mais fatal, né? Com certeza. Numa frase como o rato roeu a, adivinhar a palavra roupa depende de manter na lembrança as palavras rato e roeu que vieram antes. E para resolver a amnésia, a engenharia criou as RNNs, as redes neurais recorrentes.

O que elas fizeram de diferente foi introduzir loops de retroalimentação. A saída gerada por uma palavra não vai só para frente. Ela também dá uma volta e entra de novo na rede, junto com a próxima palavra.

É como se a rede carregasse um bloco de notas, sabe? Com o resumo mental do que acabou de ler para ajudar a entender o que vem a seguir. Uma analogia perfeita. No entanto, as RNNs iniciais perdiam essas anotações muito rápido quando a frase era longa demais. Era um problema matemático conhecido como o desvanecimento do gradiente.

A rede esquecia o começo do parágrafo? Sim. E a solução técnica que ganhou muita força e definiu a década passada para textos foi a criação das LSTMs, Redes de Longa Memória de Curto Prazo. Ah, as LSTMs. Elas implementaram uns portões lógicos, tipo umas catracas, para decidir ativamente o que a rede deveria guardar na memória e o que ela poderia jogar fora.

E aqui nós fechamos aquela primeira grande fase histórica. As CNNs curaram a cegueira e as LSTMs curaram a amnésia. A gente estava excelente em analisar e classificar o que já existia no mundo. Mas aí veio 2014.

Sim, o salto que mudou o paradigma todo. A IA deixou de ser apenas uma analista e passou a ser uma criadora. É aqui que a coisa fica realmente interessante. As GANs, Redes Geradoras Adversariais. As GANs são uma das ideias mais elegantes e sinceramente rebeldes de propostas na área. Em vez de treinar uma rede só para classificar, a gente coloca duas redes distintas dentro de uma arena.

competindo ferozmente. Competindo uma contra a outra. É o clássico duelo entre falsificador e o detetive. O gerador atua como esse falsificador brilhante, né? Ele tenta criar dados a partir de um ruído aleatório. Digamos pintando o rosto de uma pessoa que não existe. A missão dele é enganar o sistema.

E do outro lado da arena, temos o discriminador, que é o detetive. O detetive recebe uma pilha de fotos reais misturadas com as fotos falsas do gerador. A função dele é apontar o dedo e falar, opa, isso é real, mas isso aqui é uma fraude.

E a mágica acontece no loop de treinamento. Se o gerador for pego, ele recebe o erro e usa a retropropagação para melhorar suas técnicas de pintura digital. Se o discriminador for enganado, ele mesmo se atualiza para ficar com o faro mais aguçado. Uma corrida armamentista interna. Literalmente. Essa corrida empurra o gerador a um nível de perfeccionismo tão extremo que, eventualmente, os rostos criados se tornam indistinguíveis da realidade para nós humanos.

São aleatórias. Logo vieram as cãs. As gãs condicionais. Não era mais o falsificador pintando qualquer rosto. Agora era possível dar uma ordem direta. Tipo, faça o rosto de um idoso. Exato. Gere um rosto de um homem idoso, usando óculos e sorrindo.

Essa capacidade de dar amarras ao gerador deu origem a modelos impressionantes, como o Stylegun e o Cyclegun, que conseguem transformar um cavalo numa zebra num vídeo em tempo real. É de explodir a cabeça. Demais. E, inevitavelmente, é a arquitetura que abriu a caixa de Pandora dos deepfakes.

É, a geração de imagens estava super resolvida, mas a de textos ainda tinha um problema crônico de velocidade, sabe? Isso nos leva ao ano mais decisivo da era moderna, 2017. O ano da revolução na linguagem. Isso. As RNNs e as LSTMs tinham um limite de velocidade intransponível na arquitetura. Para ler ou gerar um texto longo, elas tinham que processar tudo sequencialmente. Palavra 1, depois palavra 2, depois palavra 3.

Numa fila indiana. Se houvesse um livro inteiro para treinar, a rede levaria anos, porque não dava para dividir a tarefa. A fila andava uma palavra por vez. O modelo Transformer simplesmente implodiu esse gargalo.

A palavra Transformer dominou tudo nos últimos anos, a gente vê isso em todo lugar, mas o mecanismo exato que faz dele uma revolução lá nas nossas fontes é o tal do mecanismo de atenção ou self-attention. Vamos entender exatamente como isso quebrou a regra da fila indiana para que nos escuta. Como funciona a atenção na prática?

Bom, o mecanismo de atenção descarta essa leitura sequencial. O Transformer engole a frase inteira ou o parágrafo inteiro simultaneamente, num processamento que a gente chama de massivamente paralelo. Mas espera aí, como ele entende o contexto se não lê as palavras na ordem?

Aí que entra a matemática da atenção. Para cada palavra da frase, a rede cria conexões ativas com todas as outras palavras da mesma frase, ao mesmo tempo, calculando os pesos de relevância entre elas.

Vamos colocar isso no mundo real, numa frase, tipo, o banco da praça estava molhado. A palavra banco possui múltiplos significados. No modelo antigo, a rede só saberia que é um assento e não uma instituição financeira lá pelo final da frase. Exato, depois de ler tudo em ordem.

Mas, no Transformer, a palavra banco dispara calvos matemáticos invisíveis que se conectam direto com a palavra praça e com a palavra molhado. Esse cálculo informa o sistema na hora. Atenção máxima à palavra praça. Ela define o contexto de banco.

Precisamente isso. E como tudo isso acontece em paralelo, aproveitando aquele poder imenso das placas de vídeo, tornou-se possível treinar esses modelos com terabytes de dados da internet inteira num tempo bem curto. É uma explosão de escala.

Sim, o paralelismo do Transformer deu a luz os gigantes com bilhões de parâmetros que hoje chamamos de Large Language Models, os LLMs. Os famosos BERT, GPT, T5 ou até o Bertimbal em português. Sem isso, a tecnologia por trás do chatipiti seria impossível.

O salto é muito vertiginoso. E o que nos conduz para a reta final dessa linha do tempo, já entrando na década de 2020, é que, com a linguagem natural dominada, a fronteira se deslocou para as aplicações práticas que mexem no nosso dia a dia. Saindo do laboratório para o mundo.

Um exemplo bem absurdo que tem nas notas é a transição da linguagem humana para a linguagem de máquina, cristalizada em modelos como o Codex, uma evolução do GPT. O caso do Codex é o exemplo definitivo do poder do fine-tuning, o ajuste fino. O que eles fizeram? Pegaram a arquitetura Transformer, que já entendia a gramática e o contexto humano, e alimentaram ela com bilhões de linhas de código-fonte de repositórios como o GitHub.

Nossa. A Raid simplesmente percebeu que a linguagem de programação, tipo um Python ou C++, possui regras e dependências tão estruturadas quanto qualquer idioma falado. E o resultado prático disso, para quem não atua na área de engenharia, parece feitiçaria pura. É, não dá para negar.

porque ao inserir um comando em linguagem natural, como se estivesse pedindo um favor a um colega, tipo A, crie uma função que busque o menor número numa lista e exiba na cor vermelha, a rede processa isso pela atenção e devolve o código pronto.

Isso transformou a IA em um copiloto de engenharia. Sem dúvida. Os Transformers e essa geração de código acabam ganhando todos os holofotes. Mas o material também compila umas arquiteturas mais silenciosas que são cruciais para a nossa infraestrutura. Os Autoencoders, por exemplo.

Eles resolvem um problema vital, que é detectar quando o normal deixa de ser normal. O conceito do autoencoder é super engenhoso porque se baseia todinho em compressão e reconstrução. Vamos imaginar que o sistema funciona como um desenhista forçado a trabalhar com uma restrição extrema.

Digamos que o objetivo seja retratar rostos, mas a regra imposta pela rede é que ele só pode usar cinco linhas retas para desenhar. Essa restrição é o que a gente chama de gargalo, ou espaço latente. E qual é a consequência de forçar milhares de imagens a passar por esse gargalo de cinco linhas?

A rede é obrigada a ignorar todos os detalhes fininhos, sabe? O ruído, a textura exata. Ela tem que focar na essência. Exatamente. Ela foca no que define um rosto normal. O sistema codifica o dado e depois tenta usar as cinco linhas para decodificar e reconstruir o rosto.

E o pulo do gato mora justamente na falha disso. Se a gente entregar para esse desenhista a foto de um rosto distorcido com três olhos e pedir para reconstruir usando aquelas mesmas cinco linhas, ele vai falhar espetacularmente. O desenho reconstruído sai totalmente diferente da imagem bizarra que entrou.

E aí o sistema grita, opa, o erro de reconstrução foi altíssimo. É essa diferença gritante que dispara o alarme. Essa arquitetura atua como uns cãs de guarda invisíveis. É assim que uma fraude no cartão de crédito é bloqueada num domingo de madrugada.

Porque o padrão de compra fugiu daquela compressão normal. Exato. É assim que a manutenção preditiva numa usina sabe que uma turbina vai quebrar antes mesmo de soltar a fumaça. E é a base da cibersegurança contra invasões estranhas. Fantástico.

E para fechar esse atlas de arquiteturas, a pesquisa do professor Ivan levanta uma estrutura final que faz totalmente da grade perfeitinha dos pixels e das linhas de texto dos transformers, as GNNs, as redes neurais pungrafos. Vamos destrinchar isso porque a maioria das coisas interessantes do mundo não cabe numa tabela de Excel, né?

É verdade. Se a gente quiser mapear a propagação de uma ideia ou de uma fake news, a gente precisa olhar para as redes sociais. Elas não são sequências planas, são redes muito caóticas de conexões. Uma pessoa segue 10, que interagem com 5, que bloqueiam outras 3. Essa teia de pontos que chamamos de nós e conexões, as arestas, é o tal do grafo.

Arquiteturas clássicas falham miseravelmente em ler essa geometria irregular. E como a GNN ataca essa teia de aranha? Através de um processo chamado de passagem de mensagens, ou message passing. Imaginemos uma sala lotada, onde as pessoas representam os nós do grafo. Certo.

Cada pessoa começa a sussurrar suas informações mais cruciais diretamente para os amigos que estão ali, de mãos dadas com ela. Os vizinhos mais próximos. Isso. E esses amigos combinam a fofoca com as informações deles mesmos e sussurram para os próximos.

Na matemática das GNNs, cada nó atualiza seu próprio estado com base nessa agregação dos vizinhos. Após algumas rodadas de sussurros, cada pontinho passa a ter uma compreensão global do seu papel naquela teia gigante.

Então, o que tudo isso significa para o cenário atual, né? Quando a gente combina essas peças todas, temos algoritmos de grafos prevendo o trânsito global, autoencoders vigiando os bancos, CNNs garantindo que carros processem radares e transformers traduzindo e programando. Traz uma perspectiva muito louca sobre o ritmo dessa jornada.

é a materialização de um esforço de engenharia quase poético. A gente saiu lá do interruptor dos anos 50, atravessou o inverno da IA, ensinamos as máquinas a escanear bordas, a duelar com as guns para forjar o irreal, até finalmente quebrarmos a barreira do tempo com os Transformers.

Nós cobrimos um terreno gigantesco hoje, da teoria até a sala de máquinas de agora, mas as projeções da pesquisa nos guiam para uma reflexão final que parece meio inevitável.

Isso levanta uma questão importante. Se conectarmos os pontos de tudo o que destrinchamos. A gente viu que os autoencoders já conseguem detectar desvios sutis e alertar falhas. E os transformers baseados em código dominam a sintaxe perfeitamente, construindo softwares do zero a partir de intenções.

As peças já estão todas na mesa. O que nos leva ao próximo limite orgânico. Se a IA já tem mecanismos matemáticos próprios para identificar onde as coisas quebram, e já tem arquiteturas generativas maduras o suficiente para escrever as linhas de código que consertam processos.

Em que momento dessa nossa linha do tempo, essas redes vão deixar de ser ferramentas passivas e assumirão a posição de arquitetas, detectando falhas nos próprios algoritmos e projetando sozinhas a sua própria evolução estrutural, sem qualquer supervisão nossa? É.

Esse é o tipo de pensamento que redefine não apenas a tecnologia, mas o papel criativo da própria humanidade no processo. E isso prova que o mundo do Deep Learning não está apenas mudando de fase, ele está se preparando para redesenhar o tabuleiro inteiro.

Com certeza. Muito obrigada para quem acompanha a gente por mais essa jornada fascinante pelos bastidores das mentes digitais. Continuem observando de perto essas engrenagens e mais do que nunca questionem as lógicas por trás da mágica computacional. Até a próxima exploração.