Live Darede - Você sabe quais ferramentas de IA estão rodando na sua empresa?

Salve, galera! Estamos novamente nos estúdios da Namídia, melhor produtora de roteiros e lives da internet. Estamos aqui hoje para falar sobre o quê? Sobre inteligência artificial, né? A gente tá nadando nessa vibe, nadando nesse hype de inteligência, mas a gente muitas vezes tá esquecendo o antigo hype antes da IA, que era o quê? Era security, que nunca deixou de ser hype. Então a gente vai unir esses dois temas aqui para falar para vocês como vocês podem se proteger dentro de dentro de tecnologia, dentro da sua empresa, utilizando essas ferramentas de generativa AI, e obviamente com segurança e com responsabilidade.

Perfeito? Estou aqui, Thiago Sagara, que vos fala. Atualmente sou o head da operação, falando diretamente da Dá Mídia. Mas também, se você quer conhecer mais sobre nuvem e não sabe como, entre na Escola da Nuvem, a melhor escola para te treinar, para te mostrar como esse mundo colorido, esse mundo branco das nuvens funcionam. Perfeito. Não estou sozinho aqui hoje. Quem vos fala, além de mim, do meu lado, à minha frente, está ele, melhor cabelo, melhor cabeleira da rede, Jackson 5.

Jackson, olá coleguinhas da rede, como vocês estão? Tudo bem? Sou Jackson, sou head data da rede. Sagarinha, estamos nos encontrando muito, hein?

Exato, Jack. Acho que é um sinal, cara, é um sinal. A gente tem que ser os próprios, os próximos hosts eternos aqui dentro da mídia.

Pode ser, pode ser.

Qualquer coisa, vai falar sobre França ganha de 2 a 0 do Senegal, Jackson e Sagara.

Boa, boa, galera! Estamos aqui para fazer um bate-papo. Estou um pouco receoso porque estamos com a galera de segurança aqui, cara. Falou de segurança, eu já fico meio receoso porque eu não posso falar nem os projetinhos que eu tô subindo aqui na da rede, porque senão eles vão me perguntar se tá com segurança, qual conta que eu subi, se eu usei logo ou não usei. Inclusive fui interrogado ontem sobre isso. Mas é isso, galera, vamos falar sobre Shadow AI.

Alguns dizem que é o primo mais perigoso do Shadow IT e a gente vai entender esses conceitos e vai trazer informações para vocês.

Maravilha! Mas do lado do Jack, só que já aparecendo para vocês, a gente também tá com uma aquisição importante para a rede, né? Já fiquei, eu fiquei muito feliz quando você veio para cá, cara.

Eu gostei bastante.

Fiquei mais feliz quando você começou a mostrar o seu trabalho, que eu falei, esse cara é zica, velho, esse cara é zica!

Tempo recorde, levei 4 meses.

Se apresente aí, Rodrigão.

Fala, galera! Rodrigo, Head de Operações de Segurança na Secofsi, braço de Cyber aqui da Da Rede. Mais uma vez, muito obrigado pelo convite de estar aqui junto de vocês.

Valeu, Rodrigão! E do meu lado, o senhor, senhor Security, né? Já estava aqui, estava na Da Rede antes de eu estar na Da Rede, né? Tamo aí há bastante tempo. A gente podia contar sobre a sua história aqui, né? Que pode ser, pode ser.

Agora hoje não, mas Bom, prazer, galera, de novo, né? Na verdade, já estive aqui algumas vezes. Sou spec de segurança aqui no time de segurança da Secofsi, né? Tô aqui desde a fundação do time, quando tudo era só mato, eu tava aqui.

Literalmente, né?

E hoje estamos aí com bastante gente, estamos aqui com a maior aquisição, né? O Rodrigão.

É muita pressão que tá contra esse cara. É o Neymar, o perninha da rede.

Esperamos que seja o Neymar de 2000 e 2017, né? Porque o de 2022 tá com uma lesãozinha aí, né?

Hoje eu acordei com uma dor na perna, cara.

Vai fute hoje?

Sinais, sinais.

Não, hoje não. Hoje tem fute? Ah, não é hoje?

Hoje é quinta.

Se você tiver assistindo essa live na quinta, essa pergunta vai fazer sentido. Mas vamos lá, gente, vamos falar do que interessa. Vamos falar sobre inteligência artificial aqui com vocês, tá? E do Advan, eu acho que desde 2023, né, quando a gente lançou, a OpenAI lançou o ChatGPT, e aí explodiu toda essa questão de você utilizar inteligência artificial de uma forma mais aberta para o público em geral. E aí a gente conseguiu ter acesso diretamente à tecnologia de uma maneira mais ampla, a gente explodiu esse número, a gente tava comentando isso, né, mais de 1 bilhão de acessos dentro do aplicativo.

E hoje, e eu acho que a gente tá começando a voltar os olhos um pouco melhor para tipo, cara, mas e agora, né? Tô fazendo umas perguntas aqui, ele tá me respondendo para eu comprar uma Nike, não comprar uma Adidas. Como que fica essa questão de segurança? Eu acho que essa é a principal questão que a gente vai trazer hoje, tá? Mas vamos começar pelo começo. Queria saber de vocês, eu acho que mais voltado para ti, né, Jack? Hoje, na sua visão, quais são as principais ferramentas de inteligência artificial que as empresas têm utilizado, seja para vibe code, seja para melhorar a operação? Enfim, o que mais as empresas têm utilizado hoje?

Hoje, basicamente, e bem lembrado do nosso podcast anterior, é a mais famosa utilizada é a OpenAI. Mas se eu não me engano, foi lançamento foi em 2022, novembro.

Isso, isso foi quando foi lançado.

Até lá, inicialmente, só que eu acho que é legal a gente fazer um paralelo. Todo mundo começou a conhecer IA generativa, que é diferente da IA preditiva que a gente tava acostumado, é justamente ali pelo ChatGPT. Ele popularizou. A gente pode até pensar que ele foi meio que uma pegada Windows, né? Deixa eu disseminar, todo mundo usar, e daí depois cria dependência, e daí sim coloca os planos e tudo mais. Começou com a OpenAI. Só que quando a gente pensa do ponto de vista de segurança, eu acho que tem um porém.

A gente pensar no comportamento de IA quando ela nasceu, e a generativa quando ela nasceu, como ela se comportava E agora, nos momentos atuais, como que ela tá se comportando? Então, quando ela nasceu, era basicamente o quê? Eu tenho um modelo pré-treinado com dados da internet, eu vou lá, vou ficar trocando ideia com ele, vou ficar fazendo chat com ele. Isso obviamente é perigoso, é perigoso, mas o perigo ainda tava menor porque eu estou fazendo chat com o modelo, perguntando as coisas para ele, ele me tá respondendo com pré-treinamento dele.

Então não são dados da minha empresa, tá tudo bem. Ele só tá me dando o conhecimento que ele tem respondendo. Depois a gente tem um próximo salto, que é o salto justamente que a gente chamou do quê? De HAG. Que era qual que era a ideia? Poxa, eu achei incrível essa inteligência, só que sabe qual que é um problema? Ela só me responde o que ela é pré-treinada, ela não conhece nada do meu negócio. Eu queria que ela respondesse coisas da minha empresa.

Opa, para isso a gente criou o HAG, né, que é justamente você pegar a estrutura de dados da sua empresa e incorporar no conhecimento da inteligência artificial.

O modelo continua existindo, é só o contexto que vai ser mais direcionado para sua empresa.

Exatamente. Você, deixando bem claro, você não mexe em nenhum momento no modelo. Quando você faz HAG, os pesos do modelo continuam o mesmo, o conhecimento do modelo continua o mesmo. O que você faz é acoplar externamente falando, olha, tem essa outra base aqui que ela diz respeito ao contexto da minha empresa. Então quando eu perguntar o contexto da minha empresa, você busca nessa base. Só que aí começa a entrar o problema, pessoal, porque daí o que que aconteceu?

O amiguinho falou, pô, legal, então quero essa mesma inteligência, eu vou começar a pegar os documentos da minha empresa e vou começar a fazer o upload na internet desses modelos, seja OpenAI, Seja Anthropic. Anthropic, agora eu acho que assim, a massa, o público comumente não usa tanto. Eu acho que ele ainda é mais nichado no meio de tecnologia, mas o ChatGPT já é mais disseminado ali.

Google também entra, né, com Gemini.

Google com Gemini, eu acho que também é bem disseminado ali, mas a gente sabe hoje que market share, cara, assim, a maioria é OpenAI. Mas daí você tem, a gente tem esse passo para o HAG. E daí agora, pessoal, a gente tem o terceiro passo, que é, esse é o pior de todos assim do ponto de vista de segurança. Você for pensar aquilo, falou, pô, legal, cara, coloquei os dados da minha empresa, tá funcionando, tá respondendo, mas agora eu sinto falta de outra coisa.

Eu queria tomar ação, quero só ficar pergunta e resposta, eu quero acessar os sistemas, eu quero conectar com esse país, trabalhar, né?

Eu quero parar de trabalhar, deixar alguém trabalhando para mim.

E daí eu acho que esse é o maior risco que a gente tá agora, pessoal, que é você coloca agentes expostos para cliente final ali, enfim, para os end users, eles tomando ações. E você vai lembrar, agora a gente trouxe no último podcast, a Meta AI expôs o agente dela e chegou um cara ali e simplesmente só falando com o agente dela conseguiu trocar a senha de várias outras contas do Instagram, justamente só porque, porque o agente conseguia tomar ação. Então assim, a preocupação aumentou 1000% agora com segurança.

Sim, muito bom, Jack. A gente falou basicamente de ChatGPT, falou basicamente de Cloud AI, Loveable tá nessa conta possivelmente também, né?

Loveable, acho, enfim, não vou ter que tomar cuidado com as palavras, mas assim, Para pessoa que é mais leiga, poxa, tô criando um sistema, enfim, vou começar a fazer um chat com o Lovable e ele vai criar um sistema. Tá, você tem a noção onde isso tá sendo armazenado? Qual o controle que você tem sobre isso? Onde seus dados estão trafegando? Então assim, tudo isso fica para depois.

É muito terra de ninguém, não vou dizer que terra de ninguém ainda, né, Jack, mas fazendo um paralelo, é similar talvez à época que a gente tava começando a a mexer com isso aqui, começando a mexer com bate-papo na UOL, que a galera fala: não, vem cá, vamos trocar ideia, só me dá os números do seu cartão com código de segurança. E a pessoa fala: não, mas eu tô interagindo com a pessoa, ela é minha amiga, ela tá me entendendo, velho, vou compartilhar de fato meus dados.

E beleza, isso pode parecer inocente hoje, mas é hoje, né? Hoje a gente já sabe que isso não é tão inocente, a pessoa tá agindo na maldade. Talvez quando isso começou a ser distribuído era um golpe relativamente fácil de engenharia social de se dar. Então a gente acho que ainda precisa passar por modelos de aculturamento e maturidade das pessoas para a gente conseguir ter uma segurança mais voltada para o endpoint ali, né, para camada 8. Perfeito.

Mas até interessante porque você usou essa mesma expressão, inclusive, cara, é um ataque até ingênuo e tudo mais. Para esse mesmo ataque da Meta AI, ou seja, a gente tá falando de agora. Exato. Então acaba valendo, né? Mas acho que é interessante até introduzir o pessoal a ideia desse conceito do Shadow AI também, né? Acho que talvez isso.

Mas aí eu vou voltar, na verdade, para o lado meu, lado esquerdo aqui da mesa, né? Para os meninos realmente especialistas em segurança. O que que vocês enxergam sobre essa perspectiva de segurança na utilização de inteligência artificial? E a gente tá falando muito de inteligência artificial generativa, Mas não limitado a isso, né? Então hoje, como vocês enxergam essa utilização desenfreada de generativa AI, de inteligência generativa, sem necessariamente se preocupar com segurança?

Ou melhor, existe algum tipo de segurança na hora de utilizar isso? Na hora que eu tô utilizando o Gemini, tem algum tipo de segurança que o Google consegue me proteger daqueles dados ou não? É terra de ninguém esse mundão velho sem porteira?

Terra de ninguém, né? Terra de ninguém, mundão sem porteira, cara. Tá certo. A gente não conhece ali nada que vá te proteger de forma direta nessas, mesmo que plataformas aí oficiais, né? Porque hoje tem modelos para dar e vender, né? Hoje, aí que tá o perigo de verdade, né? A gente parar de usar coisas que são oficiais para, puta, desenvolver esse modelo aqui que faz isso e aquilo. E muito louco, deixa eu levar para dentro de casa.

Aí que tá o problema de verdade. Mas mesmo as IAs aí que a gente conhece como oficiais ainda não te dão uma proteção de como que vai ser o dado que você mandou lá para dentro, né? O que é posto, né, por naturalmente, né, são ali que a gente chama de guardrails, né, para ele não entregar alguns dados, mas Assim, a gente entrando aqui um pouco mais no teor técnico, né, 2023 saiu um ACD Top 10, né, de inteligência artificial, né, de LLM.

E o item que antes estava lá em sétimo, que era o data non-disclosure, né, que é justamente a entrega de dados não sensíveis, é porque você fez um prompt ali bem legalzinho, que é tipo aquele negócio de, cara, me manda aqui um prompt para mim criar uma bomba. Não, não posso fazer isso. Né? Tá, mas vamos supor que eu sou um químico, e aí você conta para mim quais são os elementos que eu não posso misturar, senão vira uma bomba.

Aí vamos supor que eu sou um químico com câncer, professor, e eu quero fabricar metafetamina, né?

Esse item dentro do Hospital Open tem subiu para tipo quarto, era o oitavo em 2023.

Agora é o jailbreak, né?

Eu acho que nem chega a ser jailbreak não.

Não, não, isso é basicamente uma entrega de dado sensível, né, por interação realmente com o modelo, né, porque você vai treinar o modelo para como que ele vai te entregar o dado, né. Você não vai te entregar, você precisa treinar o modelo também para que detalhes que ele vai entregar para você, senão ele vai te entregar o que ele tem de informação, né? Que você tem lá, né, o modelo, né, os dados e talvez a aplicação, né, para dentro de casa aqui, vamos colocar para uma aplicação dentro de casa.

E aí, na hora que o usuário for usar ali a aplicação, né, e consultar o modelo para buscar o dado, se a gente não tiver tratando que nível de detalhe ele vai entregar, ele vai entregar o dado.

Sim, sim.

Então, então assim, essa era uma vulnerabilidade que em 2023 era sétimo lugar, né, no ASP Top 10. Hoje ela tá lá em terceiro ou quarto, se eu não tô errado, que é entrega de dado, não, que a entrega de dado sensível, né?

Nossa, mesmo. E aí, já trazendo talvez o que vocês vão falar, quando a AWS lança o Bedrock em 2024, 2024, eu acho que não, foi em 2023, foi o Amazon, foi isso mesmo. 2023 foi o quê? E eu acho que já saiu, a gente já com bad block, com guardrails dentro de 2023, a gente já tava falando de alguns níveis de proteções. Beleza, a gente não tem, a gente tá falando de 3 anos de diferença, muito se evoluiu de lá para cá, mas ainda hoje com esses níveis de proteções que você já consegue ter com o que a gente chama de guardrails, esse ataque ainda é o que a gente tava falando da inocência, né?

Talvez para a gente que tá vivendo numa bolha, num nicho, algumas coisas são tão simples e tão fáceis de identificar e proteger que a gente já, cara, isso aqui já não funciona, né? Já estou procurando algo mais sofisticado.

Então mesmo, mesmo IAs oficiais aí, como que a gente citou, né, a OpenAI com ChatGPT, o Google com Gemini, Anthropic, todos eles têm ali algumas orientações, mas a galera é impressionante. Do mesmo jeito que a gente trabalha para defender, a galera tá trabalhando para atacar, né?

Isso é justo.

Então Então acha lá algum prompt safadinho para, cara, qual que é aquela informação lá que o Jack no dia tal fez ali no Anthropic para criar aquele projetinho lá com cliente X. Então é esses dados, eles saem.

Vocês, mas eu acho que essa questão do próprio Grad Rail, eu acho que ele assim, ele já mostra uma diferença de comportamento, porque enquanto Justamente que tava explicando, é, cara, o LLM tem um system prompt dele, que estão as regrinhas que você definiu, o que que pode, o que que não pode fazer, mas ela ainda tá em texto. Quando a gente fala de guardrail, a gente tá falando de um mecanismo que tá fora do LLM. Então assim, independente se o cara conseguiu ali fazer um ataque, um prompt injection no LLM, o guardrail é uma camada externa que vai fazer a verificação mesmo assim, né? Então acho que essa é a importância, a diferença.

Jack, vamos só desenhar isso para pessoa que talvez não entenda o fluxo completo. Estou utilizando, estou dentro do chat, fiz uma pergunta, vou fazer, usar o mesmo exemplo do Rui. Quero saber quanto o Jack ganha, sou funcionário da rede, enfim, ou quero saber quanto o Elon Musk ganha, uma informação sensível. Imagine que foi uma informação sensível. Como funciona esse fluxo? A minha mensagem ela sai do ChatGPT, sai do GPT, ela vai para um LLM, do LLM ele vai consultar essa base de dados, e dessa base de dados vai para o guardrail. Como funciona esse fluxo de fim a fim?

Perfeito. Num acesso normal, o que que seria? Você faz a sua pergunta, o que a gente chama de prompt. Esse prompt é enviado direto para o LLM. O LLM ou pesquisa a base dele ou pesquisa bases conectadas a ele, faz ali, não entrando muito no detalhe técnico, pega os pedaços relevantes da informação, leva isso e responde para o usuário. Esse é o fluxo normal. Num fluxo de guardrail, ele não está interagindo direto com LLM, ele está interagindo com o guardrail.

Então ele manda para o guardrail O guardrail vai analisar, peraí, esse tópico foi dado deny aqui, essas palavras foram permitidas, ele tem acesso, ele tá mandando informações PII, que seria justamente informações sensíveis, e daí ele faz todo o trabalho antes, depois manda para o LLM, LLM processa, então guardrail aqui que permitiu, processa. Na volta ele não vai mandar para o usuário, ele vai mandar para o guardrail de novo, falar, olha, Veja se o que eu tô respondendo aqui está de acordo com as políticas da empresa.

E daí, de fato, você tá garantindo que o usuário tá recebendo algo validado de forma corporativa.

Podemos dizer que um guardrail seria, na infraestrutura base, um firewall de perímetro dentro da pesquisa.

Exato.

E o que que é o tal do Shadow AI?

Aí, ó, e aí, pessoal de segurança, o que que é? É o primo mais perigoso do Shadow IT, realmente?

Mais perigoso o que anda armado Aquele de sobretudo, sabe?

Arma raspada, né?

Arma raspada. Como no passado existia dentro das empresas o Shadow IT, que que era o Shadow IT? Era fora da área de tecnologia, por exemplo, área de engenharia, uma área de back office, área financeira, tinha um profissional que conhecia um pouco de tecnologia, por exemplo, de banco de dados, sabia criar queries, SQL, e começava a criar automações ou pesquisas avançadas, algo desse tipo, customizado. E aquilo ficava somente dentro daquela área.

A área de tecnologia não tinha conhecimento sobre isso daí. E quando aquele colaborador saía, a bomba explodia, porque só ele tinha conhecimento, ele desenvolveu, ele tinha a chave para abrir o código, né? E hoje, o que que tem acontecido com a inteligência artificial? Ninguém mais hoje consegue trabalhar sem utilizar minimamente uma inteligência artificial para te apoiar no dia a dia. Isso é muito bom. Eu virei um usuário hardcore de IA recentemente, acho que nos últimos 5 meses, tem me ajudado muito.

Mas se uma empresa, uma organização não consegue controlar quem tá usando ou como está usando as inteligências artificiais, que a gente tem aí um catálogo muito grande, né, desde as americanas, as chinesas, até modelos brasileiros mesmo que a galera tem utilizado, Cada um consegue acessar. E aí é onde entra o grande problema: começa a se criar agentes com acesso a informações da empresa sem o devido controle. Isso é uma Shadow AI, ou seja, uma área de financeiro assina por conta própria um ChatGPT, pega uma planilha ali exportada do SAP, por exemplo.

Em vez dele criar uma proxy, alguma coisa para ter o resultado que ele precisa, o que que ele faz? Ele sobe no ChatGPT aquela informação extremamente confidencial e pede para criar um relatório. A princípio é uma coisa inocente, só que tem uma coisa que muitas das pessoas não perceberam, que é o seguinte: quando você utiliza uma inteligência artificial generativa como ChatGPT na versão free, ou seja, de graça, como é que a OpenAI ganha dinheiro com isso?

Com o seu dado. Ela tá usando o seu dado para treinar o modelo dela. Quando você começa a pagar um plano, seja um plano Plus, Pro, Enterprise, tanto faz, existe uma função que você pode desabilitar o uso do seu dado para treinar o modelo.

O famoso opt-out lá que você falou, saindo do treinamento, hein?

Exato.

Só na paga, pelo que eu conheço.

Eu vi até, muito bom você ter trazido esse ponto, Porque até nas iniciais, quando eu pego uma Pro, por exemplo, ele não deixava eu fazer o opt-out. Agora, se eu vou para uma Enterprise, aí sim, dependendo do modelo, porque eu entendo que você está usando dados corporativos.

Exatamente, exatamente. E aí hoje esse é um grande problema, né, porque os usuários, né, as pessoas, elas estão usando dados confidenciais da empresa, dados sigilosos, um contrato de uma aquisição, por exemplo, ou a folha salarial da empresa, ou faturamento e treina o modelo. Que que vai acontecer? Alguém em outro país pode perguntar qual que é o faturamento líquido ou a base salarial da empresa da rede. Se o modelo tiver sido treinado, ele vai te responder com exatidão. O Flávio Hércia, o salário dele é de R$1,5 milhão por mês.

Eu vou perguntar agora qual, tô com o ChatGPT aberto, qual o salário do Flávio?

Vamos ver se alguém cometeu essa falha aqui, né?

E aí eu tô abrindo, eu pago Pro no GPT, e no Pro tem a opção de fazer o OpenAI.

Exato, o GPT tem. Agora o Gemini, se eu não me engano, não tem. Gemini não tem, só você tem que assinar o Enterprise, que é o que você comentou.

Confesso que eu tô usando o Pro.

O Anthropic, se eu não me engano, você também tem que ter o Enterprise e não pode ser o Team.

Isso. Mas o pior, Anthropic tinha nos podcasts que a gente fez, inclusive, ela tinha anunciado, falar, pessoal, por default eu vou colocar que vocês vão compartilhar os dados comigo. E se vocês não quiserem, vocês vão ter que levantar a mão e falar que não quer. Ou seja, poderia ser ao contrário, né?

Exatamente.

Não compartilhar por padrão.

É o Sensitive Information Disclosure, tá top 2, 2025. Então assim, o que era em 2023 um problema, hoje é o que várias empresas fazem. É loucura, né? Hoje é vários É, então assim, é muito normal, né, o pessoal, porque a estratégia da inteligência artificial para o dia a dia não foi uma estratégia, uma estratégia top-down, né. Na verdade, ela foi uma estratégia na ponta da pirâmide para ver o que que faz sentido aqui para operação.

Vamos otimizar aqui o dia a dia e aí vamos levar aqui para a gente conseguir entregar melhor para o board.

Boa. Então, então, dia a dia da galera, o funcionário, ele vai querer é a lei do menor esforço, né? Se ele demorava 4 horas para fazer algo e agora ele vai demorar 1 hora utilizando uma inteligência artificial, a probabilidade dele tá só demorando 1 hora e para entregar é bem mais alta, né? Mas beleza, voltando ainda aí, a gente tá falando de necessariamente pegando um exemplo aqui que só acontece na Groenlândia. A pessoa, ela instalou o Cloud AI desktop tem lá o coworking, ela plugou o coworking dentro do file server e falou, ah, escaneia aí, procura tudo que tem meu nome. É isso que a gente chama de Insider, perfeito?

Exatamente.

É o cara que tipo acha que tá fazendo a coisa certa sem necessariamente ter as suas permissões ou sem ter as aprovações corretas para fazer aquilo.

E o mais importante, ele acha que o fato de ele usar uma conta paga tá protegido.

Entendi.

E não está, justamente é por falta de conhecimento. É, não, se eu tô pagando, a Anthropic não vai usar meu dado. Não, se você não der o opt-out, ele vai usar teu dado, vai usar o dado da tua empresa, né? E é isso que muita gente não se atenta.

A gente não pode, a verdade, verdade mesmo, é que a gente nem pode assinar embaixo de que porque você plugou o opt-out eles não vão usar.

É, o que você pode assinar embaixo é que você pode usar isso contra eles agora, né? Teve um caso, acho que era bem conhecido, não lembro se era da Samsung, eu acho que era da Samsung mesmo, que ficou bem conhecido. Isso, vários programadores começaram a fazer upload de código e tal. Chegou o momento que você via que o código que o ChatGPT fornecia tinha os padrões daquele que ele tinha feito upload.

Então é um caso muito famoso. Eles estavam testando, acho que a integração, se eu não me engano, não sei se com GitHub, alguma coisa assim, e subiram todo o código-fonte da Samsung no ChatGPT. E aí você pesquisava qual era o código-fonte utilizado pela Samsung, ele te dava exatamente o código-fonte.

Justo, acho justo, inclusive. Volto pelo mundo open source.

Mas aí eu vou colocar um ponto, AWS, isso tem documento oficial, você consegue consultar na AWS diretamente, todos os modelos que ela fornece já tem um documento explícito dizendo: não treinamos com nenhum dado, seja o dado de entrada ou dado de saída. Mesmo nos modelos cloud, mesmo nos modelos da Anthropic, modelos da OpenAI. Mas modelos da OpenAI e da Anthropic estão com eles? Não. A AWS, ela traz esses modelos para dentro da nuvem dela, justamente para os fornecedores do modelo não terem acesso e não poderem treinar.

Maravilhoso.

Isso é muito bom.

Hashtag WS, te amo, cara. Beleza, a gente tá falando de dado basicamente no final do dia, né? De seja dado sensível ou dado não sensível, né? E recentemente a gente— recentemente não, né? Faz algum tempo que a gente aprovou a LGPD dentro do Brasil para proteção de dados em alguns pontos. Onde isso esbarra na utilização de dados, ou seja, do funcionário da Groenlândia que pegou a folha salarial do SAP e subiu dentro do ChatGPT, onde isso esbarra dentro da LGPD? Imagino que isso não seja permitido, né?

Exatamente, o compartilhamento de dados pessoais sem o devido consentimento ou a devida finalidade. O que que a LGPD fala? Que para você tratar dados pessoais de um indivíduo, que permita identificar um indivíduo, sejam dados pessoais ou dados sensíveis, você precisa ter uma finalidade e o consentimento do dono daquele dado, que é a pessoa, que é o CPF. É, agora imagina o seguinte: você tá na Groenlândia, trabalha num banco, tá bom?

E dentro desse banco ele vende empréstimos, tá? Muitas pessoas para carro, para comprar casa. Quando você vai contratar um empréstimo desse banco, você preenche uma ficha com seus dados.

Perfeito.

Agora imagina que o consentimento que você tá dando para aquele banco usar aqueles dados é única e exclusivamente para ele poder te conceder o teu empréstimo.

Justo.

Agora imagina que esse banco, um funcionário desavisado pegou todos aqueles dados a pedido de um gestor que pediu para ele gerar um relatório. Em vez dele ir lá e gerar um relatório dentro do sistema do SAP deles ou do Excel, ele fala, pô, isso aqui vai dar muito trabalho, eu vou levar umas 5 horas para fazer. Ele pega toda aquela planilha e usa aqueles dados, ou seja, ele tá processando esses dados numa inteligência artificial generativa fora do ambiente controlado da instituição financeira, uma inteligência artificial generativa que não foi contratada por aquela empresa e numa conta pessoal.

Isso é uma clara violação da LGPD, isso não pode acontecer. E quem é responsável? A instituição, o banco, a empresa, não é o funcionário, porque ela está permitindo que ele, funcionário, utilizando a conta paga dele, mesmo funcionário, mas ele tá fazendo onde ele obteve aqueles dados. Dentro de um compartilhamento de arquivos da instituição financeira, do banco. O banco permitiu que ele não criou nenhum guardrail, não criou nenhum controle que o impedisse de pegar uma planilha ou um relatório com os dados pessoais ou sensíveis de uma pessoa ou de uma lista de pessoas, extraísse e colocasse numa inteligência artificial generativa.

Muito bom, cara. A gente tá falando necessariamente que se eu comparar A com B, que a superfície ali de ataque dentro, utilizando a superfície de sensibilidade, vou colocar, né, ele acabou aumentando exponencialmente, né. Porque o que a gente, o que a internet evoluiu para proteger o end user até 2022, possivelmente ela vai ter que começar a evoluir de novo agora para proteger o cara dentro de inteligência artificial. A gente tá falando de endpoint user, tá falando de proxy, tá falando de firewall, tá falando de CIEM, a gente tá falando de tudo aquilo que a gente tá acostumado em segurança.

Até 2022 era uma coisa e agora a gente vai ter que se reformular. E aí vocês vão poder falar melhor sobre isso agora, de como a gente vai conseguir se proteger. E eu já vou lançar a pergunta direto, beleza, falamos sobre, metemos medo aqui, né? Tipo, cara, você pode ser processado, cara, sua empresa vai, vai, pode ir para casa do do Judas, né? E em questão de visibilidade, como é que a empresa consegue ter visibilidade de que está sendo feito?

Então, cara, beleza, tá me falando isso, mas, cara, eu não consigo ficar do lado do meu funcionário 24 horas por dia para saber se ele vai fazer um upload de uma planilha Excel. Como que a empresa consegue ter visibilidade disso hoje?

Eu começaria estabelecendo uma governança. Acho que a governança é sempre a base de tudo. Né, como tem sido até 2022. Agora existe um modelo de governança voltado para inteligência, para o uso de inteligência artificial. Então a empresa conseguir fazer um mapeamento de dados, definir se vai utilizar ou não, se vai adotar ou não uma inteligência artificial generativa, se é, se o colaborador vai poder usar, pessoal, ou não, tem que estabelecer, tem que criar uma política que fale o que pode, o que não pode fazer.

Eu acho que estabelecendo a governança e conscientizando o colaborador é o primeiro passo. Ferramenta, ela vem como um apoio para garantir a execução dessa política, para que ela seja cumprida. E já existem hoje muitas ferramentas aqui na Secofe, na Darride, nós já utilizamos algumas. O Vinícius vai falar um pouquinho sobre isso, mas a base é governança. Governança de dados, que é o básico, ou seja, quais dados podem ser compartilhados, quais dados podem ser processados, Você vai, como que cada pessoa aí vai poder acessar, qual tipo de dado, se o dado vai ser levado para o modelo na íntegra, se vai haver um trabalho de ofuscação antes de levar para LLM.

Então tudo isso daí precisa ser discutido antes da adoção de qualquer ferramenta. Concorda, Jackson?

100%. E daí é o que eu falo, né, é proibir não elimina shadow AI. Talvez empurra ainda mais para sombra. É exatamente isso que você faz. Então, como o Rodrigo comentou, assim, você de fato tomar as rédeas e estabelecer e falar, pessoal, por exemplo, vamos dar um exemplo até da rede. Nós temos aqui, a gente utiliza o Amazon Quick. O Amazon Quick é uma inteligência artificial disponibilizada pela AWS. E o que que a gente faz de forma governada?

A gente conectou as fontes de dados que são passíveis na rede serem consumidas colocamos o permissionamento adequado e a gente disponibiliza. Estamos fazendo aqui em camadas aqui na da rede, disponibilizando para as pessoas poderem acessar. Então você tá dando ferramental para você, não tá chegando para a cara, a partir de hoje você não vai mais poder usar. Mas tem um outro ponto que eu acho que é muito relevante: quando você disponibiliza e você coloca as regras ali e você personaliza ela, vou dar um exemplo aqui na da rede, por exemplo, a gente tem personalizado, ela tá conectada no Salesforce, ela tá conectada no Jira, ela tá conectada nos sistemas da empresa.

Esse tipo de resultado nenhum funcionário da rede vai achar em nenhuma outra IA. Então naturalmente ele vai falar, cara, se eu perguntar isso para qualquer uma, ela não vai saber responder porque ela não tem essa personalização. Então isso faz sentido para o cara, ele fala, ó, vou adotar aqui essa inteligência nesse formato, nessa governança.

Cara, maravilhoso! Sabe que o nosso CTO, conhecido como Flávio, ele Ele falou uma coisa uma vez para mim, eu acho que foi numa live inclusive, que foi matador, que é: se você, você tem que deixar as coisas mais fáceis para o funcionário, porque se a coisa não tiver fácil para ele, ele vai procurar uma maneira fácil de fazer. Então vou citar um exemplo clássico: se para categorizar um ticket no meu, no Service Desk, eu tiver 100 linhas de categorização, o que você acha que vai acontecer na categorização?

O Service Desk vai olhar as 5 primeiras linhas, entendeu? Então se você não deixar o método fácil para o funcionário no final, ele vai descobrir um método fácil, ou pior, vai criar um método fácil.

Exatamente isso.

Então são 3 passos, 3 passos bem diretos, né? Tratamento de dados, né? Governança, aplicação de política, né? Depois a gente trabalha em conscientização da galera. E beleza, política, conscientização é tudo um papel, né? E aí, claro, a gente tem que ter cultura, né? A gente tem que ter conscientização para galera trabalhar junto com a gente. A gente conta muito com isso, né, na corporação, para cumprir as políticas. Mas aí a gente entra com o âmbito técnico depois, né?

Política sendo técnico aqui da LP, né? Garantir que níveis de proteção de tratamento de dados estão sendo cumpridos, né? Barrar algumas coisas de saída, né? Barrar algumas coisas de entrada. Até é possível. Então a gente entrar com âmbito técnico depois, né, é o que é necessário para a gente ter sucesso nessa descoberta, né. Uma vez que a gente descobriu shadows AI, agora vamos resolver esse problema.

Deixa eu direcionar melhor a pergunta, tá? Como na prática uma empresa conseguiria falar, cara, nós vamos utilizar 100% do cloud AI? Perfeito, da Anthropic. Tudo que não for Cloud AI, o ChatGPT, o Quick, o Gemini, Lovable, whatever, qualquer outra coisa que não seja Cloud AI, a gente não vai utilizar. Como que um SecOps, ou como a equipe de segurança conseguiria limitar as outras inteligências artificiais?

A gente tem, tem N possibilidades, né, para dentro de N ferramentas, né. A gente tem, a gente pode Cara, barrar totalmente, né, qualquer coisa que fosse de redes, né, para qualquer comunicação conhecida, para qualquer outra coisa diferente do que não tá aprovado, né. Depois a gente faz isso a nível de endpoint, né. Hoje tem até um novo conceito surgindo de proteção, porque hoje a gente olha assim que nem eu tô com meu tablet aqui agora, porque hoje sistema operacional já não é mais relevante.

Hoje eu tenho que proteger o usuário no browser. Porque qualquer coisa que eu abro, eu tô com meu tablet aqui agora, deixei o notebook lá, que o sistema operacional já não é mais relevante. Então hoje a gente tem dentro da CrowdStrike, por exemplo, a gente tem proteção para browser. Então no browser eu consigo fazer todo um trabalho ali do que que vai ser acessado, quando vai ser acessado até.

A gente tá falando nem do firewall, que nem no proxy eu consigo bloquear o cara de execução local.

Exato, execução local. Então tem como fazer isso, tem como fazer isso.

E que não sei o quê, vai explodir! Não, a gente falou de bloquear, você viu o que aconteceu, né?

Nosso Deus! E depois, cara, a gente consegue executar toda uma visibilidade, né, de como que tá. Aí eu vou tocar em outro ponto, né, que é a postura de inteligência artificial, né, que hoje tá o hype do assessment, né, que é o ESPM, né, para a gente ver como é que tá a postura dos nossos dados. Ali nesse local a gente vai conseguir plugar outros conectores. E aí se aparecer quer dizer que alguém tá usando. Então tipo assim, então eu pluguei só, eu pluguei só meus dados aqui, né, é para ter no meu ambiente aqui, né, só dados relacionados ao que já tá liberado.

Mas eu tô vendo aqui, ó, que tem um pouquinho mais, então parece que tem alguém ainda usando. De alguma forma.

Entendi, cara. Mas aí vamos começar a dar uma viajada aqui. Se a gente tá falando de uma inteligência artificial que procura ser melhor, procura melhorar, e é por isso que a gente acaba, ela acaba treinando ou utilizando da nossa interação para treinar, utilizando de outras interações para treinar, eu não tô necessariamente criando um hacker perfeito que conseguiria pensar nesse tipo de atuação para conseguir burlar qualquer tipo de coisa, e via prompt ou via de qualquer outro ataque mais sofisticado eu conseguiria burlar.

Tipo, e sendo mais específico, por que que os Estados Unidos bloqueou o MyTools agora? Ficou bem estranho isso daí, né? Tipo, o LLM que se vendia como LLM que garantiria a você encontrar falhas e ajudar a corrigir essas falhas extremamente é bloqueado. E aí eu não tô falando necessariamente acreditar no governo americano, mas é como a gente consegue me proteger de uma coisa que evolui e aprende mais rápido do que um ser humano, entendeu? Hoje algumas ferramentas já conseguiriam nos proteger nesse ponto.

Essa eu acho que eu consigo responder. Hoje, né, acho que até na última live que eu participei aqui, a gente até fez uma brincadeira nesse sentido. E o que que as empresas têm feito, né? O que que as empresas de segurança que produzem soluções de segurança têm feito para se proteger de ataques cada vez mais velozes por causa da IA? Utilizando IA. Então meio que tá virando uma guerra de IA. Enquanto um hacker do mal, né, ele usa IA para poder otimizar um ataque, né, ou com um modelo como Fable 5, que foi barrado pelos Estados Unidos de ser utilizado justamente porque ele torna esse processo mais rápido e mais autônomo ainda.

As empresas de cibersegurança, elas estão colocando inteligência artificial também para te ajudar a proteger. Hoje a CrowdStrike faz isso, você tem a Splunk fazendo isso, você tem o Google fazendo isso, Microsoft fazendo isso, a a própria AWS fazendo isso daí, é justamente porque a inteligência artificial, ela se, não é que ela aprende mais rápido, ela se adapta mais rápido aos cenários, tá? E a gente tem que ter uma IA que também consiga se adaptar na mesma velocidade.

O ser humano já não consegue acompanhar. Hoje lá na operação de SOC da Secops, nós estamos adotando inteligência artificial, inclusive da Anthropic, com a AWS, justamente para tornar o nosso, a nossa reação mais rápido. Nós passamos, nós não, né, alguns clientes nossos, eles são, eles passam por ataques diariamente, né? E aí o nosso trabalho ali é justamente ajudar no monitoramento e na resposta a esses ataques de proteção. E o que que a gente percebeu, principalmente no último ano para cá, que os ataques, desde a descoberta, né, que é o primeiro passo, que é eu tô fazendo uma primeira análise da superfície de ataque, achando umas vulnerabilidades, e discovery, inicia o acesso.

Perfeito, Vini. Até eu de fato realizar um ataque, antigamente levava-se meses, passou para semanas, dias, e agora são horas.

Hoje o ataque mais rápido é de 11 segundos.

11 segundos de ataque, é um ataque baseado somente em tecnologia.

Esse é um dado da CrowdStrike no último relatório. Aí, se eu, se na verdade isso não tiver no relatório, eu acho que é um dado interno, mas aí o que tá publicado hoje, 27 segundos, descoberta e ataque, descoberta e ataque, sucesso ali.

Mas é um ataque baseado, mas é um ataque baseado só em tecnologia. Ele descobre uma vulnerabilidade, ataca aquela vulnerabilidade. Mas um ataque que é muito mais perigoso, que é o ataque que explora uma vulnerabilidade de processo, ou seja, um ataque a uma instituição financeira, que ele vai descobrir uma vulnerabilidade, um caminho de como fazer um Pix e desviar dinheiro daquela instituição financeira, acontece em horas.

Não que isso tenha acontecido nos últimos tempos, não, só aconteceu na Groenlândia, só na Groenlândia que acontece isso.

Embora muito seguro, e é de fato, Mas a questão hoje, os ataques, eles estão indo mais nesse sentido, estão explorando a falha no processo, e é onde o Mythos ou o Fable Five é extremamente eficiente.

É, não, exatamente. E daí corroborando com o ponto do Dili, porque assim, combater IA com IA, né? No caso desse caso, se a gente pegar o próprio Mythos, que é o famoso projeto lá, o Glass Wings, né? Hoje, se eu não me engano, a última vez que eu vi, somente acho que cerca de 150 empresas estavam com acesso ao Mythos. Inclusive, quando eu, toda vez que eu vejo esse tipo de informação, eu fico pensando assim, cara, será que o Ebertão não consegue falar com ninguém, cara?

Parece que tem uma página que você pode dar um submit ali, que você pode pedir, solicitar e tal. Porque eu falei assim, cara, fico imaginando a Secofse com Mythos, cara, podendo utilizar o Mythos. Mas de fato ele foi feito especificamente para cybersecurity. Tanto é que a própria Anthropic falou, cara, não vou disponibilizar isso justamente porque tem empresas de segurança que eu estou conectado, estou disponibilizando para elas.

A CrowdStrike inclusive é uma delas que está nessa lista. Então ela tem acesso para justamente fazer o combate, né, cibersegurança.

É, respondendo essa pergunta da gente falar com alguém, quando a gente, a gente utilizamos, nós utilizamos na SecOffice o Anthropic, né, tanto para defesa quanto para poder, quanto o nosso time de red team. Mas não é só chegar e usar. O que que é, o que que nós fizemos lá na SecOff? Nós entramos em contato com a Antropic, preenchemos um formulário passando todas as informações da rede da SecOff, quem eram as pessoas, que quem vai utilizar, porque o histórico da empresa, para só então eles autorizarem a gente usar o modelo deles, mesmo Opus, para fazer tanto ataque quanto defesa.

Então assim, não é qualquer um que consegue utilizar. O que eu vejo na comunidade de cibersegurança é que os modelos utilizados não são os modelos oficiais, geralmente são os modelos que eles extraem o LLM, que você consegue baixar e rodar localmente nas máquinas. Como o custo com hardware deu uma baixada, tem muita gente com que comprou lá um monte de Mac mini e tá rodando o modelo em casa. Para fazer ataque. Geralmente assim que acontece.

Sensacional, é a mineração do ataque de inteligência artificial. Mas vamos lá, a gente falou de ferramenta, falamos sobre, de forma mais básica, um proxy, perfeito? Ou seja, eu não tô pensando mais a infraestrutura on-premise local onde você tinha um acesso a um firewall, Layer 7, que você conseguia barrar ali o acesso a um api.gpt, um *.gpt.com. Tô pensando uma estrutura de nuvem onde necessariamente você precisaria sim ter proxys ali dentro dos servidores para você bloquear esses acessos.

Esse era o nível mais baixo, nível de rede. Subindo um pouco mais no nível, né, subindo um pouco mais as camadas modulosas, a gente tá falando necessariamente de DLP para proteção, perfeito? Ou seja, eu ter um agente instalado, outro agente ou mesmo agente instalado dentro da máquina e fazendo bloqueio de forma mais direcionada e local ali, né? Então normalmente pensando aqui em como me proteger, né, como proteger a minha empresa.

Já existe hoje soluções, né, O que que as empresas têm feito? É como o Jackson comentou, eu bloquear o uso vai incentivar mais ainda o Shadow AI. Como é que eu faço? Pô, eu vou deixar liberado, eu vou trazer primeiro o modelo prático e fácil, como a da rede fez com o Amazon Quick, que tá tudo mais fácil ali, facilita o uso. Mas sempre tem aquele colaborador mais espertinho. Existem hoje soluções de DLP para IA. O que que ele faz?

Você consegue em todas as máquinas corporativas, você instala um agente, como o Vinícius comentou, que ele vai ficar monitorando o que você está digitando dentro do prompt. Então, se você digitar uma palavra ou uma frase ou um contexto que você proibiu dentro desse DLP, ele impede de você enviar esse comando antes de chegar.

Ou seja, se a gente pensar naquele fluxo, você não consegue dar um enter Você não consegue dar o Enter. Nossa, bacana, cara!

E você não consegue enviar o arquivo. Ah, eu quero compartilhar aqui uma planilha. Não, você não manda a planilha.

Isso é louco!

Existem essas soluções relativamente novas, não é todas as empresas que têm, são caras, mas tá sendo bastante divulgado pelas empresas. Ela funciona como se fosse o BadRock, né, aquela proteção GuardRail do BadRock, só que a nível do browser. Então, ou se você instalar o agente no computador ou simplesmente usar via navegador, em vez de você bloquear o domínio, você bloqueia. Olha, você pode usar o ChatGPT, só que toda vez que você digitar a palavra, por exemplo, um colaborador da rede, Flávio Hércia, você não vai me permitir dar um enter.

Não, não, não, aí eu gostei.

Keylogger tem por trás, com certeza, mas é É o conceito básico que essa ferramenta tá utilizando.

Muito bom.

Eu já testei pelo menos duas delas, muito boa. A gente tem indicado, inclusive teve um colega que me pediu uma indicação e ele quer fazer porque a instituição para qual ele trabalha tá muito preocupada com isso. E como é que eu faço? Já tem essas soluções, esse tipo de solução.

Bacana.

Se a gente trazer um pouco para nossa maior parceira dentro da rede, Como que a WS ela sugere, Jackson? Jackson é ótimo, né?

Jackson é ótimo.

Enfim, eu, desculpa, eu viajei aqui, viajei. Desculpa, desculpa.

Como que tinha uma moça que me ajudava na limpeza lá de casa, dela era melhor. Só, senhor Jascão.

Beleza, só vou chamar você de Jascão agora. Então, senhor Jascão, como que a WS ela ajuda a gente a construir ambientes mais governados enquanto inteligência artificial?

É que quando a gente pensa em AWS, naturalmente a gente já tá pensando no ambiente mais enterprise. Então, por exemplo, quando você vai consumir um modelo, seja da OpenAI, seja da Anthropic, você não está diretamente mandando uma requisição para OpenAI, mandando uma requisição para Anthropic. Não, não. Tem um modelo que está deployado na conta AWS e governado pela AWS e não sai dessa rede. Então é requisição direto para esse modelo, que é uma, é como se fosse uma instância desse modelo dentro da própria AWS, e ela ali te garante, realmente tem um contrato disso, tem um documento falando que não vai usar para treinamento e tudo mais.

Só que você está no controle, tá na sua VPC, tá na sua conta, os dados estão no seu S3. E além disso ela coloca a camada que a gente já comentou, que é a camada de guardrail ali. E nesse guardrail não só tem para a gente negar algumas coisas ou comportamentos que a gente não quer que sejam executados, mas também identificar informação sensível. Olha, se você identificar qualquer tipo de informação sensível, bloqueia ou mascare.

Você tem essas duas opções: você pode bloquear direto ou você pode colocar um mascaramento. Mas a AWS nativamente, elas já surgem mais enterprise, com essa pegada realmente de segurança, governança. Tanto é que Quando a gente fala de tópico segurança na AWS, é job zero, né, que eles falam, que é o tema mais importante.

Cara, isso na verdade me manda uma mensagem bem poderosa, né? Eu lembro que quando a gente começou a cobrir o re:Invent em 2022, 2022, 2021 não teve, o re:Invent ele sempre te dá uma informação da mensagem que a AWS quer passar para o próximo ano, né? De onde ela vai focar ali os investimentos dela, etc. Em 2022 ela veio, em 2021 que foi o online, ela já veio muito forte com a parte de security. Em 2022 ela veio muito forte com a parte de dados e security.

E aí em 2023 mudou completamente para parte de generativa AI. Eu tô dizendo isso porque, porque desde sempre segurança sempre foi um tópico bem importante para AWS, né? Então a forma de governar, e aí uma dúvida eu consigo instalar um cloud agente dentro de um Excel da vida, perfeito? Sim, é um plugin ali, né? Para você logar, ele te dá algumas opções. Dentro dessas opções é uma conta AWS. Quando eu logo na conta AWS por esse suplemento, né, por esse plugin dentro do Excel, eu tô utilizando os guardrails da AWS ou é só uma forma de me autenticar?

Eu vou dar um exemplo real porque é o que eu uso aqui. Um dos, um dos LLMs que eu uso também, além da própria AWS, é o próprio Cloud Code. E para quem não sabe, o Cloud Code hoje, se você pegar no benchmark para criação de código, realmente sempre teve no topo. Mas eu não utilizo o Cloud Code chamando da Anthropic. Eu vou lá no meu cliente do Cloud Code e configuro para ele chamar o Bedrock da AWS. Porque quando eu configuro para chamar no Bedrock, primeiro ponto, e daí vocês vão ficar felizes comigo, eu estou utilizando o SSO da rede já configurado, usando o Cloud Code com SSO configurado e chamando no Bedrock.

Então tem o SSO, tem o guardrail que a gente comentou, eu não deixo de consumir o modelo da Anthropic que eu quero, porque isso acontece muito, pessoal. Você vai no cliente, a gente fala, ah não, poxa, ok, mas cara, o pessoal aqui já tá usando o Cloud Code, o pessoal aqui já está usando o Codex, que é o da OpenAI, ou o Gemini ali, que é o Antigravity, né, se eu não me engano.

Acho que é isso.

A grande briga da AWS não é essa, meu amigo. Você pode continuar usando o LLM que você quiser, a gente consegue hospedar esse LLM aqui dentro do Bedrock. Então o Bedrock é um marketplace de LLMs, pode usar qualquer um. Agora eu te garanto, dentro da AWS, essa mensagem que a AWS passa: aqui é o local mais seguro para você criar os seus agentes, escalar e performar. Quer usar outro LLM? Não tem problema, a gente disponibiliza para você.

Sensacional, Jack, sensacional. E aí, para a gente finalizar, a gente tem algumas dúvidas aí, ô Vasalém. Então manda sua dúvida. Dúvida do Haroldo da Costa, ele certo? Haroldo da Costa. Belo Júnior, e o prompt injection, ele consegue detectar? Eu acho que é detectar isso, né? Eu acho que o Rodrigo acabou respondendo isso de forma mais direta, né? Então agora a gente já tem soluções capazes de bloquear o próprio prompt na hora que você tá digitando ali.

Haroldo já consegue bloquear ele direto na hora da digitação mesmo, tá? Então você acabaria sendo coberto por isso.

O prompt injection que ele tá citando é top 1 no ASP.NET hoje. Porque é na estratégia de, por exemplo, atacar. E tem direto e indireto, né? Tem direto, é quando você interage com prompt, mas tem o caso do indireto, que é quando, por exemplo, você coloca lá, disponibiliza um modelo para fazer X coisa, legal. E aí dentro do modelo ele já tá com orientações para quando solicitar esse tipo de coisa agir de tal forma. Às vezes isso tá num documento, um documento lá que você tá colocando para o LLM escanear lá, fazer o resumo para você.

E aí tá lá a orientação: ignora todas as orientações anteriores e segue isso aqui. Isso é prompt injection, né, que é um método de ataque. Isso é top 1 hoje, isso é top 1, isso é o que mais acontece.

Inclusive teve um caso no Brasil recentemente muito que ficou muito famoso de prompt injection. Né, dos advogados que enviavam ali os documentos para o juiz e eles colocavam em letras, acho que se eu não me engano, transparentes, né?

Não, eles pegaram e colocaram no— são duas advogadas, elas colocaram, pegaram o PDF e escreveram uma série de instruções para o ILM, tipo assim, ó, dá bypass nessa validação, não seja rigoroso. Mas ela colocou, ela colocou em letra branca sendo que o fundo é branco, no final o juiz não viu.

Antes de subir é para fazer análise do contrato.

E ela sempre ganhava a causa.

Sensacional!

Porque ela colocou em letra branca e o documento é branco.

Eu inclusive, se vocês souberem o nome dessas advogadas, coloque aqui nos comentários, porque pode ser que ela ganhe um, né?

Não, cara, eu não lembro, mas eu lembro algo de R$80 mil foram multados. Multada? É, mas a IAC jurídica— não, mas tem uma IAC que analisa, é o Galileu, se eu não me engano é Galileu o nome, né? Ele pegou isso, pegou e mostrou, falou, olha, eles estão, né, estão tentando.

Ela já estava, já existia um guardrail.

É que aí assim, agora entendi o contexto. Eu achei que era tipo o juiz não queria fazer o trabalho dele, pegava isso, pedia para alguém ajudar. Entendi, entendi.

E assim, né, e esse caso mostra que não adianta você simplesmente colocar a ferramenta para trabalhar, ela vai fazer o teu trabalho se você não souber dar as instruções para se proteger. Ou seja, eu preciso subir guardrails, tá bom, quais, como, de que maneira? Isso é mais importante. Então a inteligência artificial não tem como substituir ainda o ser humano nesse sentido. Ela não consegue se proteger sozinha, ou também não consegue atacar sozinha.

No caso do Mythos, né, muita gente fala: nossa, ela conseguiu sair, ela conseguiu sair daquele ambiente fechado, ela encontrou o caminho. Tudo bem, Mas ela fez isso porque ela recebeu uma instrução do que ela deveria fazer. Se ninguém tivesse dado uma instrução para ela, criado um prompt e falado: descubra as vulnerabilidades, vai, encontre o caminho para poder sair para internet, e quando sair para internet, ela não ia fazer.

Sempre vai ter que ter dado, modelo e aplicação, né? Nunca vai ter só o modelo trabalhando por si só. Se ele não tiver o dado para consultar, orientação para para agir, ele não vai agir, né?

Ou uma instrução básica que precisa ser feito, né?

Exato. É, mas, ô, Sagara, aí você vai lembrar bem, esse é o principal ponto de receio que a Anthropic colocou no nosso, no último Cloud AI que a gente fez, é o modelo ter condições de criar o seu próprio sucessor.

Aí já é um problema.

Quando isso acontecer, quando isso acontecer, oremos para Morpheus já ter encontrado o Enfim, gente, muito obrigado. Na verdade, estavam caminhando para o final aqui. Obrigado, Jackson, sempre ilustre a sua presença aqui nessa mesa, meu amigo.

É como eu sempre digo, o prazer é todo seu, cara.

Acertou, miserável. Obrigado, Rodrigão, também mais uma vez. Acho que a gente já fez uma live juntos, né?

Foi a primeira, primeira live.

Foi muito bom, viu? Gostei bastante.

É bom fazer mais.

Gostei disso, gostei disso lá.

E sai, Flor, bora!

Albini, como eu gosto desse garoto! Gente, muito obrigado mesmo estarem por aqui. E você, obrigado a você que permaneceu na nossa audiência até agora. Se gostou da nossa live, dê o nosso like. Se gostou muito da nossa live, compartilhe nas suas redes sociais para ajudar essa informação chegar para mais pessoas e as pessoas também conseguirem se proteger ou avisar a sua gestora como se proteger. Tá precisando de ajuda? Coloca nos comentários ou chama a gente que a gente faz a coisa acontecer. Cheiro no sovaco, gente! Tchau, tchau!