Como a Arquitetura Medalhão acelera a tomada de decisão nas empresas | ROQTCast #18

Olá pessoal, tudo bem? Bem-vindos a mais um Talk aqui no canal da Rocket. Eu me chamo Douglas e nesse bate-papo de hoje estou com duas feras aqui da arquitetura de dados. Vou começar com o meu lado direito aqui, Lucas Paim, engenheiro de dados. E aí, Lucão, você tá bom? Eu tô bem, e você, cara? Prazer estar aqui com vocês. Bem-vindo a esse primeiro podcast seu. Tá animado? Tô animado pra caramba, velho. Muito conhecimento pra passar. Muito, bastante. Boa.

E ao lado direito aqui, o lado esquerdo, Leonardo Pesco, também engenheiro de dados. E aí, Léo, você está bom? E aí, Lucas. Obrigado pelo convite, obrigado pela oportunidade de compartilhar um pouco de conhecimento aqui com o pessoal. É isso aí. Vamos trazer um pouco sobre arquitetura, medalhão de dados. A gente tem um tema já falando sobre arquitetura, mas é mais específico ali, como funciona, o que é, de onde veio.

mas eu gostaria de trazer quem vive isso no dia a dia, nada mais vocês dois que vivem, vivenciam muito isso, e como que as empresas são impactadas, como que a arquitetura medalhão de dados acelera ali dentro das empresas, às vezes até tecnicamente, trazendo ali a questão de consumo de dados. Vamos começar pelo básico novamente, quem não sabe o que é arquitetura de dados, o Lucas começa, ou você pode começar.

vocês vão se complementando, enfim, vamos trazendo esse conhecimento, tá? Mas vamos começar ali. O que é hoje, Lucas, ou Léo, uma arquitetura medalhão de dados para vocês? Então, Douglas, a gente sabe que hoje a arquitetura medalhão é um tema em alta, né? Inclusive, várias pessoas ouvem isso daí e não sabem muito bem o que significa.

Basicamente, a arquitetura medalhão, quando a gente se refere a isso, nada mais é do que separar uma etapa dentro do nosso projeto da organização do nosso código. Então, por exemplo, ela é separada em três camadas que nós chamamos, ou então três layers, que seria a bronze, a silver e a gold. Existem também outros conceitos que as pessoas usam para representar essas mesmas camadas. Tem gente que chama de staging intermediate refinement, staging trusted refinement, mas tudo significa a mesma coisa. Isso aqui...

é uma progressão de confiabilidade que você tem nos seus dados. Então a gente tem a nossa primeira camada sendo a bronze, em que a gente tem toda a parte da ingestão de dados, de diferentes fontes, ou seja, eles vêm cru, do jeito que estão. Você não tem lá nenhum tratamento específico nelas e daí você passa para a camada silver. Lá na silver, aí sim, você já entra com a parte de um tratamento, faz, por exemplo, uma tipagem, faz uma correção aqui e ali, das coisas que vieram da bronze, que estão erradas.

E daí você avança para uma camada gold, que muita gente fala da camada analytic, né? Que seria a camada em que, por exemplo, você utilizaria para fazer um consumo no Power BI, ou então para aplicar em um modelo de machine learning, como é assim dizendo. Então ela é aquela camada pura, que a gente fala que é a camada confiável para estar desenvolvendo aí o que vocês desejam, sendo dashboards ou então aplicação em modelos de IA.

Muito legal. E aí, Léo, esse conceito, essa prática da arquitetura medanil, ela veio da Databricks. Você sabe explicar, trazer um pouco ali por que veio disso, como que chegaram nesse... Existem outros, não sei dizer, tá, menino? Vocês são especialistas. Existem outras formas de aplicar todo esse processo de organização. Quando a gente fala de arquitetura, a gente fala de organização e estrutura. Acho que duas palavras muito boas.

Mas como que funciona um pouco dessa parte? E aí, se quiser complementar também, Léo?

Acho que o Lucas já falou bastante de todo o processo, falou bem. Acho que quando eu comecei a estudar, eu gostava de associar essas estruturas de dados e todo o meu estudo a algumas situações, algumas coisas do dia a dia para conseguir associar bem. Eu gosto de associar toda essa questão da arquitetura de dados, da estrutura medalhão, como se fosse basicamente uma cozinha. Então a gente pensa que, por exemplo...

A camada bronze seria um depósito onde ficam todos os ingredientes. Vão ter as frutas, os vegetais, os tomates podres, vão ter limpos, vão ter tudo misturado.

A prata seria basicamente o que a gente chama na cozinha de mise en place, vai ser o que o cozinheiro vai organizar ali, vai cortar, vai fatiar, rotular tudo certinho, colocar nos portas e deixar separado ali, para quem precisar usar conseguir usar de forma adequada. E a ouro seria basicamente o que o cozinheiro faz, o prato. Então, com o mesmo tipo de informação, ele vai poder fazer qualquer prato, vai poder fazer um arroz, um risoto, uma lasanha, um macarrão.

Acho que essa estrutura exemplifica muito bem como funciona o medalhão. Então, eu gosto de trazer esse exemplo para deixar claro que não é um bicho de sete cabeças. É um conceito bem lógico e que traz muitos benefícios para as empresas que buscam tentar seguir esse padrão.

Muito legal. É bom trazer analogia assim, né, Lucas? Sempre bom, cara, sempre bom, porque é a melhor maneira de você explicar pra alguém. A gente fala, muitas pessoas falam assim, né, você consegue entender uma coisa a partir do momento que você consegue simplificar ela. Eu acho que a partir da analogia, que a do Léo trouxe, eu uso também uma analogia que é a analogia do petróleo, que cai muito bem também pra explicar todos os processos envolvendo a arquitetura de dados. Mas, assim, são muitos conceitos, né, obviamente. Então, assim...

Do que a gente está falando hoje da arquitetura medalhão, mas existem vários outros conceitos aí que, claro, a questão da analogia ajuda muito. Legal. Lógico que a parte da arquitetura de dados, quando a gente fala dentro das empresas, o pessoal lá, às vezes, da operação, da gestão, dos altos cargos, eles não veem isso acontecendo.

E como que vocês transmitem isso? Porque no começo é sempre um processo de organização e estrutura. Até dentro do projeto de vocês, como que vocês transmitiam isso para os clientes entenderem que é uma etapa muito... Acho que, na minha visão, é uma das principais, porque não adianta você implementar soluções depois, seja um BI, seja lá para frente um IA, se tudo não está estruturado e organizado da melhor forma possível.

Como é que ele vai cozinhar, fazer um prato com tomate podre? Exato. Tem que estar organizado, entendeu? E como que vocês transmitem isso durante os projetos? Então, como é que funciona, né? Quando a gente tá falando aqui da arquitetura medalhão, a gente tem que ter em mente também que ela é uma das etapas de uma arquitetura total que envolve um projeto. Então, assim, a empresa opta e fala assim, poxa, eu vou utilizar a arquitetura medalhão, beleza.

Mas a gente tem toda uma outra parte da arquitetura de mapear as fontes, mapear todos os problemas antes disso. E tem também, inclusive, em um projeto que nós estamos trabalhando, que basicamente você tinha, por exemplo, os stakeholders que utilizavam os dashboards na empresa deles e eles consultavam fontes e falavam assim, Lucas, não confio naquilo que eu estou vendo aqui.

Até porque você tinha dados de várias fontes sendo estreitas, tanto de API quanto de CRM, né? E eles iam diretamente para a parte de consumo, lá no BI deles. E eles falaram assim, cara, não estou conseguindo confiar, você via muita gente procurando...

confirmar esses dados, validar eles de diversas maneiras, né? Áreas, vamos colocar assim, área de marketing, área comercial. Então, sempre ficava essa confusão, né? Na arquitetura medalhão que ela traz isso, ela traz essa organização. Entende? Então, tá passando por um processo de etapas ali em que você dá confiabilidade para as áreas de negócio, estarem pegando os dados que a gente comentou anteriormente, da camada Gold.

para estar fazendo o trabalho delas e validando de uma só fonte. E não ter aquela dor de cabeça de ficar batendo assim, poxa, esse daqui está certo, aquilo lá está certo. Entende? É, tem que estar certo ali, né? Porque chegar lá no final, na decisão, seja num dashboard, até numa planilha e aquilo está errado, não faz sentido.

É retrabalho que a gente fala, né? Sim, com certeza. E, Leandro, você tem algum caso que você queria trazer, como que você aplica? Porque a sua... A metodologia, às vezes, mas a sua forma de trazer essa clareza, você tem algum ponto específico disso? É, acho que cada um tem uma forma de lidar com isso e acaba encontrando problemas de formas diferentes e busca agravar de alguma forma. Eu vejo que tem muitos casos, como o Lucas mencionou, de...

diferentes relatórios feitos por pessoas diferentes, tentando trazer a mesma informação ou uma informação diferente e que às vezes a informação não coincide e tem essa dúvida, tem esse problema de confiança que acho que é o que a Estrutura Medalhão busca.

resolver e tratar é esse problema de confiança, né? Porque a gente não está falando de uma estrutura que vai resolver os problemas em si. É uma estrutura que busca facilitar a causa do problema, né? Então, a gente está tentando transformar todo esse processo de...

da estruturação de dados, não numa arqueologia, mas uma coisa mais metódica, a gente saber identificar e solucionar o problema de uma forma mais fácil, então acho que esse é um dos principais pontos que agregam da estrutura medalhão numa empresa. E aí a gente já partindo pro tema que é como que a arquitetura medalhão acelera, lógico que a gente vai envolver muitos temas técnicos aqui e fiquem à vontade pra falar sobre isso também.

Partindo ali para, lógico, o consumo mais rápido de informações, acelera as decisões, beleza, esses são impactos que causam, mas eu queria que vocês trouxessem ali, até técnico mesmo, como que a arquitetura do medalhão vai acelerar?

de prática. Como que é feita a questão do consumo de dados ali? Por que uma empresa precisa realmente passar por esse processo? Então, se quiser contar algum case, alguma prática mesmo, trazer uma analogia, fique à vontade também. Você trouxe a analogia de como funciona, né? Mas, e na prática? Como que isso? Então, Douglas, como é que funciona? Essa aceleração na tomada de decisões, basicamente, ela perde do princípio da agilidade.

A agilidade, vamos colocar assim, tanto técnica quanto não técnica. Então, o que eu posso trazer exemplo, seria, por exemplo, uma empresa que não possui a arquitetura medalhão aplicada no processo dela de transformação de dados, de todo o tratamento, o que você encara hoje em dia? Você extrai os dados diretamente da fonte e eles chegam lá para consumo direto, seja no Power BI, seja em algum relatório.

E aí você tem os stakeholders participando lá e analisando essas situações. E vamos supor que tem algum problema na ingestão. Ouvi a ingestão errada de algum dado, alguma coisa. Seu stakeholder está com a informação errada. Às vezes para uma apresentação ou algo do tipo. E o tempo para você identificar esse problema e saber de onde ele está vindo, essa rastreadibilidade, ou então o lineage, que é o que a gente chama.

é muito difícil de rastrear. Então você perde um tempo muito grande ali para tratar esse problema. Agora, já na arquitetura medalhônica, você tem uma progressão de confiabilidade e governança, assim dizendo, é muito mais fácil ter esse rastreamento.

E além disso, você também evita com que informações erradas vá para a camada Gold, que é a que a gente utiliza para os dashboards, e apareça lá para o seu stakeholder, às vezes numa apresentação ou então em alguma palestra que ele está dando, chega lá e puxa a informação no batch, ou às vezes no batch entre as áreas.

Então é muito interessante isso daí, inclusive teve até uma empresa em que a gente prestou serviço para ela, em que nós temos a camada medalhão, a arquitetura medalhão aplicada, e junto a isso nós realizamos testes. Então esses testes, eles são separados em camadas também, obviamente que a gente não vai...

Aqui aplicar um teste na camada bronze, porque a bronze está pegando tudo. Então, já na camada silver, a gente começa os nossos testes, teste de unicidade, teste de tipagem que a gente fala, que seria, pô, está trazendo uma informação aqui que eu queria um número inteiro, a gente evita com que venha texto, a gente consegue limitar quais são os dados que a gente quer que entrem aqui. Então, por exemplo, nessa empresa, nós tivemos lá todo o processo de ingestão dela, todo o tratamento dos dados e essas regras aplicadas. Então, vamos lá.

Teve um caso em que na manhã seguinte a gente acordou e viu que o pipeline deu erro. Deu erro lá e por que deu erro? Ele apareceu justamente aqui, olha. Nessa etapa aqui foi feita a ingestão de um dado em uma tabela que não era para ser ingerido. Então vamos colocar assim, eu tenho o armazém 1, 2 e 3, vem a ingestão de um armazém 4.

Mas daí vai lá e ele pega assim, opa, peraí, aqui só está aceitando valores armazém 1, armazém 2 e armazém 3. O armazém 4 não era para estar aqui. E daí com isso a gente conseguiu chegar no responsável lá da empresa e falar assim, olha, tentou fazer a ingestão, disso daqui está correto. E daí ele falou assim, olha, realmente está errado, foi um erro aqui dentro, um erro interno e já foi resolvendo isso daí. Então com a arquitetura medalhão a gente consegue captar esses erros junto com os testes e rapidamente rastrear de onde que veio.

Tem auditoria ali em cima. Exatamente. Então, foi um caso muito legal em que a aplicação dela deu essa agilidade, deu essa rapidez para tomada de decisão e, consequentemente, consertar esse erro. Falando de diferentes áreas, vou trazer um exemplo de comercial e marketing. São informações que se cruzam muito hoje. Qualquer erro ali vai dar problema. Exatamente. Você tem algum caso, Léo?

Eu acho que entrando nessa questão de diferentes áreas, tem muito problema relacionado a isso, principalmente quando o pessoal tenta reunir as informações em diversas áreas e quando não se tem um processo estruturado, a gente tem esse problema de tem a pessoa no comercial, tem a pessoa no financeiro, tem a pessoa no operacional, tem a pessoa no time de dados, todo mundo fazendo o seu próprio relatório e às vezes tem essa questão do...

As pessoas estão buscando as mesmas métricas, os mesmos indicadores, mas cada um tem o seu valor diferente. Então, acaba que tem esse efeito em cascata, né? Por exemplo, alguma pessoa nova entra na empresa e a pessoa vê que não está batendo as coisas, então ela tenta buscar criar um relatório novo em cima disso para tentar tirar uma prova real.

acaba tendo problema em cima de problema em cima disso e a arquitetura medaleão vai tentar resolver esse problema. É bom conseguir separar que a bronze é essa camada que tem os dados cruz e a prata, a silver, no caso, vai ter...

o que a gente chama de fato, aqueles dados são factuais. Então, a ouro vai servir basicamente como interpretação das regras de negócio. Então, a gente consegue identificar muito mais fácil o problema dessa forma por conta da diferença entre a silver e a gold. Então, pode ter problema na bronze também, mas essa aqui é a parte interessante. É muito fácil, é muito mais...

fácil de generalizar onde está o problema por conta disso. Pode ser na bronze, pode ser na prata, pode ser na ouro, mas a gente vai conseguir localizar com mais clareza por conta dessa metodologia. Muito bom. Inclusive, teve até um ponto que você falou dessa questão de inter-áreas, tanto marketing quanto comercial.

Teve caso já de eu presenciar V em códigos assim, né, que estão lá no GitHub, das pessoas utilizando, os próprios desenvolvedores lá que não seguem uma metodologia específica, de você pegar código que é da Gold misturado com o código da Silver misturado com o código da Bronze para a criação de uma tabela de um modelo.

Então, poxa, peraí, você olha e fala assim, cara, mas como é que eu vou confiar nisso daqui? Sendo que eu tô pegando uma informação de cada lugar, uma informação já tratada, com outra que tá vindo crua aqui e misturo ela em um código. Entende? Então, assim, essa separação agiliza, né? Tem a performance na responsabilidade de cada um também, dentro da empresa. Então, uma empresa que tem, por exemplo, uma equipe de dados lá pra cuidar, com essa separação de camadas da arquitetura medalhão, você também tem essa separação de responsabilidades. Então, poxa...

O engenheiro vai lá e é responsável pela ingestão dos dados na bronze. Aí, a partir da bronze para a silver, vamos colocar um cientista de dados, um analista de dados, que vai fazer as transformações. E daí lá para a gold, o que a gente tem? A gente consegue separar aqui, que eu costumo utilizar o termo de data martes. Então, assim, nós temos tanto para, por exemplo, pessoal de marketing, pessoal de comercial, pessoal de operações.

Consegue deixar separado isso daí, porque eles podem utilizar os mesmos dados, desde que estejam organizados e limpos.

Entende? Então, desde que se deixe organizados Na camada Gold, cada um vendo a sua A sua função, tendo acesso Ao seu datamart lá Isso evita esse conflito de interesses E evite com que ocorra essa bagunça Que eu comentei anteriormente De ter uma Gold e uma Silver no mesmo código Entende?

Legal. Trazendo um cenário de grande volume de dados, eu penso assim, né? Porque a gente viu a era de, todo dia, muitas informações. Vocês tratam problemas de casos onde vocês atuam de empresas que geram milhares de informações.

E como que a arquitetura medelhão se comporta nesse cenário? Pô, pessoal, Rocket, a minha empresa tem muita informação. Será que a arquitetura medelhão é a melhor? Ela vai aguentar? Ela é o cenário ideal? Como que vocês tratam esse cenário? Então, Douglas, para uma empresa que deseja...

nada a entrar nesse mundo de dados é aquilo que eu comentei, né? A parte da arquitetura medalhão, ela é uma das etapas, entende? Então vamos falar assim, poxa, preciso da Rocket aqui, preciso, quero mudar a minha arquitetura. Então beleza, a gente tem vários pontos, nós mapeamos problemas, mapeamos como a infraestrutura atual, se existe alguma, como que é feita a ingestão.

quais são os canais que vocês querem utilizar. Faz todo o diagnóstico. Isso, todo o diagnóstico. Faz esse mapeamento e a gente, a partir disso, a gente, claro, sempre comunicação com o cliente. Às vezes a pessoa pode chegar na gente falando assim, olha, eu quero arquitetura medalhona, ainda mais por dar um tema em alto e tudo mais. Às vezes fala sem saber e às vezes para a pessoa também não é o necessário. Às vezes existem outros tipos que a gente tem além da arquitetura medalhão.

E a gente faz todo esse diagnóstico. A partir do momento que a gente fala com o cliente, ele fala, a gente chega na conclusão de que sim, a arquitetura medalhão é o importante para eles, é o que vai solucionar os problemas, a gente já tem todo o restante, né? Desde a ingestão mapeado e feita a arquitetura limpa para ter essa visão dele, né? Então, o que eu diria assim, não é somente a quero e não quero, não é uma questão de escolha. Ela entra junto em uma arquitetura geral, né? Não somente por ela.

Legal, e aí Léo? Eu acho que o Lucas falou bem, o processo de iniciar uma arquitetura medalhada numa empresa, acho que ele é bem um processo reverso, o pessoal, acho que o ideal é começar com essa mapeação, investigação, entrevistas com as áreas, tentar buscar quais são os problemas primeiro, que a gente possa sanar e, através disso, aí sim, começar a estruturar todo o processo, em vez de tentar fazer o processo em branco.

e adequar toda a empresa a ele, acho que o importante é realmente buscar, descobrir quais são os problemas, onde sangra mais na empresa, e resolver esses problemas primeiros, até porque a estrutura medalhão não precisa estar totalmente completa para começar a resultar em melhoras na empresa.

Só a introdução de alguns parcial da estrutura medalhão na empresa já facilita muito o processo como um todo, já melhora muito o fluxo de trabalho do pessoal. Então, é um processo que tem muito a agregar, com certeza. A arquitetura medalhão foi proposta pela, uma modelagem proposta pela Databricks. A pergunta é, ela só funciona com Databricks ou ela funciona com algum outro tipo de ferramenta que tenha tratamento de dados?

Então, a gente fala assim, essa arquitetura medalhão, a gente trabalha muito com conceito na engenharia. Então, não se aplica exclusivamente à Databricks. Ela veio do Databricks, sim, até porque nós temos, trazendo outros conceitos aqui, por exemplo, a gente tem o conceito de Data Lake. O que seria esse Data Lake? Que muita gente fala que é um pântano. Data Lake é basicamente você aceitar tudo, vir tudo, qualquer tipo de fonte de dados, fonte de ingestão, você aceita esses dados e daí você manda...

para as camadas analytics já direto, para eles estarem trabalhando lá, sem tratamento. E daí, com isso foi passando o tempo, veio o conceito de data warehouse, que daí sim já é um conceito mais avançado, que seria o que, poxa, eu vou... Eu não aceito todos os tipos de dados que vêm da ingestão, mas é um centro organizado onde eu faço esse tratamento tudo e daí envio...

para tanta questão analítica de dashboard, quanto então para o modelo de IA. E daí a Databricks veio com o que a gente chama hoje da mais moderna que tem, que é a Lakehouse, que junta os melhores dos dois. Então a gente tem tantas características do Data Lake, que seria essa questão de aceitar todo tipo de ingestão de dados, seja ele...

A gente conversa que hoje em dia a gente tem arquivos TXT, a gente tem arquivos de Excel. Ah, de PDF. Mas indo um pouco mais a fundo, nós temos arquivos Parquet, nós temos arquivos Avro, nós temos arquivos JSON, que daí já trabalha nessa questão mais técnica. Então nós aceitamos todo esse tipo de dados, fazemos o tratamento num repositório centralizado e daí sim é disponível.

para consumo. E daí por isso que surgiu o Lake House, nesse sentido. E a aplicabilidade da arquitetura medalhão se encaixa muito bem com esse tipo. Seria a separação das camadas de bronze, silver e gold. Mas claro, não se aplica somente na arquitetura medalhão ou Databricks. A gente tem casos, por exemplo, de utilizar arquitetura medalhão em projetos com DBT e Airflow, que seriam outros tipos de ferramentas que nós utilizamos para a ingestão, todos os controles de dados.

E questão de performance, ele é o melhor conceito de consumo de dados de performance? Quando precisar ali, seja atualizar uma tabela, inserção nova de dados, ele é o melhor conceito hoje? Como que vocês se posicionam disso?

Hoje eu vejo que ele é o melhor conceito pra você utilizar, entende por quê? É porque depende da tecnologia também, né? Sim, exatamente, né? Não vou falar assim às vezes eu falo aqui, pô, é o melhor conceito e as pessoas falam assim, não, quero agora, né? Quero mudar isso daqui, mas não, né? Como a gente tá abordando aqui a arquitetura medalhão, né? Falando sobre essa questão da performance.

A gente tem, inclusive, a questão de pipelines, que nós fazemos o controle. Então, por exemplo, nós temos lá na camada bronze, roda o pipeline, faz uma atualização, consigo programar para quando eu quero atualizar ela. Então, pô, vou fazer fora de um horário comercial, faço a ingestão. Quando eu vou chegar para trabalhar, já tenho os arquivos novos. Nós temos também a opção de que é muito utilizado, que seria o modelo incremental da ingestão dos dados. Então, eu não preciso estar rodando.

Toda a tabela, ela toda De uma única vez, entende? Eu consigo pegar as partes Só que fez alteração? Como que funciona isso aí, Léo?

Então, como o Lucas falou, o processo, em vez de a gente ter que recomeçar tudo a partir do zero, e às vezes a gente vai rodar essa pipeline e vai demorar o que? 40, 50, uma hora, às vezes. A gente só faz a atualização incremental, que é esse processo de incluir somente a informação que se alterou de um dia para o outro. Esse é um processo que é muito interessante em instituição financeira, que tem movimentações...

Para cada pessoa a gente tem transações e todo esse processo que às vezes muda de segundo a segundo, de valorização, de rendimento de alguma coisa. Então é um processo que, principalmente em instituições financeiras, eu vejo que é muito importante adquirir esse processo porque...

Se não, quanto mais tempo passa, mais demorado vai ser a atualização de tudo. O segmento dessa pipeline. Por conta de... O processo é muito complexo, muito grande. É um volume de dados muito grande. Imagina atualizar tudo? Exatamente. Ia cair o banco.

Não sei. Não, nem rodas. Acho que nem roda, né? Não, eu tive a primeira vez mexendo com dados nas instituições financeiras de exportar movimentações financeiras e pela primeira vez eu tentar carregar uma tabela no Excel e encontrar limite de linha no Excel. Nunca tinha visto isso na minha vida. Caraca. Qual que é o limite de linha no Excel? Nossa. É, não é um milhão, né? Mais de milhões. Cara, você encontrou isso.

É uma movimentação de cartão de crédito, por exemplo, de uma pessoa do começo da passagem dela da instituição financeira até hoje, vai provavelmente chegar nesse limite. Não pode, né? É muita coisa. Então, imagina ter que ficar atualizando isso toda vez, né? Então, por isso que é ideal essa atualização incrementar para só adequar o que foi mudado de um dia para o outro e buscar essa divergência e alterar somente em cima disso.

Legal, legal. A Rocket atua com um apoio pra uma empresa, às vezes, que já tem equipe de dados, né? E já teve casos, assim, que vocês pegaram de cultura, assim, de organização de informações que o pessoal tá fazendo cagada ou tá numa linha que não é o certo, assim, você comentou dessa, do...

Do limite. Tem caso disso aí? Cara, tem caso e caso, velho. Caso e caso, ainda mais uma equipe de dados assim, por exemplo. Teve um caso em que você conseguia, né? Assim, eu digo claro, tinha um certo nível de segurança ali, mas por exemplo eu que tava operando no projeto, eu conseguia ter acesso ao e-mail e senha, por exemplo, de usuários assim, por falta de uma codificação, de um hash. Meu Deus.

Isso daí tava na camada gold deles, na camada de consumo. Então, assim, tem essa questão de vazamento de dados, inclusive, que a gente vira e mexe e sempre aparece notícia dessas big tests que a gente fala, Apple, Meta... Vaza milhões de dados. Vaza milhões de dados, justamente. Então, assim, é um processo que... E onde que tá o problema exato? Tá porque tá na camada gold? Cara, não especificamente o problema é da camada gold, entende? É o processo que você toma durante o tratamento.

Porque basicamente quem está cuidando da estrutura toda é a pessoa responsável pelos dados. Então ela tem que ter o cuidado de garantir, por exemplo, uma confiabilidade que nem da LGPD, por exemplo, Lei Geral de Proteção de Dados.

de não expor, por exemplo, informações sensíveis, que são julgadas sensíveis. Então, tudo isso daí, claro, tem falhas, não tem como ser 100% perfeito, mas tem como mitigar muito desses problemas que acontecem. Tem vazamento de valores, vazamento de contratos, que as empresas têm...

não vou nem pegar as big techs, mas empresas de médio port, pequeno port, às vezes vazamento de projeto, vazamento de informação, de, por exemplo, uma pessoa lá de dentro pega, às vezes, pessoas da própria empresa, né? Você vê, pega, tira print de alguma coisa, tira uma foto ali e vaza o dado. Por quê? Poxa, ela está tendo acesso a algo que ela não deveria ter dentro da gold lá. Entende? Então, essas questões de permissão, as questões de acesso, de usuário, tudo isso daí envolve a questão de governança também, que a gente tem que conseguir identificar mais rápido.

Eu acho que isso atrela um pouco a arquitetura, o medalhão, na questão também da permissão de enxergar esses dados. Eu tenho de exemplo ter trabalhado em alguns lugares, instituições financeiras que, por exemplo, eu tinha acesso aos dados de crédito do cliente e conseguia, por exemplo, enxergar cartão de crédito, data de vencimento e código de segurança.

Imagina você é uma pessoa mal intencionada com acesso a isso. Uma lista de muita gente, assim, com todas as informações que você precisa para... O cara fica com ódio da empresa, vaza tudo isso aí. Não é uma coisa que todo mundo deveria ter acesso. O Rob pede resgate, acontece? É um processo que tem que estar adequado na questão de permissões também. Então, por isso que é muito importante também adequar toda essa estrutura para isso.

É, governança é um dos principais estágios ali do que a arquitetura resolve, né? Sim. É, eu lembrei do caso da ferramenta nova que a Cloud está segurando para lançar, que é o Mythos, né? É Mythos? Os caras falam que a ferramenta vai invadir sistemas em segundos, minutos, vai expor muita coisa, cara. E olha só o nível de segurança que está hoje. Olha o tanto de informação vazada.

Então, as pessoas, né, gestores da empresa precisam se preocupar. Esses dois cenários que vocês falaram é gravíssimo, ainda mais tratando de serviço financeiro.

Sim, são coisas simples de se resolver Entende? Coisas simples que às vezes A pessoa acaba não dando tanta importância Até acontecer Até acontecer Então claro, ter uma estrutura de dados organizada Aqui eu não estou falando somente da arquitetura medalhão Mas assim, ter uma estrutura de dados organizada Ter um planejamento Ter um controle de acesso Tanto do time de dados Quanto dos consumidores finais

que é o pessoal lá do marketing, do comercial, de operações, isso demitiga muito os problemas. Nesse que a gente vê, que a gente não precisa ser uma empresa que nem Apple, Facebook, para ter dado vazado. Isso daí acontece aqui dentro de casa. Então, assim, ter essa preocupação em ter uma segurança, em ter um controle melhor, tudo isso envolve uma arquitetura bem planejada de como seus dados trafegam entre as empresas, entre as áreas dentro da sua empresa.

Legal. E vocês como engenheiro e arquiteto de dados, o processo de organização e estrutura, ela sempre acontece num começo de projeto ou é algo contínuo na visão de vocês? Porque assim, fez ali a organização, passa para consumo, beleza. Aquilo ali já é o final, há melhoras, como que vocês atuam dentro dessas etapas hoje?

Então eu acho que ainda assim O mais importante de tudo Pra quem tá começando, uma empresa que quer começar nessa parte É não querer abraçar tudo Entende? Então assim, poxa Não tenho uma arquitetura de dados hoje Não tenho

um modelo a ser seguido aqui, quero iniciar nisso daí, que a gente chama muito de cultura data-driven, que é uma cultura orientada a dados. Então, poxa, beleza, vamos implementar isso na empresa, vamos começar onde, que nem a gente citou aquele ponto, começa com o mapeamento de tudo que a gente tem, monta a arquitetura, vamos começar fazendo a ingestão aqui e montar um modelo analítico para vocês fazerem na parte do comercial.

Então, a gente começa do zero, claro, se a empresa já tiver algo, a gente entra para melhorar isso daí.

E é um aprimoramento contínuo, que nem eu falo. Poxa, a empresa já desenvolveu uma maturidade ali de entender como que essas questões de camadas, como que trabalha o time do comercial, do marketing, como consumidor final. Beleza, estamos com os dashboards aqui. Vamos ampliar a gama de dashboards. Vamos fazer, por exemplo, uma tabela agregada aqui para trazer informações inter-áreas. Então, assim, trazer comercial junto com marketing. E com isso, a maturidade da empresa vai crescendo também.

E aí, poxa, qual o próximo passo? Vamos implementar aqui um modelo de A, vamos treinar um modelo de Machine Learning aqui para extrair dados também, fazer relatórios. Entende? Então tudo é assim, é uma melhoria contínua que vai se desenvolvendo. E claro, como a gente...

falando aqui de tecnologia, as coisas vão evoluindo. Então não tem como aplicar uma arquitetura de dados numa empresa e daqui 10 anos ela se manter a mesma, entende? Sempre tem coisa que vai atualizando e isso daí faz parte. Mas consequentemente, aquilo que eu expliquei, a cultura deles vai se adequando à orientação a dados. Legal, legal. Então com isso a gente consegue evoluindo cada vez mais.

Gostei do ponto que você tocou relacionado à questão de AI e Machine Learning, que são próximos passos pós-BI. O BI a gente vai ver passado, LLMs e AI a gente vai ver predições. E não adianta, né, Léo? Acho que a gente sempre vai bater na mesma tecla que dentro da Rocket, de empresas que querem ficar investindo em AI, mas não tem um nino, porque se a informação está burra ali, a AI vai responder de uma forma burra.

É básico, né? Sim, tem essa questão de que a gente, para ter o acesso a essas novas tecnologias, novas ferramentas, o ideal é a gente ter todo esse processo estruturado de forma adequada, para a gente não ter o que a gente chama de alucinações, todos esses problemas relacionados à informação indevida que chega no modelo de machine learning, no modelo de inteligência artificial.

A gente pode tentar, por exemplo, uma coisa que é muito mágica nas empresas, que são esses chatbots que, poxa, quanto que foi o rendimento de tal dia, de tal ano, de tal cliente, e a informação chega lá. Então, como a gente faz para garantir que essa informação está certa, que a gente possa confiar nessa resposta? Então, tudo isso vem dessa estrutura, da estruturação, da arquitetura medalhão, sendo uma dessas opções para...

garantir que essa informação não venha de forma indevida para o funcionário ou para o cliente. Pode talvez oferecer como uma ferramenta de acesso para o cliente da empresa, verificar alguma questão que ela deseja. Então, tem muitos casos, por exemplo, não consigo lembrar qual empresa agora, mas lembro que tinha um pessoal que estava conversando com um assistente virtual do...

de alguma empresa e fazendo perguntas como se fosse o chat de IPT porque não estava gastando crédito lá, então era de graça. O pessoal não adequou direito o sistema do que é responder e só filtrar para coisas relacionadas à empresa, então o pessoal estava usando lá basicamente uma prêmio de graça no assente vital da empresa. Que loucura, cara. Tem essa parte da estruturação de todo esse processo para garantir que não delire a experiência de tudo.

Eu levei do caso do cara que conseguiu comprar um carro com inteligência artificial por 5 dólares. Acho que era 50 mil dólares o carro. O cara conseguiu comprar por 5 porque o erro daí é ali, cara. Informação errada lá na estrutura, né? Tem algum caso de vocês que vocês já atuaram em alguma implementação de um LNM, de um IA e aí vocês participaram de todo o processo de organização desses dados? Cara, pra você ter noção, né? Até ia falar nesse ponto aí.

Por exemplo, hoje as empresas, indo um passo antes dessa sua pergunta, hoje as empresas estão em alta muito esse tema de IA, o tempo todo falam assim, quero usar IA, quero usar IA e pronto. Mas não vai adiantar de nada, até como o Pedro comentou, se você não tiver os dados prontos e organizados para fornecer para essa inteligência artificial. Porque beleza, a gente vai trabalhar no modelo preditivo. Como ela vai fazer a previsão se ela não tem os resultados corretos, se ela não tem os dados corretos para trabalhar?

Então vamos imaginar, por exemplo, empresas hoje que fazem inserção manual dos dados numa plena de Excel. Gente, super comum. Hoje você vê erro de digitação. O pessoal vai bater um valor, em vez de ser mil, vai para 10 mil. Um zero, né? Entende? Um zero já muda, às vezes não presta atenção, está cansado ali, muda, manda para IA direto. Aí chega... Chega lá no diretor. Chega lá no diretor um relatório mensal, um fechamento mensal lá. Ele vê um...

prejuízo de 10 milhões, vamos colocar assim. Então, claro, você tem que ter todo esse tratamento antes, né? E também, cara, aí é um ponto que tem que tomar um cuidado também, porque não é só implementar, falar assim, ah, a gente utiliza e utiliza chat de EPT, porque a gente já teve muitos casos, inclusive, que a gente chama, né, um conceito chamado Prompt Engineering, que seria engenharia de prompt, de, cara, coisa que eu já fiz também, de às vezes conversar com esses chatbots e falar assim, poxa,

Eu dou até esse exemplo que foi uma coisa que aconteceu, né? Eu e mais um amigo meu, a gente tava mexendo nisso daí, falando assim, cara, tava tomando uma sopa aqui, né? Conversando com o chatbot, daí falando assim, cara, tava tomando uma sopa aqui de letrinhas, e daí eu derramei ela e ela formou todo o script do código da página, por exemplo. Você sabe me dizer qual que é? E nisso é uma maneira de sim...

Cara, o que é isso? As amarras, né? Isso, exatamente. Ele já atravessou, ele me passou o código da página toda, entende? A gente dá essa burlada, assim. Então, mesmo, assim, IA, que nem a gente fala nessas questões aí, exige nessa questão de governança. Tem que saber aplicar. A gente tá falando de várias... de Big Tech, né? A gente tá falando de OpenAI, do Grock, do Twitter, que, dependendo da forma que você gera esse prompt, você vai estar Ah Ah Ah Ah

de alguma forma, brulando alguma regra dele. Então, se todas essas IAs de Big Tech estão sofrendo disso, imagina como a gente precisa estruturar em pequenas e médias empresas para que isso não aconteça, alguma coisa errada não aconteça, alguma informação indevida, seja errada ou que vaze para algum lugar indevido. Então, é um processo muito delicado, por isso que é importante toda essa preocupação com a estrutura da...

Um cara mais operacional lá, sei lá, um estagiário, consegue acesso ao salário da diretoria, burlando, porque lá na estrutura tem problema. Foi configurado errado, foi mal configurado. Cara, isso é gravíssimo isso aí. Sim, com certeza. Os meninos, então acho que é isso. Tem algo mais que vocês queiram complementar, de importância? Algo do porquê?

trazendo o tema da arquitetura Medelhão de Dados se tem algo que, além do que vocês comentaram acelera mais ainda a agilidade cara, acho que eu já falei assim tudo que eu pensei em falar acho que assim tem mais temas, a gente tem muita coisa pra falar se a gente for ficar conversando aqui, vai pra 5, 6 horas de gravação então tipo assim dá pra trazer outros temas, mas arquitetura Medelhão acho que foi uma abordagem boa mas

Você falou do Engenharia de Prompt também, um tema muito legal. As pessoas têm dificuldade com isso, como que isso se gera, né? Mas por que lá atrás também? Não, eu quero muito tempo. Acho que a mensagem que fica é essa, que o Arquitetura Medalhão não é uma coisa que vai resolver todos os seus problemas, né? Ela vai...

facilitar a investigação e tornar mais metódico todo o processo da auditoria, que é o que a gente sofre num processo que não está estruturado. Por isso que eu falei de arqueologia, a gente tem que sair cavando dentro do código que vai de bronze a gold e descobrir qual é a vírgula que está errada, qual é o filtro que está errado, qual o join que duplicou os resultados.

Isso que é o processo da estrutura Medalhão é buscar facilitar A investigação, acho que é isso que Que é O importante de entender aqui Governância e auditoria, né? Acho que é um Um dos pontos principais que falta Muita atenção hoje dentro das empresas, né? Não tem, cara, tem empresa que Não tem e é gravíssimo isso É daí que saem os erros, a maioria dos erros É, aí vai, alguém vai ser O culpado, quem vai ser o culpado? É O culpado, quem vai ser o culpado?

Alguém vai ser ocupado. Alguém vai ser ocupado ali dentro. Então é isso aí. Fechou. Obrigado, Lucas. Valeu, Léo. Valeu, Douglas. É isso aí, pessoal. Se você gostou desse talk, não se esqueça de deixar seu like, deixar seu comentário, se inscrever para receber. Temos conteúdo novos todas as semanas, tanto no YouTube quanto no Spotify também. Grande abraço e nos vemos no próximo vídeo. Tchau. Tchau, tchau.