Episódios de Mesa de Produto

Mesa de Produto #104 - Entendendo custo e retorno da IA em produto, com Isabela Chitolina

24 de agosto de 202650min
0:00 / 50:51

Neste episódio do Mesa de Produto, Raphael Farinazzo recebe Isabela Chitolina, Staff Product Manager no Mercado Livre, para falar sobre um tema desafiador: como entender custo e retorno de iniciativas de inteligência artificial em produto.

Na conversa, os dois passam por:

- Como pensar no numerador e no denominador do ROI de projetos com IA

- Monitoramento de custo de token em produtos conversacionais

- Como montar uma matriz de comparação entre modelos (custo, qualidade, latência)

- Proxies para estimar economia de horas e ganho de eficiência antes de construir

- Um projeto pessoal com transcrições de podcasts

- Um estudo recente sobre excesso de confiança em respostas geradas por IA

- Engenharia de contexto e prompt: por que "prompt grande" não é defeito

- Como explicar decisões de IA para times de negócio não técnicos

- A crítica ao estilo de escrita padrão do ChatGPT

- Estratégia como base para produto, e o que ela ensinou sobre fazer as perguntas certas

- Como founders sem visão de produto sustentável travam o crescimento

- Previsões sobre o futuro do trabalho de PM, senioridade e carga de trabalho

Se você trabalha com produto e quer entender como justificar (ou questionar) investimentos em IA com mais rigor, esse episódio é para você.

🎯 Deixe seu like e se inscreva para mais conteúdos sobre produto, IA e tecnologia.

Quer ir além da teoria e aprender a aplicar IA na prática em produto? Conheça o curso AI Product Builder da PM3.

#MesaDeProduto #ProdutoDigital #InteligenciaArtificial #ROI #GestaoDeProduto #PM3

Participantes neste episódio2
R

Raphael Farinazzo

HostCEO da PM3
I

Isabela Chitolina

ConvidadoStaff Product Manager no Mercado Livre
Assuntos6
  • Dificuldade em calcular o ROI de iniciativas de Inteligência Artificial em produtoRetorno sobre Investimento (ROI)·Custo de token·Produtos conversacionais
  • Projeção de economia de horas e custos operacionais antes da construção de soluções de IAMapeamento de processos·Gargalos em horas·Automação
  • A importância da estratégia e adaptabilidade para profissionais de produtoVisão de negócio·Produto sustentável·Autonomia·Seniorização
  • Monitoramento de custos e métricas em projetos de IA conversacionalCusto de inferência·Métricas de CX·Experiência do cliente
  • Avaliação e comparação de modelos de IA para otimização de custo e qualidadeMatriz de custo·Qualidade do modelo·Latência·Felipe BD·Antropic
  • Impacto da Inteligência Artificial na confiança e comportamento humanoFalse confidence·Pesquisadores italianos e franceses·Engenharia de contexto e prompt·ChatGPT
Transcrição120 segmentosassemblyai/universal-3-5-pro
ICIsabela Chitolina

Antes de trabalhar no Mélio, eu trabalhava numa early stage americana, numa startup lá do Vale do Silício. E quando eu cheguei na empresa, acho que o meu grande problema a ser resolvido, o CEO chegou e falou, ó, eu tenho um processo que leva 2 meses, eu quero que leve o mínimo de tempo possível. Ele não sabia qual era o mínimo de tempo e não sabia como resolver.

RFRaphael Farinazzo

2 dias.

ICIsabela Chitolina

Exato. E ele falou, aí põe o AI no máximo que você puder. Então, acho que tinha aquele viés também, sabe? E aí, acho que foi muito destrinchar o problema e foi onde eu comecei a entender o impacto das horas.

RFRaphael Farinazzo

Olá, sejam muito bem-vindos a mais um episódio do Mesa de Produtos. Eu sou Rafael Farinão, sou CEO aqui da PM3, e é um prazer ter vocês aqui com a gente. E hoje eu vou receber aqui a Isabela Quitolina, nossa grande convidada, que é a Staff Product Manager do Mercado Livre. Isa, seja muito bem-vinda.

ICIsabela Chitolina

Muito obrigada, tô muito feliz de estar aqui também.

RFRaphael Farinazzo

Maravilha. Hoje a gente vai falar sobre um tema super difícil, um tema que é o cálculo de ROI em iniciativas de inteligência artificial. A gente vai começar, na verdade, com esse tema, mas tem muitas outras coisas legais aqui pra gente discutir. E eu queria abrir já com essa pergunta, Isa: por que que é tão difícil, se é que é tão difícil, mas as pessoas têm dito que é difícil calcular ROI de iniciativas com IA, às vezes sai mais caro do que a gente imaginava, não dá nem retorno. Quais são as dificuldades que você tem enfrentado no seu dia a dia? Boa.

ICIsabela Chitolina

Não, eu acho que essa é uma métrica que tem até muita gente que não conhece assim dentro de produto. Se você perguntar para as pessoas assim o que que é ROI, como você calcula, acho que muita gente não vai saber. É uma coisa muito importante assim, é mais simples do que parece, né? Então quando você fala de ROI, é Return Over Investment, né? O seu retorno do seu investimento. Então, é muito do se tá valendo a pena o que você tá investindo pro retorno que você tá tendo.

E pra mim, acho que muitas vezes as pessoas pensam muito no numerador, né? Se eu tô aumentando receita, o que eu tô trazendo, por exemplo, se eu tô trazendo mais clientes. E eu penso muitas vezes no denominador, assim, nos meus projetos de AI, por exemplo, é quanto eu tô economizando de horas de um processo, quanto eu tô cortando de custos operacionais. Então, acho que o ROI você pode tanto diminuir o denominador quanto aumentar o numerador, né?

E é o quanto você tá fazendo aquilo lá valer a pena. Vale a pena de verdade. Então, muitas vezes eu trabalho com IA conversacional, né? Muitas vezes a gente tem que estar, na verdade a gente não tem não, a gente tá sempre monitorando os custos de inferência. Então, se nosso projeto escala ou não. Então, você vai sempre fazendo esse balanço e pra mim acho que o ROI é isso, ele é um pouco uma métrica viva, você tá sempre mexendo ali no numerador e no denominador e se você tem um ROI negativo, é ou você recalcula a rota ou é uma coisa que você fez propositalmente, né? Um investimento ali que você tá fazendo porque você precisa de alguma coisa.

RFRaphael Farinazzo

Pois é, e hoje o custo do token ainda é um pouco difícil de você estimar antecipadamente, ainda tá subsidiado, né? Vamos ver como é que vai ser quando não tiver. Mas enquanto ele está subsidiado, é difícil a gente calcular antes, né? Como é que você tem alguma maneira de prever quanto que você vai gastar de token? Porque com certeza assim, tirar horas, né, de trabalho e tal vale muito a pena, mas também tem esse custo do token.

Ainda mais no conversacional, que você tá de frente pra um cliente, que ele pode estender aquela conversa quanto tempo ele quiser. Vocês têm alguma métrica nesse sentido? Ou às vezes algum guardrail assim, se a conversa ficar muito longa, você manda o cliente bate-alvo pro cliente?

ICIsabela Chitolina

Não, essa é uma boa pergunta assim. Eu acho que a gente tem várias coisas que a gente monitora, mas é o que nem você falou, acho que produtos de conversacional é muito difícil de você controlar uma experiência comparada com a outra, né? Então, o que a gente faz é a gente tenta dar uma média de uma experiência muito boa, E assumir que vai ter outliers de pessoas que mandam, tipo, diversas mensagens. E controlar esses casos. Então, tipo, saber quem são as pessoas que estão fazendo, entender, tipo, por que que tá fazendo.

E saber que vai existir. Então, eu acho que é muito mais isso do que limitar. Porque acho que quando você limita também, você tá botando uma experiência diferente. E aí, muitas vezes, você não tá, tipo, abraçando todos os seus tipos de cliente, né? Então, acho que eu gosto de fazer desse jeito. Então, eu sou assim, eu tenho várias skills no meu Cloud Code que eu monitoro todos os dias essas métricas. Acho que de guardrail a gente tem ali de volume de conversas.

Então, tipo, qual que é o volume que a gente tá tendo por dia, qual que é o custo que a gente tá tendo daquelas conversas. E a gente bate isso com algumas outras métricas, né? Então, você vai ter dependendo do seu processo que você tiver, com AI, você vai comparar com alguma métrica que você tá batendo de custos. Uma muito famosa, né, de grandes casos é a de CX, então quanto você tá tirando de custo operacional. Então acho que sempre tem esse balanço, né, de tipo, ó, tem o meu custo de inferência da conversa, mas poderia estar tendo um custo mais alto de contato.

Então tá valendo a pena o meu investimento? Então tô sempre comparando. Então acho que pra te falar, acho que é uma métrica viva e é um investimento também em experiência, né? Então acho que se você olha pra competição dos seus produtos no geral. Você vê que tá todo mundo trabalhando com AI, botando experiências em que você tem um atendimento mais instantâneo, tipo, você também quer estar ali naquele patamar de excelência de experiência assim.

Então acho que é uma posição também para se colocar e isso traz um valor de percepção da marca além da economia que você tem.

RFRaphael Farinazzo

Pois é, você falou ali, tava falando da conversação, eu lembrei também que tem toda a escolha do modelo, né? Você já começa tendo que escolher um modelo que vai gastar, que tenha um custo-benefício bom. E aí tem outra dificuldade, eu sofro essa dificuldade todo dia, vai me acordando, surge uma coisa nova, né, surgem novos modelos, a gente quer testar e tudo mais, que tem essa dificuldade que vão surgindo novos modelos. E aí você até com a sua solução ali no ar, você vai testando novos modelos para ver custo-benefício.

Você tem algum processo de teste de novos modelos ou é mesmo não, é, coloca um aí vendo o que tá dando e a gente melhora ou piora depois assim? Não, super tem, Super tem.

ICIsabela Chitolina

E eu acho que eu aprendo muito assim também com a comunidade, né, de testes de modelos. Então, para te dar um exemplo nisso, né, eu fui no evento do Cloud Meetup que teve aqui em São Paulo recentemente. E aí teve até um convidado que você já teve aqui, que foi o Felipe BD, que hoje ele tá na Áfia. E eles falaram muito de evolves. Então, como que eles fazem isso, né? Então eles tinham tipo uma matriz de custo do modelo, de qualidade, de tempo de latência, se eu não me engano.

E eu curti muito esse framework, assim, acho que no dia a dia é basicamente isso que a gente faz, sabe? A gente faz essa comparação desses modelos, porque os modelos estão evoluindo muito, né? É absurdo, assim, tipo, acho que 4 a 6 meses que o pessoal lá do Cláudio tava falando no evento, você tem um modelo 10 vezes melhor ou 10 vezes mais barato. Então, o que a gente faz é ter esses standards, assim, de essas matrizes vivas pra ir comparando.

Mas também nunca abrir mão, né, de qualidade. Então, a gente tá sempre comparando custo com latência, com qualidade, mas a gente também tem N soluções que a gente desenvolve nós mesmos em termos de arquitetura pra você não depender de um modelo. Então, acho que na minha aula também que eu dei aqui na PM3, eu falei muito de você ser meio que provider agnóstico. Então, você fazer um design de uma solução que não importa a ferramenta que você tiver, que ela vai sobreviver e você ter N fallbacks que você precisa.

Porque o modelo pode ficar muito mais caro de um dia pra noite. E pode também ter vários problemas, né? Acho que na aula eu citei o Fable, que na época ele tinha sido derrubado. Então, se você criasse uma solução no Fable, que eu acho um pouco improvável, né? Porque é muito caro, mas se você criasse, podia derrubar. Então, acho que pra te responder, acho que sim, a gente tem. Nossa, eu gosto muito do frame do BD, que eles usaram de EVOLs.

Mas a gente tá sempre monitorando, assim. É uma avaliação difícil, né? É uma avaliação viva. E aí você toma essa decisão baseado no que você prioriza mais na época, se é latência, se é a relação de custo-qualidade.

RFRaphael Farinazzo

Sim, porque além do modelo ainda tem o esforço, né? Ainda tem a configuração toda ali do quanto que você quer extrair daquele modelo. Eu tive essa dificuldade com o Fable também quando chegou. Eu falei, nossa, que legal, vou testar. De repente todos os meus limites estavam acabando e foi muito divertido, rimos muito, os limites foram embora.

ICIsabela Chitolina

Não fiz nada.

RFRaphael Farinazzo

Pois é. Pois é, e aí tem essa dificuldade, né, de custo, mas vamos falar agora de receita ou às vezes economia, né, eficiência. Esse é um cálculo também que muitas vezes é difícil de fazer. Por exemplo, até aqui na PM3 mesmo a gente tem alguns cálculos nesse sentido. Começa a pegar, por exemplo, ah, vai economizar X horas de tantas pessoas. Eu posso usar um valor hora igual pra todo mundo, eu posso ir lá no detalhe do cálculo saber assim, não, quanto que é a hora do júnior, quanto que é a hora do pleno, a hora do sênior.

E começa a ficar às vezes mais trabalhoso de calcular. No meu caso, mais trabalhoso, porque eu tenho acesso aos dados. Às vezes, no caso de muitos PMs, não só trabalhoso como impossível, porque você não tem acesso aos dados. Vocês têm algum— você tem alguma dica, alguma proxy metric que você use nesse sentido?

ICIsabela Chitolina

Então, eu normalmente eu não entro no detalhe de valor-hora. Então, o que eu faço é, eu tenho N processos, e aí, por exemplo, tem uns custos operacionais daquele processo, né? Sei lá, se a gente usa alguma plataforma de terceiros para fazer aquilo. E eu tenho as horas totais do processo, né? Então, por exemplo, nas minhas rodadas de priorização, eu sempre olho qual é o processo mais custoso em termos de horas e em termos de custo operacional.

Normalmente é o mesmo, tá? Porque é isso, tipo, são processos grandes, né, que levam muito tempo. Então eu faço essa relação e aí eu comparo meio que hora com hora, custo operacional com custo operacional, e ver o que que é mais importante pra gente naquele momento e o que que a gente tem mais autonomia também. Porque o que acontece muitas vezes é que aquele processo demora porque ele realmente é complexo, né? Então, eu gosto de fazer assim e de trazer isso muito pro time de negócio pra eles trazerem essas proxies, né?

Então, tipo, ah, vocês estão pensando em impacto, beleza, o que que vai economizar mais do tempo de vocês? E aí eles já me trazem hoje em dia também, tipo, a gente faz junto uma matriz de Qual que é o tempo que vai demorar, qual que é o custo daquele processo e qual que é a autonomia que a gente tem, o quanto automatizável a gente acha que é. E aí eu tenho algumas soluções, por exemplo, que eu tô desenvolvendo esse trimestre que foram baseadas nisso, assim, e deu super certo.

RFRaphael Farinazzo

Isso tudo antes de desenvolver, porque a gente tava falando do depois, eu acho que agora a gente tá falando do antes, né? Porque o depois, assim, já tá no ar, você tá monitorando os custos de tokens, tá monitorando também se teve inclusive aquela eficiência que esperava. Às vezes você esperava ali tirar 40, 50, 60 horas por mês de alguém, e não tirou, né? E a pessoa tá reportando ali que tá dando problema. Ou tirou, mas o CSAT caiu também.

As pessoas detestam conversar com essa IA específica, não sei. Mas você tem também esse cálculo antes, então você consegue se prevenir. Imagino que não seja só cálculo, mas vamos começar pelo cálculo. Como é que você olha para isso e descobre, por exemplo, o que que vale a pena ser construído?

ICIsabela Chitolina

Boa. Então o que eu faço é muito mais uma projeção, né? E é muito engraçado porque na minha Tipo, antes de trabalhar com produto, eu trabalhei com estratégia e eu trabalhei com M&A. Em M&A é isso, tipo, você tem uma taxa interna de retorno e ou você bate aquela taxa ou você não faz o negócio. Então, acho que eu trago um pouco isso assim pras minhas projeções, né? Então, vou te dar um exemplo. Antes de trabalhar no Mélio, eu trabalhava numa early stage americana, numa startup lá do Vale do Silício.

E quando eu cheguei na empresa, acho que o meu grande problema ia ser resolvido se eu chegou e falou, ó, eu tenho um processo que leva 2 meses, eu quero que leve o mínimo de tempo possível. Ele não sabia qual era o mínimo do tempo e não sabia como resolver.

RFRaphael Farinazzo

2 dias.

ICIsabela Chitolina

Exato. E ele falou, aí põe o AI no máximo que você puder. Então acho que tinha aquele viés também, sabe? E aí acho que foi muito destrinchar o problema e foi onde eu comecei a entender, né, o impacto das horas. Então tipo, mapeei todo o processo, era uma consultoria de IT, então para entender quanto tempo eles demoravam para fazer esse diagnóstico. E aí a gente destrinchou passo a passo, entendeu? Onde tava os maiores gargalos em horas e onde tava o maior dinheiro.

E aí a gente viu que a gente conseguia ter um tempo mínimo ali de 2 semanas para fazer esse processo, não só com AI. Já dou esse spoiler, acho que não foi nem metade com AI.

RFRaphael Farinazzo

Tinha outras ineficiências no processo?

ICIsabela Chitolina

Super, tipo, tinha coisa que a gente resolvia com até um template de um Forms. Ah, tá, entendeu? É nesse nível.

RFRaphael Farinazzo

Nunca tinha olhado para esse processo, pelo visto.

ICIsabela Chitolina

É, eu acho que eram pessoas que, tipo assim, replicavam um processo cada vez que iam fazer, replicavam do mesmo jeito, entendeu? E aí foi muito de olhar, entender quais eram os padrões que a gente podia meio que codificar e quais eram as coisas que beleza, a gente fez algumas soluções de IA, tipo, ah, eu vou ter um interview guide, porque a gente entrevistava diversos executivos. Entreviu guide que eu ponho ali, tipo, sei lá, o LinkedIn do executivo já me dá o que que eu tenho que falar, algumas coisas nesse sentido.

Então acho que para te responder, acho que é muito de a gente faz projeções É, eu vi que a minha projeção mínima era o tempo que eu demorava pra rodar as entrevistas, naquele caso, em um Forms, que era 2 semanas. E foi exatamente isso, tipo, a gente bateu 2 semanas num processo que demorava 2 meses. Então, acho que dá pra fazer. Muitas vezes a gente não bate a projeção, né? Acho que esse foi um cenário meio atípico.

RFRaphael Farinazzo

É que esse nem tinha uma projeção.

ICIsabela Chitolina

É, esse não tinha.

RFRaphael Farinazzo

Falou, quero o mínimo que você conseguir. Ele nunca vai saber se 2 semanas era realmente o mínimo.

ICIsabela Chitolina

O mínimo ou não. Exato, mas acho que... Esse foi um caso feliz, assim, você tem casos não tão felizes e às vezes você faz e você vê que você tá gastando mais com o processo do que com a economia que você queria ter, e aí você recalcula, né?

RFRaphael Farinazzo

É, eu passei por isso recentemente na PM3, construindo também um negócio para uma automação específica, e não deu certo a minha primeira abordagem, não deu certo a segunda, e aí eu comecei a ver que assim o meu tempo tava indo embora e que aquilo já tava começando a ficar difícil de dar ROI. Como era o meu tempo e eu estava me divertindo, eu continuei fazendo até dar certo, mas Eu acho que se fosse assim, né, se eu não fosse o CEO da empresa, se eu tivesse trabalhando para uma empresa, eu acho que eu teria levantado a bandeira e falava, ó, isso aqui não tá valendo a pena, eu não tô num beco sem saída aqui.

Mas no fim das contas foi muito divertido. Que boa parte, não, mas eu falo dando risada assim, mas é verdade, o nosso trabalho ficou mais divertido mesmo com a IA, né. E além do dinheiro, desse dinheiro ou desse cálculo de ROI, tem alguma coisa que você leva? Você já priorizou algo que não era o melhor ROI, por exemplo? Na tabela, na planilha não era a melhor opção, mas falou, não, mas eu vou fazer isso aqui primeiro.

ICIsabela Chitolina

É, eu acho que depende muito. Acho que na PJ é um pouco mais difícil, que nem você falou, porque acho que tem muita mais coisa envolvida. Mas vou te dar um exemplo que eu tô fazendo na PF, que eu fiz hoje. Inclusive, eu deixei meu computador aberto ali do lado, porque ele tá rodando uma coisa muito legal. Que eu gosto muito do podcast do Lene também, Lene's Newsletter. E eles fizeram uma iniciativa, que eles fizeram um repositório com todos os transcripts do dele, tipo, de toda a história assim.

Então, se você é assinante, você tem todos. Se você não é assinante, você tem uma amostra pequena ali. Aí eu falei, ah, eu vou vir no Mestre de Produto, por que que eu não faço um repositório com os transcripts que já tem nos episódios? E aí ontem peguei, eu assinei recentemente o plano mais caro da Antropic, que te dá também muito, muita vontade de fazer coisas com um ROI não tão bom.

RFRaphael Farinazzo

Eu tô nessa.

ICIsabela Chitolina

Peguei meu Fable, botei pra rodar. Falei, ó, tá aqui a playlist do Mestre de Produto com 102 episódios. Tá aqui o repositório do Lenny, eu quero que você faça uma proxy. E tá rodando até agora, Farina. Então assim, tipo, eu já tenho ali todos os transcritos.

RFRaphael Farinazzo

Se você quiser deixar open source depois pras pessoas, pra ninguém ter que usar de novo todos esses tokens.

ICIsabela Chitolina

Exato. Não, eu queria fazer open source porque eu queria fazer de outros podcasts também, assim, fazer tipo uma skill que consegue fazer isso, né? E assim, eu dei uma testada ali, ele transcreveu super bem. Ele pega a legenda do YouTube, E aí só a legenda, não tem o rótulo das pessoas, né? Então, tipo, não tem se é você falando ou o convidado. Mas ele infere, por isso que demorou tanto tempo. Mas ficou super bom, tipo, ele inferiu muito bem.

E aí tá ali transcrevendo. Depois eu deixo open source, mas o que eu fiz, eu queria, tipo, pegar o tema da minha aula, bater com os episódios que já tiveram antes e entender o que as pessoas já tinham falado ou não. Tipo, como é uma aula sobre priorização e ROI no final do dia, teve muita gente que já falou sobre. Mas acho que me deu várias referências legais ali, sabe? De pessoas que já trouxeram, de como, tipo, trazer o problema antes de ver da solução, N coaches que já tiveram.

E acho que foi uma experiência legal. E depois eu deixo open source lá pra galera. Eu tô fazendo várias validações pra também não botar que uma pessoa falou alguma coisa que ela não falou. Mas é super divertido, né?

RFRaphael Farinazzo

Deixa um disclaimer no mínimo assim, ó, nem tudo que tá aqui foi revisado por um humano e tal.

ICIsabela Chitolina

Exato, não é um repositório da PM3, é um repositório meu.

RFRaphael Farinazzo

É seu, mas a gente gostou da ideia assim.

ICIsabela Chitolina

É, então é uma coisa que eu não faria se não tivesse AI, sabe?

RFRaphael Farinazzo

Então eu, sabe com o que que eu gastei um monte de token? Eu vou até sair rapidamente do episódio aqui, depois a gente volta, que eu quero falar de estratégia, já que vocês estão. Eu gastei um monte de token com pesquisa genealógica. Eu coloquei o Cloud Code para pesquisar documentos de imigração, imigração italiana, etc., para achar um monte de gente. Ele achou Não só ele achou, como eu fiquei maravilhado. Teve uma hora que ele chegou num site que tinha fotos dos manuscritos em latim e ele começou a decodificar aquele negócio e entendeu latim.

Eu falei, não, aí ele chegou muito além. E achou lá uma pessoa nova. Eu cheguei a 1700 e tanto da minha árvore genealógica. É um tema que me interessa bastante. Eu já tinha ela bem ampla, mas ele achou um monte de gente nova. Gastei muito token.

ICIsabela Chitolina

Mas foi tão legal.

RFRaphael Farinazzo

Mas foi tão legal.

ICIsabela Chitolina

Exato.

RFRaphael Farinazzo

Pra descobrir nome de pessoas que eu não sei nem qual era a profissão, não sei nem o que faziam, mas foi tão divertido. Não, quando eu vi ele lendo latim do negócio escrito, manuscrito de padre assim, eu falei, não, isso aqui passou de todos os limites do que eu imaginava.

ICIsabela Chitolina

Não, e é muito doido porque eu acho que entra num outro ponto que eu até trouxe na aula, que chega um ponto que fica difícil da gente validar, né? Então tem muitas coisas que a gente tem que assumir que ele tá certo ou que a gente tem que desafiar, né? E aí, por exemplo, a gente falou um pouco de false confidence na aula e saiu recentemente, acho que foi semana passada, um artigo muito legal que são de pesquisadores italianos e franceses, que eles queriam medir quantas pessoas estão dispostas a falar que elas não sabem se elas têm ajuda da AI.

E aí eles fizeram todo um setting lá pra tipo, ah, um grupo de pessoas que teria ajuda da AI e um grupo que não teria. E aí comparando, né, tipo, quanto que as pessoas, que cada uma achava que ia estar certo, quanto elas realmente estavam certas e qual que era a confiança delas nisso. E o mais legal foi que eles pegaram um modelo que tava sempre errado. E tipo assim, era um modelo que tinha um corte lá de tempo que não tinha como ele saber as perguntas.

RFRaphael Farinazzo

1.5 lá, vamos testar com esse aqui.

ICIsabela Chitolina

Era um modelo mais antigo e eles perguntavam coisas tipo referências visuais de filme, então tava sempre errado. E é umas estatísticas assim preocupantes, assim, quando as pessoas tinham ajuda de AI, é só 3% das vezes elas falavam que tipo elas achavam que elas não estavam certas. E quando elas não tinham, era 44% das vezes. Só que aí a história muda, porque o quanto elas realmente estavam certas, as pessoas que falavam que, né, não sabiam e que não usaram AI, elas estavam certas 27%.

Só que as que tiveram ajuda da AI era um terço disso, era 9%. E aí você vai olhar e para o final da curva assim, para fechar, né, com chave de ouro, eles olharam para confiança. E as pessoas que tinham ajuda da AI eram duas vezes mais confiantes de que elas estavam certas, mesmo estando três vezes menos certas. Eu falei, cara, isso é Muita vida real, assim.

RFRaphael Farinazzo

É basicamente como a gente tá vendo as pessoas se comportarem há muito tempo já.

ICIsabela Chitolina

Exato.

RFRaphael Farinazzo

Aí acho que potencializou algo que já tava latente, de certa forma. Mas sim, eu pergunto um monte de coisa pra IA. Mas é muito engenharia de contexto mesmo e de prompt. O que você coloca no seu prompt? Eu percebo isso às vezes conversando com pessoas, por exemplo, familiares, etc., que não são de tech. Principalmente pessoas que não são de tecnologia. E aí às vezes eu falo, ah, eu fiz isso aqui, perguntei tal coisa, eu tive essa interação.

Aí a pessoa fala, nossa, mas você confiou? Eu falei, confiei, porque quando eu perguntei, eu perguntei isso, isso, isso, eu dei esse limite, eu falei isso, eu expliquei esse contexto. E a pessoa, nossa, mas você explicou tudo isso para ela? Lógico, senão ela ia me dar uma resposta errada, né? E eu acho que as pessoas no geral, principalmente as pessoas leigas, ainda não têm esse entendimento de que o seu prompt é para ser grande mesmo.

Ele é para ser, não Claro que tamanho de prompt não é uma métrica, é uma métrica de vaidade, né? Não é uma métrica exatamente de estar correto ou não. Mas esse esforço de saber o que que você explica para IA para ela te dar uma boa resposta, o que que você não precisa explicar, é o mais difícil. É o mais difícil. Vou comparar, por exemplo, você vai num médico, ele, você vai lá, você tá com sintoma, ele te explica o que aconteceu, você vai contar a história da sua vida, 90% daquilo é irrelevante para o médico geralmente.

Mas se você não sabe, você fala, ah, vou contar a história da minha vida inteira, ele vai filtrar o que é relevante ou não. E com a IA, de certa forma, acho que às vezes é melhor fazer isso, né? Conta a história inteira e a IA decide o que é relevante ou não. Mas sabendo que ela tá trabalhando com aquilo que você deu, né? E acho que essa é a grande dificuldade das pessoas, pelo menos até onde eu vejo, mais comum nas pessoas leigas.

No teu trabalho, por exemplo, eu imagino que boa parte do tempo você tá interagindo com um time de tech, mas também tá interagindo às vezes com pessoas leigas. Como é que é explicar para essas pessoas o que tá acontecendo ali por trás do, né, dentro da caixa preta da IA? Você tem sentido os times de negócios, as pessoas que não têm principalmente tanta afinidade com tech, também confiantes dessa forma assim? Ah, se você falar que é com IA, a pessoa fala: e aí, já falou que é com IA, eu tô de boa. Ou você acha que a pessoa tá mais desconfiado assim?

ICIsabela Chitolina

Eu acho que tem os dois mundos assim. Eu acho que eu Eu tô num ambiente privilegiado também, porque lá no Mercado Livre a gente começou com essa grande onda de AI faz bastante tempo. Eu senti que foi assim antes de alguns outros, algumas outras empresas. Então faz bastante tempo que a gente tá bem no dia a dia, todo mundo usando. E a gente teve um push não só em produto e tech, mas também para todo mundo que é não tech usar. Então principalmente Cloud Cowork, eu acho que a galera é o que mais usa, né, o ferramenta que mais usa lá.

Mas eu acho que eu sinto que as pessoas estão tendo muito mais essa interação, né? Então, um dos casos de uso que a gente mais tem, a galera usava muito BigQuery, aí agora tem BigQuery no cloud, no code, no coworking, então começam a usar muito mais. Mas acho que eu sinto é, eu acho que é um pouco isso que você falou, eu sinto um pouco também de, tipo, claramente dá pra ver quando a pessoa tem um output de AI que ela não revisou, e aí isso eu acho mais problemático, porque Eu, por exemplo, eu tô o tempo inteiro com as minhas ferramentas, mas assim, é tipo, você faz a base e você usa.

Por exemplo, uma que eu não abro mão é o notebook LM, porque ele é muito mais, né, alucina muito menos, é muito mais confiável, tem as fontes. E aí muitas vezes eu pego a base do notebook LM e levo pros outros lugares. Tipo, eu tive que fazer um PRD sexta-feira, eu peguei, tipo, eu tenho um notebook LM pra cada um dos meus projetos. Peguei a base do notebook LM e falei, ó, eu queria fazer um PRD com tais coisas. Aí ele me deu uma base, já tinha algumas coisas meio tipo fora do que eu queria já, e terei ali e botei.

Então acho que você ter tipo um pouco do seu fundamental de coisas que você confia. Então, por exemplo, eu confio nas minhas notas das minhas reuniões, nos meus arquivos que eu coloco no meu notebook LM, da forma que o notebook LM resume. Então a minha base é muito melhor quando eu começo dali, eu passo para outros lugares, né, tipo para um cloud code da vida. Então acho que eu gosto de fazer assim. E sempre quando as pessoas mandam alguma coisa, acho que eu tento desafiar também, né?

De tipo, ah, o que que você usou de base? Tipo, quais tabelas você usou? O que que você comparou? Mas sim, acho que fica mais claro assim quando a pessoa não revisou. Acho que é um pouco óbvio. Você vê aqueles travessões grandes mostrando tudo certinho.

RFRaphael Farinazzo

Post de LinkedIn tá uma beleza, né?

ICIsabela Chitolina

Nossa Senhora!

RFRaphael Farinazzo

É o ChatGPT 90% dos casos.

ICIsabela Chitolina

É, e não é ruim, sabe? Tipo, Tá tudo bem, todo mundo vai começar com a base, mas tipo, edita, sabe?

RFRaphael Farinazzo

Ah, eu acho ruim. Eu acho o estilo ruim, assim. É, o estilo de escrita, assim.

ICIsabela Chitolina

É, você vai ficar sempre a mesma coisa, né?

RFRaphael Farinazzo

É ruim, assim. É muito formatado de um jeito...

ICIsabela Chitolina

Óbvio, né?

RFRaphael Farinazzo

Sabe aquelas oposições? Não é X, é Y, sabe? Você vê aquilo lá em site às vezes e fala, cara...

ICIsabela Chitolina

Os baits.

RFRaphael Farinazzo

Não tem como, assim. Eu acho ruim... Eu acho pobre do ponto de vista de texto mesmo. Eu sou de humanas, né? Trabalhei com copyright, trabalhei... Então eu acho muito pobre do ponto de vista de texto. Uma das coisas que eu menos uso ChatGPT é pra texto. Mas é porque é uma coisa que eu já fazia bem antes, assim. Então eu tô tranquilo de não confiar tanto no ChatGPT. Mas pra código, pra código eu sou essa pessoa. Porque eu como programador sempre fui ruim e lento.

Tanto que nunca trabalhei com isso. Aprendi a programar, mas nunca trabalhei com isso. Então o que ela me servir de código, eu vou falar, nossa, tá maravilhoso. Code review?

ICIsabela Chitolina

Vixe Maria.

RFRaphael Farinazzo

Aí você tem uma skill pra code review. Porque a IA vai revisar o código da IA. E aí agora eu tô fazendo algumas coisas com outras pessoas e tem programadores no time, né? E aí eles são mais criteriosos. Eu tenho que subir o PR, eles aprovam e tal. Então agora eu tô um pouco mais criterioso também, mas pra código eu sou essa pessoa, assim. Eu tento dar, óbvio, a gente trabalha com produto há muitos anos, a gente tem muito contexto pra dar pra IA, né?

Faz o PRD, se o seu PRD tá bom, é um PRD com bastante detalhe. Agora se a qualidade do código tá boa, eu não faço ideia.

ICIsabela Chitolina

Exato. E é difícil, né? Porque eu, por exemplo, sou noiva de uma tech manager. Minha noiva é tech manager no Nubank.

RFRaphael Farinazzo

Que codava muito tempo, assim.

ICIsabela Chitolina

É, ela era engenheira sênior e agora virou tech manager. Então assim, acho que ela coda faz mais de 10 anos. E aí ela falou que uma mudança curiosa é que você tem um volume de código muito maior e aí você tem muito mais coisa pra revisar. Então ok, né? Se você vai fazer o código com AI e revisar com AI, Mas você precisa ter um olho, exato, você precisa ter um olho de desenvolvedora.

RFRaphael Farinazzo

Como não pode?

ICIsabela Chitolina

Tô sabendo agora. É muito mais rápido, né? E aí ela fala assim que acho que mudou o gargalo, né? Então obviamente você fica mais produtivo porque é mais rápido você só revisar, mas também acho que mudou o trabalho, né? Porque você tem que revisar muito mais e você tem que fazer o código de um jeito mais inteligente, né? Tipo arquitetura que você faz o código, quando o código tá limpo e tal. Eu não sou desenvolvedora, mas Acho que a gente conversa muito.

RFRaphael Farinazzo

Chegou a aprender alguma coisa? Não, nunca mais assisti. Eu fui aprender depois de muito tempo trabalhando com tech também, muito tempo. E aí vi que não era para mim, assim, não é uma atividade prazerosa, sabe? Demora muito, assim, eu gosto de coisas mais dinâmicas, mas tem essas complicações, assim. Eu não queria deixar de falar, Isa, que você citou que você trabalhou com estratégia, né? Pô, é um tema que eu adoro. E aí eu queria começar com uma pergunta bem ampla, assim.

O que que o teu conhecimento e a tua base de estratégia te ajudaram na— não foi uma migração para produto, né? De certa forma você já trabalhava com produto antes. Não, acho que foi uma migração.

ICIsabela Chitolina

Foi uma migração, para mim foi uma migração.

RFRaphael Farinazzo

Tá, melhor ainda então. A pergunta é no que que essa base, esse embasamento todo de estratégia te ajudou quando você migrou para produto.

ICIsabela Chitolina

Legal. Não, eu acho que eu aproveito sua pergunta, acho que para ir um pouco mais fundo ainda, tipo dando um abraço aí para toda a galera que veio de cursos não convencionais para produto. Eu sou biotecnologista molecular de formação.

RFRaphael Farinazzo

Que legal!

ICIsabela Chitolina

Então eu tenho assim uma base bem diferente. Minha mãe é pesquisadora tipo há mais de 30 anos, então acho que eu cresci em laboratórios. E aí eu fui fazer faculdade nesse sentido, né? Então eu sempre fui muito da pesquisa. E aí quando eu me formei, eu me formei logo ali na pandemia, 2020, e aí tinha alguns mundos que eu podia ir sendo de um curso tão diferente quanto biotec. E era um mundo da consultoria estratégica e um mundo de trainees, assim.

Daí eu comecei no mundo de trainee, porque eu acho que era um pouco mais alcançável. Eu olhava, ainda morava no Rio Grande do Sul e tudo. Então fui fazer trainee num banco, aprendi muita coisa. Aí fui fazendo meu caminho até consultoria. Então acho que quando eu cheguei na consultoria, eu já tinha um background também diferente, né? Eu fui agregando background diferente, você vê, né, Farina? E aí eu cheguei na consultoria E acho que é um pouco uma escola assim, tipo essas consultorias grandes, né?

Eu fui da Main Company, elas te dão uma base boa de estratégia, de priorização, de sei lá, se você não sabe fazer Excel, também tem tipo bases de Excel, de modelagem, essas coisas assim.

RFRaphael Farinazzo

Você entra lá sem saber fazer Excel? É possível?

ICIsabela Chitolina

Tem gente que sim, tem gente que sim. Na minha turma tinha um médico, se eu não me engano.

RFRaphael Farinazzo

Ah, tá, é um pessoal diverso mesmo de ponto de vista de... Formação assim de última linha.

ICIsabela Chitolina

É, porque você vai no processo, tipo, você tem que fazer cases de estratégia. Então é muito mais sobre como você pensa e como você estrutura. E se você é capaz de calcular, né, você tem que fazer alguns cálculos também, algumas matemáticas de estratégia. Mas é menos sobre, tipo, se você é um magro de Excel ou não, assim.

RFRaphael Farinazzo

A ferramenta em si não impacta.

ICIsabela Chitolina

Exato, não impacta tanto. Então acho que eu entrei lá, eu tive uma grande escola, assim, eu fiz 6 projetos de estratégia no geral. E eu passei pela área de digital de lá também. Então, tipo, que teve algumas, que tem algumas áreas experts, tipo design, agile, enterprise technology e advanced analytics. E aí eu conheci o produto, eu falei, cara, é muito legal sair do PPT e botar alguma coisa em produção. E aí eu vi a diferença assim, sabe?

Mas acho que como eu tive 2 anos antes de, beleza, o que que tá antes de eu botar em produção? Tipo, como que eu chego na na coisa certa, isso me deu uma base muito grande. Isso juntou um pouco com a minha base também que eu tinha de pesquisa, de tipo, quais são as fontes certas, quais são as minhas referências, o que que já tem no mercado pra eu olhar o que eu tenho que desenvolver. Então, acho que pra te responder, pra mim, eu acho que veio muita coisa antes de produto, sabe?

Tipo, eu faço produto há 2 anos e meio, mais ou menos, e antes eu fazia pesquisa, estratégia. E eu sinto que isso me deu primeiro uma base de entender sempre o problema, E segundo, acho que de também conseguir conversar com as pessoas de negócio e de interpretar os dados. Então, muitas vezes eu não sou a pessoa que tipo vai estar gerando todos os dados possíveis ou vai saber o detalhe do dado, mas se você me manda, né, tipo um relatório, eu tenho uma equipe muito boa de dados de IT que eu trabalho, né?

E cara, eles me mandam assim 10 minutos, eu leio e eu falo, ó, tá aqui o problema, é aqui que a gente tem que focar. E acho que para mim essa base que eu tive na BEM em pesquisa faz toda a diferença. E tipo, você aprende um pouco onde você pode errar e onde você não pode errar, e o que que você tem que priorizar, fazer o 80/20.

RFRaphael Farinazzo

Que bacana! Bom, você já teve pesquisa desde a faculdade, né? A parte, esse rigor científico que é até difícil ter em produto, certo? Porque é uma ciência mais humana muitas vezes, mais do que lógica e matemática exata. A gente nunca tem certeza quando a gente lança alguma coisa se vai dar certo mesmo. A gente pode ter uma probabilidade alta ali, mas a gente nunca tem certeza. Acho que esse rigor científico é super bacana assim.

Você, o que que eu vejo assim, vou contextualizar minha pergunta, ela vem até de um lugar bem pessoal. Já conversei com muitas pessoas de produto, né, na posição que eu ocupo eu tenho essa oportunidade de falar com muita gente. E muita gente, é muito comum achar pessoas de produto dizendo assim, ah, tá difícil fazer meu trabalho porque a estratégia está errada ou porque a estratégia é ou porque não tem estratégia, ou alguma coisa assim.

E às vezes eu geralmente não falo para pessoa porque eu fico sem graça assim, mas às vezes a impressão que eu tenho é que a pessoa não entende nada de estratégia. Com todo respeito, às vezes eu tenho impressão que a pessoa tá reclamando porque ela não entendeu a estratégia, não porque tá errado ou porque tá mal feito assim. Acho que no teu caso é diferente, você consegue entender e você consegue julgar assim. Não sei se já aconteceu, não precisa citar nomes nem locais nem ninguém, mas já pegou uma estratégia e falou assim, cara, isso aqui tá errado, não importa, eu não consigo fazer milagre aqui na parte de produto, Tudo porque o trabalho prévio foi totalmente equivocado, assim.

ICIsabela Chitolina

Sim. É, e eu acho que assim, eu acho que fazendo um parênteses, né, eu acho que eu mesmo com meu background de estratégia, eu acho que às vezes eu peco também. E é muito de você iterar, né, em que você tá fazendo, que tá dando certo ou não. Eu acho que pra mim, acho que a grande escola que eu tive de produto foi logo que eu saí da Banri, eu fui pra essa startup early stage, que é caos, né, puro caos.

RFRaphael Farinazzo

Adoro early stage. Nossa, é muito legal.

ICIsabela Chitolina

É muito legal, mas é isso, eu acho que você Você pode ter, a sua experiência vai depender muito dos founders e da visão que eles têm.

RFRaphael Farinazzo

É verdade.

ICIsabela Chitolina

Entendeu? Então, por exemplo, os meus founders, eles eram pessoas que tinham vindo do mundo corporativo. Então, era um ex-VP da Cisco, se eu não me engano, e um ex-diretor da Nike. Eles tinham muito forte essa visão de negócio. Mas, cara, eles não tinham feito produto. E eu também não, entendeu? Eu acho que era essa a grande questão.

RFRaphael Farinazzo

E só tinha você de produto? Será que foi a primeira contratação?

ICIsabela Chitolina

É, eu fui a primeira de produto. Depois, a gente teve uma mera contratação de uma... Ex-graduada de Harvard, tá bom, que era minha par ali de— ela é uma PM técnica, ela ficava junto comigo. Mas eu acho que assim, eles tinham uma visão muito de negócio, de o que que ia vender, mas não uma visão tanto de como a gente desenvolve um produto sustentável. Então acho que para mim era muito isso, sabe? Tipo, eu acho que a estratégia de negócio não tava casada com a estratégia de produto, e por isso a gente não tava desenvolvendo um produto sustentável.

Então eu acho que pra mim foi ali onde a gente pecou e era muito difícil porque você... Cara, eu tinha um time de produto muito legal, eu tinha 9 pessoas debaixo de mim. Tipo designers, engenheiros, essa PM técnica de Harvard que era muito boa.

RFRaphael Farinazzo

Ela respondia pra você de Harvard. É. É isso aí, tá vendo?

ICIsabela Chitolina

Não, foi ótimo. Depois eu dei uma carta de recomendação pra ela, ela foi fazer MBA em Harvard também. Coisa pouca. Mas acho que foi uma experiência muito legal, mas acho que a gente tava sempre batendo cabeça, entendeu? Porque... Acho que era isso, a gente não tinha ali uma liderança de produto que tava disposta a investir o que precisava pra fazer um produto sustentável. Então a gente tinha dois braços, o braço de consultoria e o braço de produto.

O braço de consultoria sempre, como se fosse operações assim, sempre ganhava. Então pra mim era um pouco isso, sabe, Farina? Eu acho que eu tava entrando ali em produto, mas eu vi claramente que não era sustentável e foi por isso até que eu saí. Eu fiquei um ano lá e aí eu falei tipo, Cara, não tem como, acho que eu quero ir para um lugar que tá um pouco... Tem visões mais claras de produto, de estratégia, o que quer fazer. E que eu consigo ter um pouco mais de autonomia.

Então, acho que foi muito legal, mas é isso, você fica fadado às visões dos founders, assim.

RFRaphael Farinazzo

Eu entendo, a minha primeira tentativa de empreendedorismo em tech deu errado exatamente por causa disso. Você começa a fazer projeto, você se vicia no dinheiro do projeto, você nunca para para fazer o produto.

ICIsabela Chitolina

É isso.

RFRaphael Farinazzo

E aí, daqui a pouco você tem um monte de fork, cada coisa já não conversa, os módulos já não se conversam entre si porque você customizou um monte de coisa. Um monte de coisa. E aí a gente não conseguia mais voltar assim, porque tinha conta para pagar, tinha um monte de coisa, tinha, tinha a operação consumiu de certa forma, e a gente acabou não lançando nenhum produto assim.

ICIsabela Chitolina

Produto é caro, né? Muitas vezes você precisa investir tempo e dinheiro, e às vezes a pessoa não tá disposta, né? Tipo, então acho que é muito também do que você quer fazer a longo prazo, né? E é isso que eu te falei, ele esteja, acho que você sabe também, é diferente de uma scale-up, que é diferente de uma grande empresa.

RFRaphael Farinazzo

Então Eu gosto de early stage, eu gosto da autonomia.

ICIsabela Chitolina

Eu acho legal também.

RFRaphael Farinazzo

Mas é o que você falou, depende dos founders. Se os founders não dão autonomia, não adianta o tamanho da empresa.

ICIsabela Chitolina

Exato.

RFRaphael Farinazzo

Mas eu acho legal early stage, porque geralmente você tem... Você não tem processos definidos. E é onde eu mais gosto de trabalhar, assim. Porque realmente, quanto menor é a empresa, mais liberdade você tem de criar, de estabelecer um processo do jeito que você gostaria que fosse.

ICIsabela Chitolina

Então... E você, assim, você tem a oportunidade muitas vezes de trabalhar com times muito bons. Tipo, que nem eu te falei, eu trabalhava com essa minha PM técnica que era, tipo, genial. A gente construiu produto cheio de AI junto, tinha um designer muito bom, tinha um time de engenharia que tava na Polônia, que os caras eram muito bons também. Então assim, eu acho que você constrói coisas muito divertidas, mas acho que é difícil você tipo passar o limiar disso de quão é empolgante pro quão é sustentável.

E isso vai depender muito dos founders, da visão e do quanto você tem autonomia pra trazer isso pra eles ou não, né?

RFRaphael Farinazzo

É, eu trabalhei, cheguei a trabalhar antes do Product Market Fit. Então realmente assim, a gente não sabia nem se ia dar certo assim, se a empresa ia quebrar ou não e tal. Então, eu gosto dessa adrenalina também, eu acho divertido. Mas também já trabalhei em contexto de empresas grandes, regulares e tal, o desafio é outro, né? Bem diferente. Ainda sobre essa questão da estratégia, né? Você acha que— eu vou até reformular assim.

Você acha que isso acaba sendo hoje um superpoder seu, assim? Ou é algo... Deixa eu deixar mais claro minha pergunta. É algo que todo mundo deveria saber? Ou assim, o fato de você saber mais torna um superpoder, mas não necessariamente todo PM deveria saber disso?

ICIsabela Chitolina

Boa, né? Boa pergunta. Eu não acho que é um superpoder meu, assim, sendo bem sincera. Eu acho que eu podia inclusive tirar muito mais vantagem do que eu tiro. Acho que às vezes, como eu tô em— me sinto confortável em alguns contextos, acho que eu não invisto tanto quanto eu deveria. Então acho que fica aí esse esse disclaimer.

RFRaphael Farinazzo

Mas por quê? Porque é rápido para você, e aí você não—

ICIsabela Chitolina

é, eu acho que tipo é isso. Acho que, acho que alguns contextos a gente podia colaborar muito mais com o negócio, sabe? Então acho que às vezes a gente entra também num dia a dia de, cara, tô ali com meu time de IT, meu time de design, eu tenho que colocar isso aqui em produção. E você podia estar tipo passando um pouco mais de tempo para garantir que tá alinhado com o negócio, sabe? Então eu acho que Eu tento cada vez mais fazer isso, acho que é um dos meus investimentos que eu tô fazendo esse ano também de, putz, conectar mais todo mundo.

É muita gente, né? Então, acho que por isso às vezes fica um pouco mais difícil. Mas eu acho que tem essa vantagem pra mim que muitas vezes eu entendo os pedidos deles, sabe? Porque tem sempre essa briga entre negócio que é muito rápido e IT que é tipo mais tempo pra conseguir fazer com mais qualidade. E acho que eu consigo ali conciliar o meio termo. Então, acho que isso me dá uma vantagem, eu acho que sim. Todo mundo deveria ter uma boa base de estratégia.

Então, por exemplo, coisas que eu aprendi na banca, assim, eu levo até hoje, né? Tipo, ah, sei lá, vou focar no 20% que me dá 80% do resultado, vou, tipo, olhar para esses números de uma maneira crítica, vou fazer uma projeção do impacto. Então, acho que essas coisas para mim e a facilidade que eu tenho com dados hoje, a de interpretar dados, muito isso é de estratégia. E sim, acho que as pessoas deveriam investir um pouco nisso.

Acho que é um pouco difícil assim, acho que tem gente que não se sente tão confortável. Muitas vezes por isso que vai pra produto. Mas a parte que eu mais gosto assim, acho que é construir, sabe? Tipo, vou achar o que eu construí, tem um problema, coloquei ele em produção e putz, tá resolvendo, entendeu? E aí vou iterando, vou garantindo que tá melhor ou não. Então eu acho que, tipo, pra te falar, acho que é Difícil, acho que não é uma coisa tão natural.

Tem pessoas de produto que vêm de estratégia, que vêm de negócio ou de um outro lado. Mas acho que o mais difícil no dia a dia e pra mim o que é o superpoder assim de um ótimo PM é você equilibrar todos esses pratinhos. Então, você ser uma pessoa curiosa tecnicamente, você não precisa ser proficiente, não precisa saber codar, mas ser curiosa e conseguir desafiar seu time de IT, conseguir desafiar seu time de design e fazer esse equilíbrio.

E você conseguir trazer negócio pras discussões e equilibrar com todos os outros. Então, cara, eu acho que o PM que consegue fazer isso é o PM que sai muito na frente, assim, entendeu?

RFRaphael Farinazzo

E é um perfil tão diferente, né? Você tem às vezes pessoas completamente diferentes que são boas em equilibrar esses pratinhos porque se apoiam em algo que tem como base, né? Eu vejo por mim assim, a minha formação é marketing e tal, então essa parte de marketing, de entender o mercado, de entender o cliente, eu já tive na graduação. Ninguém precisou me falar quando eu fui trabalhar com produto, que eu tinha que ouvir o cliente, eu já sabia disso, né?

E a parte de comunicação também, eu fui redator e tal. Então eu sempre me apoiei no que eu era bom. Eu pensei assim, bom, eu sei me comunicar, eu sei entender mercado, é a parte que eu sei fazer. A parte de tech eu tive que aprender ao longo do tempo. E no fim das contas, você falou das áreas, das graduações diferentes, não sei qual a palavra que você usou, não convencionais, né? Exato, diferentonas, que vão parar em é que realmente eu trabalhei com pessoas de graduações muito diferentes.

E é curioso como as melhores pessoas que eu trabalhei assim profissionalmente de produto eram as pessoas que sabiam identificar, que tinham esse autoconhecimento assim: aqui é onde eu sei que eu mando bem, então eu vou usar isso aqui para fazer um bom trabalho. Óbvio que eu vou tentar nas outras coisas não ser ruim, mas também não adianta querer ser bom em tudo, né? Ah não, vou ser bom em dados, em estratégia, em entrevista com cliente, no qualitativo, na negociação com stakeholder?

Impossível, né? E aí a gente acaba achando muitas vezes esse superpoder. E eu brinco superpoder assim, né? Eu acho que outras pessoas usam o termo também, mas é mais nesse sentido assim, né? Como é que você se coloca de uma maneira que assim, pô, isso aqui eu sei que eu mando bem, é aqui que eu vou brilhar, não adianta eu tentar ser uma pessoa que eu não sou, né?

ICIsabela Chitolina

Total.

RFRaphael Farinazzo

Voltando para a questão agora, para a gente já, a gente tá indo infelizmente para o fim do nosso episódio. Mas eu queria fazer de volta uma pergunta ainda sobre a questão da IA, uma pergunta super difícil assim. Não tem problema se você não acertar, mas de futuro mesmo, o que que você vê de futuro que tá chegando assim, tanto para o papel das pessoas de produto quanto para o tipo de produto que a gente vai criar, para o comportamento?

Enfim, eu vou te deixar exercer sua futurologia e a gente volta aqui daqui uns 3 anos para ouvir. Para conferir, para ver se a Isa acertou, né?

ICIsabela Chitolina

Boa! Eu acho que, eu acho que é um pouco mais fácil agora porque a gente já teve N previsões e já teve várias coisas que a gente tá vendo que não são bem assim. Então uma previsão que eu acho que muita gente tinha falado, né, que diminui muito os empregos em tech. Eu acho que para mim eu vou na onda contrária assim. Eu acho que cada vez mais a gente vai ter, apesar de pessoas mais sêniores, isso sim, isso eu acho que a camada júnior tá um pouco mais na risca ali de precisa ter algum diferencial, porque você tem muitos modelos fazendo coisas que tipo um dev júnior, um PM júnior às vezes consegue fazer.

Então acho que tem que trabalhar em ter aquele diferencial que você falou, tipo sei lá, você é muito boa em estratégia, você é muito boa em marketing, você é muito boa em dados. Então acho que a seniorização pra mim é um fenômeno que tá acontecendo e que vai continuar acontecendo. Eu acho que o segundo é que A gente tá chegando em modelos muito bons, muito rápido. Então eu acho que cada vez mais, eu vou muito na linha do que o seu último convidado, o keynote da PM3, é Satin?

RFRaphael Farinazzo

O Satin Reiki.

ICIsabela Chitolina

Satin Reiki, perfeito. Que ele falou que o grande diferencial que a gente tem agora é o teste, né? É o que vale a pena construir ou não. E por isso que tipo, a gente não tá vendo uma caída nas vagas de produto. A gente tá vendo tipo, ou uma estabilização ou um aumento, né? Porque é isso, a gente precisa dessas pessoas que sabem definir o que tem que ser construído. Então, pra mim, é isso, é seniorização, é sim, acho que não vai cair vaga de PM, eu acho que a gente vai continuar tendo muito espaço, só vai precisar ter mais diferenciais de, putz, você precisa ser a pessoa que vai conseguir prototipar, que vai conseguir, tipo, entrar na base de dados ali, sei lá, conectar com BigQuery que seja, e entender as métricas do seu produto, o que que tá indo bem, o que que tá indo mal.

Você não pode ficar dependendo de times de IT mais pra isso. Então acho que também tem essa tendência de você vai precisar ter muito mais chapéus ao mesmo tempo. E acho que uma terceira que eu já tô vendo, e eu acho que também provavelmente você tá vendo, é que a gente tá cada vez mais trabalhando mais por causa da AI, que a gente consegue fazer mais coisas, mas acho que a demanda é muito maior também, né? Você tem tipo um espectro de coisas a mais e a gente obviamente tem que entregar esse Então, pra mim é muito isso, acho que seniorização, eu acho que continuidade de vagas de produto e acho que também uma carga de trabalho maior.

Teve até uma pesquisa recente do, que o Lene fez, fazendo tipo a quantidade de burnout que as pessoas estão tendo, de estresse, que isso tem aumentado com AI e principalmente pessoas que estão diretamente com isso, né? Então, designers e researchers acho que eram os que estavam mais afetados e mais estressados. E que também isso, o quanto você tava bem ou não com AI, era diretamente impactado pelo seu manager. O quanto a pessoa que tava ali, ou as pessoas que estão na sua liderança, estão influenciando, incentivando ou não que você trabalhe com isso, né?

Então, acho que é muito isso. Acho que assim, Farina, pra mim, tipo, uma previsão é isso. Seniorização, vamos ter vaga, mas assim, galera, tem que botar mais chapéu de produto, ser mais curioso e e acho que garantir que você tem um diferencial, né? Tipo, qual que é o seu diferencial?

RFRaphael Farinazzo

Sim, de certa forma a barreira de entrada ficou um pouco maior, né? E eu não sei nem se é só em produto, eu acho que em todas as carreiras isso vai acontecendo ao longo do tempo. As barreiras de entrada são sempre maiores, né? Porque tem novas descobertas e tudo mais. O que deu uma assustada geral me parece que é que ficou maior muito rápido. Nos últimos 3, 4 anos essa barreira cresceu mais rápido do que ela vinha crescendo antes.

E a gente, a gente percebe isso aqui, principalmente sendo uma empresa de cursos. A gente é a empresa que tem essa missão de preparar as pessoas para essa barreira de entrada. E aí a gente, a gente percebe isso assim, né? Mais vagas, a gente monitora, realmente não diminuiu, aumentou e vem aumentando assim com uma certa consistência. Mas mais vagas sêniores.

ICIsabela Chitolina

É isso, porque eu acho que é um pouco, é difícil, né? Porque Você precisa das pessoas sênior para revisar. Muitas vezes o nosso trabalho é de revisão do trabalho, saber para onde direcionar. E quando você é júnior, às vezes é exatamente aí que é a dificuldade, né? Tipo, você precisa de uma revisão de um sênior. Então eu acho que é isso, você botar um diferencial competitivo vai ajudar, tipo, ter essa entrada nas vagas mais júnior.

Mas acho que uma habilidade que para mim é o que fez mais diferença em toda minha carreira E é uma coisa que eu acho que tem que trabalhar e muitas vezes algumas pessoas não estão dispostas a fazer, é adaptabilidade e curiosidade. Tipo, cara, eu sou formada em biotecnologia, eu trabalhei num banco, depois trabalhei com M&A em estratégia e agora em produto. E tipo, eu não acho que você precisa de, sei lá, 10 anos de produto pra saber fazer, por exemplo, o que eu faço hoje, sabe?

Eu acho que você precisa tipo de muita determinação, muita vontade, mas são N conhecimentos, então você consegue tipo transicionar de área, você tem que estar disposto a ter curiosidade e até adaptabilidade. Então eu acho que são habilidades que eu ouço falar menos, sabia? De tipo você ter essa capacidade de transicionar, de você estar ok com a mudança e estar ok com ter um ambiente em que você vai precisar de habilidades talvez não tão tradicionais para fazer esse trabalho.

E eu acho que para mim era isso. Se eu quisesse tipo ir para uma área mais técnica, eu acho que eu sou que nem você, eu acho que ia ser um pouco mais difícil para mim, mas é possível. Então acho que para todo mundo assim que tá nessa área pensando, tipo, migrando de área, às vezes se sente mal porque tipo tem gente de produto com muito mais tempo. Acho que foi meu caso.

RFRaphael Farinazzo

E você não chegou como júnior, né? Você já migrou com senioridade, né?

ICIsabela Chitolina

Exato. Acho Eu tive a alavanca da BEM, que é ter uma credencial ali no mercado, mas eu saí da BEM, num cargo de entrada da BEM, pra trabalhar como AIPM nessa startup. Em 2 meses, como toda boa early stage, eu ganhei 9 pessoas. Então, acho que isso facilitou também. E depois eu entrei no Meli como staff. Então, acho que é um pouco isso também, tipo, você dá um pouco a cara a tapa e aprender o trabalho. E eu gosto muito, acho que produto... Não tem uma faculdade de produto, né? Então, é tipo...

RFRaphael Farinazzo

Não tem. Nem acho que faria sentido.

ICIsabela Chitolina

Exato. Então, tipo, Gente, você tem que ir. Acho que as pessoas assim, às vezes eu dou algumas mentorias e eu ouço as pessoas com muito medo, sabe? Ou de fazer a transição ou de ir para uma vaga um pouco mais sênior. E assim, acho que é o momento de, é que nem você falou, é o momento de seniorização. Então você tem que tomar mais riscos, tomar mais desafios e tomar esse espaço em produto assim. Principalmente mulheres assim que eu converso, por exemplo, várias amigas minhas que, sei lá, não negociam salário, ou vem uma vaga ali, tem 80% do que a vaga pede não vai se candidatar. Então assim, acho que eu tento sempre falar tipo, gente, vamos tentar, sabe?

RFRaphael Farinazzo

Manda bala, se candidata, deixa a empresa decidir se você é a pessoa certa ou não, né?

ICIsabela Chitolina

Perfeito. Principalmente as mulheres assim, eu não era a pessoa perfeita para essa vaga de staff PM, tenho certeza. Mas cara, tô ali, tô um ano e meio, sabe? Tipo, é uma coisa que eu curto muito fazer, então Eu acho que é um pouco de tipo desafiar também os paradigmas, sabe, em produto. E eu acho que produto é uma área que abraça um pouco isso. Então eu digo principalmente para as mulheres aí que estão ouvindo, é muita mulher me procura perguntando, e eu acho que esse é sempre o meu conselho assim, sabe, tipo tentar ter aquela confiança que muitas vezes a gente não tem.

E eu demorei muito para construir também. Eu acho que é muitas vezes isso, ter cara de pau, e tentar. Tipo, pode ser que você tenha muitos não. Eu tomei muitos nãos. Eu tentei 3 vezes até passar em consultoria. E aí é isso assim, sabe?

RFRaphael Farinazzo

Eu tomei muitos nãos também. É normal, a gente não chega onde a gente não chega longe tomando muito não, né? Tomando só sim, né? Isa, muito obrigado por estar aqui com a gente, pela sua presença, conversar. Foi um aprendizado para mim, gostei muito da nossa conversa.

ICIsabela Chitolina

Bom, eu também. Muito obrigada. E quem quiser me adicionar no LinkedIn e conversar sobre o que que a gente falou aqui, gente, fica à vontade, por favor. Tô sempre aberta.

RFRaphael Farinazzo

Perfeito. E para você que assistiu até agora, não se esqueça de deixar as suas 5 estrelinhas ali, se você estiver no Spotify, deixar o seu like no YouTube. Isso ajuda com que esse conteúdo chegue para mais pessoas, impacte mais pessoas, e ajuda também a gente a ter um feedback seu de saber que tipo de conteúdo que você gostaria de ver mais aqui no Mesa de Produto. Então, muito obrigado, um abraço e até a próxima!

Mesa de Produto #104 - Entendendo custo e retorno da IA em produto, com Isabela Chitolina | Castnews Index — Castnews Index