Episódios de Building The Future - AI Portugal Podcast

Local Model — Running Local Models and Preparing Companies for AI

25 de junho de 20261h1min
0:00 / 1:01:37

Imaginem que a vossa empresa quer usar inteligência artificial — não como experiência, mas a sério, em produção, todos os dias. A primeira reação é chamar a API do ChatGPT ou do Claude e pronto, está feito. Mas rapidamente surgem as perguntas difíceis: e os nossos dados confidenciais, vão para servidores americanos? E se a API ficar offline? Quanto é que isto nos vai custar quando escalarmos para milhares de utilizadores? E o RGPD? É aqui que entra o conceito de Harness Engineering — a engenharia de preparar, construir e operar a infraestrutura que permite às empresas verdadeiramente dominar a IA. Não basta ter acesso a modelos; é preciso saber montá-los localmente, otimizá-los, monitorizá-los e preparar a organização inteira para esta transformação. Hoje, com modelos open-source como o LLaMA, Mistral e Qwen a atingir qualidade comparável ao GPT-4, com frameworks como o Ollama e o vLLM a simplificar tudo, e com hardware cada vez mais acessível, as empresas têm pela primeira vez um caminho realista para ter IA soberana, privada e economicamente viável. Vamos explorar como.

AI News:

José António Silva:

Vitor Santos:

Marco Silva:

Email us at podcast@buildingthefuture.pt

Produção:

Beatriz Herrera Gonzalez - ⁠https://www.linkedin.com/in/⁠beahgonzalez/

Hosts:

Marco António Silva: ⁠https://www.linkedin.com/in/marconsilva/⁠

José António Silva: ⁠https://www.linkedin.com/in/canoas/_⁠

Vitor Santos: https://www.linkedin.com/in/vitor-santos-ab87662/

Local Model — Running Local Models and Preparing Companies for AI | Castnews Index — Castnews Index