← Back to search

302: Desenvolvendo o LMF3 e a família de modelos d1, com Fernando Fernandes (Liquid AI)

IA Sob Controle - Inteligência Artificial · 2026-11-11 · 56 min
relevance 62 9990 words Episode page ↗ Audio ↗
Show full episode description
Nesta semana, recebemos novamente Fernando Fernandes, pesquisador da Liquid AI, para conversar sobre os bastidores do treinamento da família LFM3, os desafios de criar modelos pequenos para rodar em celulares e computadores, e o avanço dos modelos de decisão em aplicações que exigem respostas rápidas. ⁠⁠Marcus Mendes⁠⁠ , host sob controle ⁠⁠Fabrício Carraro⁠⁠ , co-host sob controle, AI Specialist da Alura, ⁠⁠autor de IA⁠⁠ e host do podcast Carreira Sem Fronteiras Fernando Fernandes Neto , pesquisador na Liquid AI Links: IA Sob Controle com Fernando Fernandes: Como modelos pequenos podem competir com gigantes Apresentação da família LFM3 e detalhes de arquitetura e treinamento LFM3-Omni-2B no Hugging Face Model card do LFM3-1.7B Parceria entre Liquid AI e Qualcomm para IA em dispositivos Snapdragon Datology, empresa citada na discussão sobre dados de treinamento Eney, assistente de IA da MacPaw Coleção de modelos LFM3 no Hugging Face Console e acesso à API da Liquid AI Playground da Liquid AI Hermes Agent no GitHub Pi, agente de programação citado na conversa Estudo Direct Preference Optimization: Your Language Model is Secretly a Reward Model IA Sob Controle com Rafael Rafailov, coautor do estudo sobre DPO Modelos de decisão (d1) da Liquid AI Documentação dos modelos de decisão da Liquid AI Tutorial do Fabrício: como treinar seu próprio modelo de decisão, com o projeto CatDecide d1-ultra no OpenRouter, para experimentar modelos de decisão Fernando Fernandes no X A Black November da Alura chegou! Aproveite o maior desconto do ano para acelerar a sua carreira no ritmo do mercado tech. Inscreva-se na ⁠⁠ Newsletter IA Sob Controle⁠⁠ , e receba notícia
✨ Episode Outline — click any point to jump to it in the episode
Problem solved
How Liquid AI designed the LFM3 family of small on-device models by co-evolving architecture with edge hardware constraints rather than scaling parameter counts.
Benefits
  • Sliding window attention (256 tokens) cuts KV-cache versus full attention
  • Short-conv blocks kept for zero KV-cache on edge devices
  • 1.7B LFM3 backbone beats the prior 2.6B model at ~40% smaller size
  • Faster inference since SWA adds few FLOPs
  • Hardware-in-the-loop ablations on Qualcomm/ARM boards match real deployment limits
Use cases
  • Deploying LFM3 on Snapdragon phones while leaving most of 8 GB RAM free for apps
  • LFM3 Omni (2.2B total) combining in-house vision and audio encoders for multimodal edge use
  • Mid-training on ~3T tokens of largely synthetic agentic/function-calling traces
  • Industry deals and a major Qualcomm partnership driven by the release
KPIs / results
  • LFM3 backbone: 1.7B parameters, pre-trained on 22T tokens (down from 34T for LFM2)
  • Omni model totals 2.2B parameters with vision + audio encoders
  • Sliding window of 256 tokens; ~40% size reduction vs 2.6B predecessor
  • LFM3.5 expected in ~6-9 months via continued pre-training on scaled data
Tools / build
  • Liquid AI LFM3 model family
  • LFM3 Omni (in-house vision and audio encoders)
  • Hardware-in-the-loop research pipeline with Qualcomm and ARM boards
  • Short-conv + sliding window attention + full attention hybrid architecture
0:00 / 0:00
Olá! Bem-vindas e bem-vindos à edição de quarta-feira, edição de entrevista do IA Sob Controle, o seu podcast com overfitting de informações sobre o mundo da inteligência artificial. Eu sou o Marcos Mendes e assim como toda semana eu tenho por aqui o Fabrício Carraro, viajante poliglota, host do podcast Carreiras Sem Fronteiras, AI Specialist da Alura e que assim como eu, quer convidar você a passar aqui na descrição do episódio para aproveitar o maior desconto do ano, tá no ar. A Black November da Alura, com não só o melhor preço do ano e acesso a tudo que a Alura oferece, mais bônus exclusivos e também o sorteio de um PS5 para quem se matricular durante o período da Black November. E dentre as novidades tem também o Alura Empregabilidade, que é um hub com simulações de entrevista, desafios de código, system design, talent lab, tudo isso incluindo a matrícula. Passa aqui na descrição e agora sim, Fabrício, tudo bem? E aí Marcos, e aí pessoal, mais uma quarta-feira com um velho amigo, tanto de podcast de A Sobre Controle, quanto de IAConference Brasil, dobradinha aí desse cara. E talvez até uma tripse, porque a gente foi na empresa dele lá no Vale do Silício também na imersão. Exatamente, e a empresa dele, assunto frequente aqui do podcast. Quem que é? Bem-vindo de volta, Fernando Fernandes, pesquisador na Liquid AI. Obrigado pessoal pelo convite, mais uma vez uma honra estar aqui com vocês, podcast de altíssimo nível. Espera aí trazer mais algumas contribuições aí e pílulas de conhecimento para a nossa audiência. Vamos lá, porque quando a gente conversou eu aprendi um bando de coisa. Aí editando, eu descobri que eu tinha deixado passar um bando de coisa. Aí eu aprendi de novo. Aí revisando, descobri que eu tinha deixado passar um monte de coisa. Aprendi de novo, então acho que vai ser assim também. E a gente tem brincado, né? Que a gente tem falado bastante sobre a Liquid AI aqui, o que é sempre interessantíssimo. E vocês lançaram recentemente, que chamou bastante atenção, o modelo, talvez a família de modelos, você diz para a gente o LFM3, dentro do que você puder compartilhar com a gente. Eu sei que vocês têm uma política mais aberta, mas não dá para revelar, abrir o kimono inteiro, né? Então fala um pouquinho sobre o que é, como é que eles são, especificação dentro do que você puder falar, e processo de desenvolvimento. Estamos aqui para aprender hoje de novo. Maravilha, maravilha. Eu fico feliz pelo interesse de vocês em relação ao modelo. Está ganhando muita atração, isso inclusive tem se revertido em deals para a empresa, né? Não é só uma coisa de robista, né? Digamos assim, para aquele pessoal frivoroso, apaixonado. Mas a gente tem tido reconhecimento da indústria, né? Então acho que esse é um aspecto muito importante, colocar essas coisas em produção. E a parte mais legal disso tudo é realmente agora a gente vir com uma inovação de arquitetura, muito em função também do aumento das capacidades computacionais. A empresa teve em função de levantamento de capital novo, de novos recursos. Então isso permitiu com que a gente refinasse o nosso pipeline de pesquisa e de busca. E eu acho que para contar um pouquinho do que a gente fez de novo, acho que vale a pena a gente resgatar aquele papo último que a gente teve. Que eu passei um pouquinho para vocês, para a nossa audiência, em relação ao hardware in the loop. Então tinha até dado aquele exemplo do alface bagrião. Aqui a gente tinha brincado um pouquinho como que a gente vai tentando escolher a expressividade total do modelo em função dos building blocks que a gente tem ali para construir. E uma das principais inovações, digamos assim, entre o LFM2 e o LFM3, foi uma inovação até que elegante, simples e elegante. Geralmente as coisas elegantes são simples, tudo que dá aquele escarpado triplo twist. Geralmente eu brinco aqui com todo respeito ao Neymar. Acho que o Neymar nunca vai ouvir um podcast de AI, mas... São aqueles famosos dribles, né? Dribla, dribla, dribla e às vezes não chega, né? E eu sou apaixonado por futebol, às vezes acabo indo muito com esse tipo de analogia, né? Então eu fico brincando que às vezes inventa moda e não chega a lugar nenhum. Mas em relação ao que aconteceu entre o LFM2 e o LFM3, eu acho que uma das coisas mais bonitas aí que eu vi de arquitetura foi realmente o short window attention. Essa foi uma solução elegante que basicamente ao invés de você atender a todos os tokens e dar importância a todos os tokens que estão dentro da sua janela de contexto, você basicamente tem uma janela que vai rolando, né? Por isso chama slide window attention. Então você vai deslizando essa slide window attention por um número pré-definido de tokens. Então ali, no caso, a gente escolheu 256 tokens. E a gente descobriu que essa slide window attention, ela é um pouco mais cara do que o short conv. Então fazendo uma combinação interessante entre short conv, slide window attention e o full attention, a gente conseguiria uma arquitetura bastante competitiva. O short conv ainda é um bloco ali como componente do LFM3, que ele tem um papel ainda muito importante, que é a completa ausência de cave cash. Então isso para a Edge Device ainda assim é muito importante. O SWA, ele é econômico em relação ao cave cash justamente pelo fato de você estar somente atendendo aos últimos N tokens, né? No caso ali a gente colocou 256 tokens, poderia ser 128, pode ser 512 mil tokens, enfim. tomando essa janela. Então isso economiza muito cave cash, mas ainda assim, dependendo da aplicação, é muito delicado a gente expandir muito o cave cash. É um constraint do hardware. É aí que entra toda a brincadeira do hardware dentro do loop. Ou seja, hardware nos últimos 18 meses, 2 anos, ele evoluiu. Então, primeiro ponto, não faz muito sentido a gente ficar tentando espremer ao máximo uma arquitetura que está evoluindo. Nossa arquitetura tem que evoluir junto com o hardware. E aí dentro desse processo de hardware no loop, parceiros que nem a Qualcomm, a ARM, etc., todos eles disponibilizaram um conjunto de boards, né? Digamos assim, né? Que são as placas que no final do dia são deployed nos dispositivos. E aí a gente foi iterando, fazendo diversas ablações, diversas pesquisas de tal sorte que a gente tentava amplificar a capacidade expressiva desses modelos, que via de regra eles estão refletidos no benchmark, principalmente nos benchmarks do pre-training, vis-à-vis as condições de contorno que a maioria dos nossos clientes acabam impondo para a gente. Então, por exemplo, se eu for fazer um deploy de um modelo num telefone, muito embora, por exemplo, hoje um telefone top de linha tenha disponível dentro de uma plaquinha dessa, e uma 8975 que nem da Qualcomm, 8 GB, por exemplo, para a gente, eu não posso usar os 8 GB. Eu tenho que guardar um pouco dessa memória para as aplicações que vão correr no próprio telefone. Então, quando a gente coloca todas as condições de contorno juntas dentro desse processo de hardware no loop, a gente chegou nessa configuração que vocês conseguem ver ali no LFM3. A gente soltou ali um primeiro modelo de 1,7 bilhões de parâmetros, um backbone principal, e dois encoders ali, a gente tem até o modelo Omni, então a gente tem um Vision Coder agora 100% feito dentro de casa, um Aldo Encoder também 100% feito dentro de casa, cujo total, quando a gente pensa no modelo Omni, a gente tem 2,2 bilhões de parâmetros. Então, próximo modo, dá para não estender muito e abrir um pouquinho para vocês fazerem mais outras perguntas. Mas esse é o somatório do que a gente veio entregar para a comunidade, e muito em breve, novos modelos que eu posso abrir também um pouquinho para vocês. Excelente. E é interessante mesmo porque vocês continuam com esse foco em Small Language Models, praticamente, como você falou, rodar nos dispositivos e tudo mais. E isso meio que... Meio não, com certeza, exige uma criatividade mais do que quem pode lançar modelo de um trilhão, de três trilhões de parâmetros, que é o que a gente vê, é o estado da arte por aí, de modelos que, beleza, funcionam maravilhosamente bem. Só que quando você quer baixar e rodar isso localmente, você precisa de, sei lá, 20, 40 GPUs H100 que cada uma custa 30 mil dólares, basicamente. É um cluster absurdo que não tem como você usar realmente de uma maneira prática. Você, um pesquisador, você é uma pessoa que quer trabalhar com isso. Você precisa ter uma empresa por trás grande, você precisa gastar uma grana grande por trás também para quem quer fazer, que é diferente no caso de vocês. Mas indo mais um pouquinho a fundo na parte aqui dos modelos que vocês soltaram dessa nova família do LFM3, uma coisa que eu tinha visto aqui na Model Card que vocês colocaram do modelo desse novo menorzinho aí, do de 1.7B, 2B, enfim, que vocês treinaram com 22 trilhões de tokens. E foi uma pergunta que a gente teve no último programa também, que lá eram 34 trilhões de tokens. Então vocês decidiram diminuir isso, mesmo apesar daquele papo que a gente tinha batido lá, que vocês falaram, mesmo sendo um modelo muito menor, ele não consegue pegar todas as capacidades, mas quando você vai fazer um reinforcement learning, ele lembra do que... Ah, já ouvi falar disso, basicamente. Foi a analogia que você fez lá. Então fica essa pergunta, porque nessa nova arquitetura, nesse novo momento, vocês decidiram cortar um terço dos tokens dados para esse modelo de base. Isso veio, assim, resposta muito honesta. Como laboratório e como empresa que faz dinheiro em cima disso, primeiro existe uma necessidade grande dos nossos clientes de atualização da arquitetura. E muitas vezes o ótimo inimigo do bom. Então aqui, os 22 trilhões de tokens, obviamente teve uma revisão dos dados de pre-training. A gente tentou aumentar a qualidade desses dados dentro do pre-training, que permitiu com que a gente animasse ali uma parte dos dados de pre-training, mas é sempre buscar escalar. Então não foi um passo para trás nesse sentido. Respondendo aqui a pergunta muito honesta. 22 trilhões de tokens veio muito da necessidade da gente atualizar a arquitetura e quando a gente vai fazendo o processo de pre-training, a gente ficou muito, muito, muito empolgado com o resultado que a gente já tinha em relação aos 22 trilhões de tokens. Então, resposta de uma empresa que precisa fazer dinheiro. Se com 22 trilhões de tokens eu tenho o meu modelo backbone principal de 1,7 bilhões de parâmetros já estava melhor do que o meu 2,6 bilhões de parâmetros, ou seja, economizei ali quase 40% do tamanho do modelo, tem um modelo que está já funcionando melhor e, grosso modo, é uma velocidade também muito superior porque 1,7 é menor e o SWA não está acrescentando tantos flops, então ele já é significativamente melhor. Então, dentre todos os aspectos não existia trade-off, era um no-brainer não lançar. Então, se você tem a fome junto com a vontade de comer, a gente decidiu fazer o post-training desse modelo a 22 trilhões de tokens, ele já naturalmente ia ser ultra-mega competitivo e iria ali abrir uma série de novos deployments para os nossos clientes. Então, assim, racional, direto, reto, honesto em relação a porque 34 foi reduzido para 22 é porque uma empresa precisa fazer resultado, precisa fazer revenue, a gente está entrando no nosso pipeline em uma série de novos parceiros que você deve ter visto entre o nosso último papo e agora os anos mais recentes, empresas do nível da Qualcomm com parcerias gigantescas e a gente deve ser o principal partner em relação a todos os deployments do Snapdragon. Então, isso aqui está falando no mercado de trilhões de dólares. A gente precisava correr para entregar alguma coisa e provavelmente aqui fazendo uma abertura honesta do que deve acontecer deve ter aí daqui a 6, 9 meses tranquilamente um NFM 3.5 justamente com esse dataset escalado você continua esse treino e com resultados ainda significativos sem que você tenha que mexer na arquitetura. Então, é um pouco do que o Alibaba faz, do que os laboratórios de fronteira fazem. então, você tem os mid runs que são os aumentos de capacidade incrementais em relação a você continuar com o seu pre-training dentro de uma escala que você já conhece e você tem os breakthroughs arquitetônicos, digamos, arquiteturais, não sei qual que é a palavra aqui em português, né? mas, nesse sentido, então, por isso que, por exemplo, o Fable, ele é disruptivo em relação ao Opus porque é uma arquitetura, um backbone diferente. Aí, o Opus consegue fazer um catch-up em relação ao Fable 5.1 justamente por essa questão de escala de dados. Aí, a gente vai ver depois um salto quando eles voltarem ao Fable 5.5, né? Então, é sempre, para a empresa que sempre conseguir continuar mantendo a clientela dela engajada, mostrar capacidades crescentes, etc., faz parte desse processo de release de modelo. Você dá um salto na arquitetura, depois você vai lançando diferentes escalas dentro da mesma arquitetura e depois você vai relançando modelos em função de novos ganhos de escala. Então, você pode, por exemplo, imaginar que o Fable deve ser um modelo muito maior do que o Opus e aí o 5 foi treinado com uma escala menor de dados, mas com breakthroughs arquiteturais. Depois, você solta o 5.1 que você continuou esse treinamento e depois você solta o 5.5 que você vai empurrar o limite. O Kine foi assim, enfim, toda a indústria funciona assim behind the curtains, né? Então, é isso assim, respondendo. Não tem nenhuma contradição, é realmente uma questão de posicionamento mercadológico. Boa. E ainda nessa parte dos dados ali, vocês falaram que na parte de mid-training, vocês usaram 3 trilhões de dados com uma curadoria maior também, como você mencionou agora, com foco também em traces agênticos, em function calling e como que vocês fizeram para gerar 3 trilhões de conteúdo? É dado sintético? É dado da internet? Como é que funciona isso? Muito dado sintético, muito dado sintético. Então, aqui entrou muita gente nova no nosso time, né? A gente trouxe o Aldo Carranza, pesquisador maravilhoso, estava no Dateology. Dateology é um desses new labs, para quem não conhece aí dentro do ecossistema, que vendia dados aí para AWS, para Meta, eles eram um dos power engines aí em função de dados sintéticos para grande parte desses laboratórios de fronteira. A gente trouxe o Aldo para compor o nosso time. Porque super feliz que ainda mais um latino no nosso time, né? Porque parece que latino e AI no Vale do Chile isso é que nem pombo, né? É difícil você encontrar um ninho de pombo, né? Então, fiquei feliz nesse sentido. É um pesquisador brilhante, ele ajudou muito a gente a escalar esses dados de mid training aí com esses traços eugênicos, preservando muito em função da entropia, né? Que acho que também foi uma das coisas que a gente abordou ali no nosso último bate-papo. Então, no final do dia, quando você trabalha com dados sintéticos, você tem que evitar com que você tenha o entropy crunch, né? Então, eu fiquei a função da pouca diversidade dos dados em relação a como que os tokens vão sendo amostrados ao longo do tempo e muito em função também da utilidade daquilo que você quer cumprir, né? Então, ele fez um trabalho ali muito, muito, muito legal ali dentro da Liquid, acho que explicando aí como que a gente obteve. Foi muita computação, investimento gigante para gerar esses três trilhões de tokens e com um gene ali por trás, né? E uma outra parte que também é natural, mas não foi só três trilhões de tokens em função desse cara novo que a gente trouxe. Veio muito também com o processo de curadoria que a gente faz interno, abrindo um pouquinho aqui a caixa de ferramentas, é que à medida em que os modelos vão se sofisticando, os modelos de fronteira e obviamente a gente gera dados sintéticos com modelos de fronteira dentro do que a licença permite, então, modelo chinês dá para gerar dados de fronteira, não posso gerar, por exemplo, em função do plot que a licença ali não é permissiva, mas eu consigo gerar em função do DLM, eu consigo gerar em dados sintéticos em função do DPC, esse 4.1 flash está sensacional, inclusive dicas de passagem, à medida em que você vai deslocando a fronteira do que você consegue gerar de dados para post-training, principalmente para SFT e das tarefas dos trades que você vai gerando para o Enforcement Learning, tem coisas que você não gostaria de ter mais no seu SFT, ficaram outdated, então, conforme a qualidade dos dados vai sofrendo o que a gente chama esse processo de drifting, e eles vão ficando mais atualizados, não é tão mais fronteira, a gente também empurra aquilo para o mid-training, então, são dados ainda muito bons, tracers muito longos, mas que não é aquilo mais em termos de qualidade que a gente gostaria de refinar no post-training, então, esses 3 trilhões de tokens foi uma combinação desses novos hiring que a gente teve, dessas novas contratações que a gente teve na Liquid, junto com esse processo natural de deprecation, do que era um bom dataset post-training, e o que deixa de ser um bom dataset, a gente acaba empurrando para o mid-training. E teve, por coincidência, no 95Mac, eu escrevi recentemente sobre como a empresa MacPol tinha anunciado um agente deles chamado Enei, que vai ser essencialmente o agente que roda em Mac, e eles, ah, a gente inclusive fez o modelo que está em parceria com uma empresa chamada Liquid AI, e falei, olha só, eu já ouvi falar, e eu fico interessado sempre, trazendo um pouquinho para a parte mais prática, toda essa parte por baixo do capô que você explicou, o LFM3, ele está com os pesos lá no no Hacking Face, tem a API também, tem o PayGround, vou deixar o link na descrição aqui para quem quiser mergulhar mais a fundo, mas depois que lançou, tirando as parcerias que vocês têm, que já dá para imaginar mais ou menos como é que vai ser usado, quando foi para o mundo, já deu tempo de ver os usos, caramba, eu não imaginava que alguém poderia pegar o nosso modelo para fazer isso, sabe, algum trabalho diferente, inspirador, que seja, que tenha chamado a atenção, que venha à mente? Olha, o pessoal do Hacking Face, eles são craques em demos, e os demos que eles fizeram com os LFM3, principalmente o Omni, ficou sensacional, os próprios modelos da Mac Paul vão ser atualizados para o Backpon do LFM3, esse já é um feedback interessante, a gente está em vias de construção de produtos próprios, e aí, obviamente, o nosso time de produto vem trazendo feedbacks muito interessantes em relação a isso, mas o campo mais fértil ali, vale a pena buscar por hashtag, é o X, então, na hora que a gente vai para o X e a gente dá repost no que a gente vê de coisas mais interessantes, a capacidade ali é muito, muito interessante, principalmente quando o pessoal roda os modelos no Hermes Agent e no Py, então, por exemplo, esses modelos, eles de longe não foram feitos para a programação, mas é bem interessante ali, aquele pessoal mais anti-AI começar a usar esses modelos meio que para light assistance, sabe? Então, ali, a gente tem aquele pessoal anti-AI que no final do dia agora está começando a se render, né? E aí, esse pessoal quer usar mais para uma espécie de code completion, né? E a gente tem visto ali, muito em função também, a gente tem os metadais do Open Router, que a gente serve esses modelos, né? A gente tem endpoints inclusive gratuitos, que a gente consegue detectar qual que é o agente por trás que está fazendo as chamadas e 60, 70% do nosso uso no Open Router é muito contra-intuitivo que é justamente o pessoal colocando nesse tipo de harness que a gente não desenvolveu o modelo para, né? O Hermes Agent é até compreensível, né? Mas o pai, porra, é um agente de programação, então, assim, a primeira coisa que a gente está vendo e olhando é realmente, porra, o pessoal está usando, os antes estão se rendendo, porque você vê que é muita coisa de code completion, coisinhas básicas, sabe? Tipo, operações ali do computador que o pessoal está começando a automatizar e ter um pouquinho mais de confiança porque esses harness funcionam como guardrails bem interessantes para não deixar o modelo se atrapalhar e muito, até do próprio case do INE, né? O agente, né? É um case sensacional que, eu tenho esse problema em casa, né? Minha esposa, ela é juíza, não sei, bulhufas de tecnologia. Toda hora, amor, eu dei um Mac para ela, né? Amor, eu não sei fazer isso aqui, ela cresceu no Windows, né? E essa dor que esse agente do INE quer atender, né? Tipo, você parar de pedir ajuda para o seu sobrinho, para o seu filho, para o seu marido, o agente vai resolver aquilo para você e tem que ser local, porque como é que você vai resolver, por exemplo, um problema de conectividade Wi-Fi se você depender de um modelo que está conectado a uma API, você não vai resolver. Então, por isso que ele tem que ser local, né? Então, são cases aí muito bonitos que a gente tem visto, mas agora, para os próximos modelos, vocês podem esperar coisas muito, muito, muito mais ambiciosas da nossa parte do que vai dar para fazer com esses modelos. Eu aposto que até vendo a reação das pessoas para que estão colocando o modelo para trabalhar, isso ajude, de certa forma, a informar para vocês próximos passos, onde é estrategicamente importante, onde vocês estão deixando um espaço que vale a pena também tentar preencher. Suponho que, claro que tem um planejamento de longo prazo, não dá para ficar indo para onde o vento aponta, vocês não são X, mas ainda assim, deve ter um tempo de reação ao que o público informa que está afim de ver de vocês, de alguma forma. Mas é tricky isso, contando aqui um pouco de background, de bastidor, o que acontece dentro da empresa nesse sentido, e não é uma discussão suave dentro da empresa, a gente sempre tem que tomar muito cuidado com a bolha do Twitter, do X. Então, uma coisa é o que os apaixonados, aficionados, eles conseguem fazer com o seu modelo, outra coisa, o que a AMD, o que a Qualcomm, que é a Mac Paul, eles gostariam que o seu modelo fizesse, e muitas vezes essas coisas não andam de mãos dadas. E ainda você tem uma pressão constante que toda semana, ou toda quinzena, pelo menos, sai um modelo que diz que brilha no benchmark, e isso coloca muita pressão, principalmente sobre o time de post-training. E aí você vai ver, depois no final do dia, os modelos, uma boa parte desses modelos, claramente, eles foram fritos ali para no benchmarking, a gente vai fazer com que esses modelos se comportem maravilhosamente bem nesses benchmarks, mas na hora que você vai testar mudando um pouquinho o prompt, eles deslizam. Então, tem todo esse acaboço que a gente tem para levar em consideração, e a gente tem o desafio ingrato de ser uma empresa open-weight. Então, como a gente dá o peso no Hugging Face, a gente tem um tráfego muito inexpressível, digamos assim, no open-router, porque as pessoas vão lá querem dar uma testadinha no modelo para se insiste e vale a pena. Pelo menos, esse é o grosso do uso via open-router, dos modelos tradicionais. Depois, eu vou abrir um pouco para os decision models, mas, pelo menos, nesses modelos mais vanilla, de geração de texto, de decoding, é mais a pessoa tentando testar, ver se vale a pena. E aí, dentro desse tráfego, fica muito difícil você entender de verdade qual que é a real intenção do usuário, de quem realmente está propondo um negócio em cima do seu modelo. E você não tem o data flywheel, que é o que a OpenAI tem, a Anthropic tem, a Beta enxergou isso e fechou, pelo menos, os grandes modelos para que ela tivesse o data flywheel. Então, a principal desvantagem competitiva que a Meta tinha e que poucas pessoas se ligavam nisso, não é porque o time era ruim ou porque estavam fazendo coisa errada, é porque você não tinha o data flywheel, você não tinha retroalimentação. Por API, entra muito daquilo que a gente está discutindo no nosso último papo de reinforcement learning, on policy self-distillation, se você tem o data flywheel, se você tem o harness, se você consegue destilar todos os sinais, você vai ter modelos melhores. Se você tem o modelo dado para o público, que era a estratégia até então da meta, você não tem o dado de volta, então você perde essa noção do que ou para que as pessoas estão usando aquele modelo. Então, esse é o desafio e isso, aí entra muito do nosso feeling desse tipo de papo que a gente tem com vocês, com a audiência, meu ex está sempre aberto, meu LinkedIn tem sempre ser o mais possível, o resto do time também se comporta assim, para que a gente tenha o máximo de input possível, porque a gente não tem API, né? Grosso assim, de maneira relevante para a composição disso. A ironia da meta ter esse bando de dado, mas não ter os dados certos que isso impediu um pouquinho de fazer eles patinarem, é muito curioso. Exato, porque eles têm uma abundância de dados para o pre-training, mas eles não têm abundância de dados para o post-training, que é o que virou o grande diferencial. O pre-training incomoditizou. Boa. E indo para essa parte do post-training agora, a gente falou no outro episódio também, que vocês fizeram muito de otimização por preferência, fizeram muito merge também de checkpoints lá para o LFM2 e tal, você é o cara do merge, né? E agora para o LFM3, pelo que está no blog, foi classicão, SFT, RL com policy e também o RL agêntico. Então, DPO morreu, basicamente, para vocês. Morreu. E o merge morreu também? Morreu. Os dois morreram, sim. Merging virou... Assim, o merge ainda não morreu porque tem algumas coisas... Vou falar que o merge, se a gente fosse pensar numa espécie de funilaria, seria um martelinho de ouro. Então, tem coisa ali que você vai trocando as peças e que o funilheiro faz o trabalho de primeira, mas sempre tem alguma coisinha ali que ele tem que dar uma marteladinha ali para deixar o carro redondinho. Às vezes, não vem aquela peça original, ele coloca aquela outra peça e tem que dar uma adaptada com o martelinho, né? Então, a gente brinca com o merge se a gente fosse fazer uma analogia com funilaria e ainda o martelinho de ouro. A gente diminuiu muito o merge no post-training. O merge perdeu muito espaço para o multi-teacher on policy distillation. Então, você... Aqui é um pouco do que está no nosso technical blog ali. Então, você vem com um estágio de SFT, depois você treina os especialistas que podem ter ou não SFT e mais uma camada de reinforcement learning para cada um desses especialistas que vão virar os professores do modelo básico que é antes, que é aquele utilizado antes desses... do treinamento desses especialistas. Então, o estudante no final do dia do multi-teacher on policy distillation vai ser o modelo básico que foi usado para treinar esses especialistas. Depois, você vai destilar desses especialistas de volta para esse modelo estudante. Isso é muito mais eficiente do que model merging. Então, model merging, no final do dia, a gente acaba fazendo quando um... O que pode acontecer está muito difícil você ter um controle pleno disso tudo. Então, o model merging pode acontecer quando um especialista não foi absorvido do jeito que você gostaria, ou quando você gostaria de ter um over-weighting para uma determinada característica que você entende muito importante para o modelo que você vai soltar. o MOPD não deu conta, você pode ter um processo de model merging ali. Por isso que eu brinco que é uma coisa mais artesanal. Mas assim, antes, diria para você que para fazer um release de um modelo a gente fazia tranquilamente 10, 12, 15 merges entre checkpoints que a gente acreditava que seriam os melhores. Hoje, no máximo, a gente faz dois ou três merges. E provavelmente para os próximos releases no máximo um. assim, sabe? Estou intentado ir nessa direção o máximo possível. E aí, depois que você fez esse trabalho de MOPD, você tem o Agentec RL, que é justamente como que a gente faz com que o modelo fique proficiente nos diferentes harnesses. E você tem um checkpoint final ali já pronto para o uso. Então, essa estrutura acabou afastando muito nos modelos do model merging. DPO, assim, no final do dia, a gente conseguiu converter muito do que a gente observava no DPO para o GRPO. Então, se não for um feedback humano que você tenha muita dificuldade de especificar esse feedback dentro de lógicas de rubricas, de rubricas ali para um processo de GRPO e derivados e afins ali dentro do Enforcement Learning, perde a razão de ser. Então, DPO, a gente ainda faz para algum cliente ou outro quando a gente tem, por exemplo, o humano na estrutura de feedback. Então, ali tem uma coisa que realmente ele tem uma questão de preferência que é muito difícil você criar uma rubrica e aí a gente acaba indo para o DPO. Mas ainda assim, dentro do DPO, a gente tenta priorizar o LLM usar Judge e tentar amplificar esse aprendizado contrastivo, mas, de novo, está caindo em desuso. Isso só acaba sendo feito para tarefas muito específicas para um determinado cliente que quer colocar um taste ali. Para o nosso release padrão de modelos, a gente não tem feito mais DPO. Eu acho legal que a gente está aqui com o podcast já há tempo suficiente para ter falado com o Rafael Rafael Love que ajudou a estruturar e fazer o DPO que era um assunto ainda meio exatamente desconhecido para quem trabalhava já com pesquisa, mas que não era muito falado e chegamos no estágio em que agora a gente vai falar sobre DPO no passado. Já é uma coisa que está começando a cair em desuso, quer dizer que o podcast está na marcha faz tempo mesmo. Exatamente. E aproveitando nisso aí, agora vou usar isso aqui para consultoria técnica com o Fernando Fernandes porque eu estou atualmente fazendo uns fine tunes ali tentando treinar um modelo nosso que ele estava abandonado, era um 2B aqui do BSC de arquitetura antigasso, em Llama 3 eu acho que é e tentando focar nessa parte de instruction following, de function calling, agêntico e tudo mais também no modelo tão pequeno assim. Então pensando nisso, falando assim na sua experiência e que talvez possa ser útil para alguém aí de casa também da área de pesquisa, chega num ponto que você fala olha só abandona essa arquitetura e vamos fazer alguma coisa nova do zero ou o que daria para espremer de nível de qualidade de uma arquitetura tão antiga assim só com dados, só com SFT, só com RL, daria para chegar num nível talvez não igual ao de vocês, mas um nível bacana talvez do LFM 2, 2.5 com uma arquitetura antiga Lhama só com dados e RL? Sim, acho que dá até porque uma das coisas que eu expliquei até um pouco no nosso papo e até um pouco do que eu passei nesse negócio do Hardware on the Loop Short Conv e mesmo o SWA são muito menos expressivos do que um Full Transformer mesmo o Multi Head Attention que é a arquitetura do Llama 2 então em termos de expressividade eu acho que não tem muito bottleneck aí não dá para espremer uma coisa interessante é muito mais efetivamente o seu Pipeline de Reinforcement Learning como que você coloca Soft Constraints, Hard Constraints que no final do dia Instruction Falling é um modelo desenvolver-se esse senso do que são Constraints que podem ser eventualmente quebrados e quais são os Constraints que não podem ser quebrados de jeito algum então organizar um bom Pipeline de Reinforcement Learning por exemplo toda a nossa estrutura de Instruction Falling é puramente Reinforcement Learning então o modelo ele chega em termos de Instruction Falling capabilities muito cru mesmo após o SFT a gente tenta dar uma temperada no modelo e dar bons exemplos de Instruction Falling mas assim 60, 70% do ganho de capacidade de Instruction Falling vem do Pipeline Reinforcement Learning então mesma coisa Tool Call razoável era uma escala legal de Pre-Training expressíveis para isso acho que no final do dia se você conseguir escalar dados suficientemente razoáveis era uma escala legal de Pre-Training e Me-Training principalmente e depois colocar um Reinforcement Learning em cima você vai ter plenas capacidades eu não acho que assim obviamente você consegue ter ganhos nesse sentido que nem por exemplo um dos achados novos que tem no FM3 esqueci de comentar é o Gated Duky Way que não é um Grouped Career Attention tradicional você coloca ali uma camada que no final do dia vai tentar filtrar aquilo que é relevante ou não para a construção da expressividade do bloco então por exemplo o Gated Duky Way vai fazer com que os blocos full transformers sejam ainda mais expressivos a um custo muito pequeno em relação a a parte computacional então isso por exemplo seria um ganho de expressividade só que aqui a gente está cortando muita expressividade para fazer com que as arquiteturas fiquem mais rápidas e o Quen foi nessa direção então o Gated Delta Net ele é razoavelmente expressivo mas ele não é tão expressivo só que ele é infinitamente mais rápido então acho que grande parte dos ganhos que a gente vem observando na maioria foram em função de você tentar tornar esses modelos mais rápidos com menor custo de expressividade então assim tentando responder e fechar a resposta para essa pergunta acho que é super possível você ter um resultado muito interessante o ponto contra que você vai ter uma arquitetura lenta então eu acho que é isso que foi o principal breakthrough então se você pegasse um Lhama de 7 bilhões Lhama 2 7 bilhões de parâmetros e treinasse até 35 40 trilhões de tokens você provavelmente ia ter uma coisa parecida com um Quen 3 é um bom modelo 3.5 e colocasse uma boa camada de reinforcement só que ia ser muito lerdo se ele ia ter os throughputs que você tem com o Quen 3.5 então eu acho que no final do dia a discussão vai ser quanto de throughput que você vai querer e muito menos do que você consegue fazer com esse modelo como a gente está mal acostumado falando que o modelo de 2B de 2 anos atrás era lerdo mas hoje é muito lerdo é muito lerdo hoje por exemplo aqui com speculative decoding no M5 Max a gente já tem ensaios internos aqui a gente está conseguindo cuspir até algo em torno de 985 tokens por segundo com esse 1.7 então assim para a tarefa gente que fica lindo maravilhoso e aí que você pega um parceiro aqui na Mac Paul que começa a enxergar isso não é só você conseguir fazer o produto para agora é um pouco de você trazer para o mindset do cliente e começar a educar ele isso aqui é o que já dá para fazer e pensa daqui a 2 anos o que vai dar para ser feito e aí é um pouco de você semear essa parte educacional de cultura que é uma coisa que me revolta assim pelo amor de Deus eu abro meu LinkedIn é um FlaFlu é os antes versus os Doomers tem gente que o mundo vai acabar pela IA que a IA vai virar uma super inteligência vai ESI hoje eu me deparei com um post deplorável que não vou falar a pessoa mas o cara criticando que ele não conseguiu usar o Lovable para construir uma ferramenta de debug e conseguiu gastar 100 dólares talvez pelo post vocês vão descobrir quem que é pelos meus comentários assim um passo a mês ela gastou 100 dólares do Lovable para construir sabe a pessoa usando todas as ferramentas inadequadas para tentar destruir a lógica da IA tudo bem que eu sou suspeito trabalho em laboratório de fronteira tem um conflito de interesse mas por isso que eu acho que passa muito para esse processo de educação a pessoa saber o que ela vai esperar do modelo o que o modelo é capaz de fazer de uma maneira honesta e o que o modelo se continuar dentro dessa tendência vai ser capaz de fazer total é curioso isso eu vejo também esses jeitos de criticar fazer o review como se fosse de um martelo falar que não transmite em 4K vamos falar sobre a ferramenta certa para fazer porque senão você mata completamente de propósito do que você está falando é muito curioso isso mesmo e Fernando a gente tem trazido aqui semana após semana a gente falou algumas semanas aqui no podcast do D1 o modelo de decisão que veio junto todo o caos que o Jeve causou da Type-C e Fai caos positivo digo de ter chacoalhado esse mercado de modelo de decisão e vocês não pararam saiu o D1 depois saiu o D1 ultra aí saiu o 2B voltando a falar de 2 bilhões aí o Omni também então para quem perdeu esse fio da meado pulou essa parte do episódio de notícias quer falar sobre o D1 para a gente depois poder falar sobre ele sim assim a primeira coisa aqui para destacar é que realmente existe uma demanda clara por decisões rápidas que os modelos são capazes de emitir alguma saída e uma saída que também o outro aspecto interessante ela é guardrail então a partir do momento que você restringe a um token você está condicionando o modelo pré-condicionando o modelo pensando até dentro da perspectiva baseana ao invés de você ter um freestyle que é o que acontece dentro do processo de decoding e aí que entra todas essas capacidades de instruction falling de consistência de reasoning para com isso pré-condiciona aquilo que você saiba sabe que são as N possíveis poucas alternativas que você tem para obtenção de resposta e você costa para aquela determinada resposta e isso é algo muito disruptivo e ali o Diogo Almeida que é um dos founders da TypeSafe e ele enxergou aquilo com muita clareza existe uma demanda muito grande programática de como eu construo aplicações no mundo real com uma pegada um pouquinho mais de machine learning isso que faltava dentro do uso geral do LLM então no final do dia quem queria fazer alguma coisa mais determinística acabava sofrendo muito porque você tinha que fazer um número enorme de acrobacias para que você conseguisse ter saídas o mais próximo determinísticas seja mudar ali o LLM Head e colocar uma camada de classificação isso era um um truque que muita gente fazia então você adaptava um LLM open source para virar um classificador juntando ali a capacidade inerente pela LLM de estruturação de dados estruturados para uma saída efetiva então o D1 foi um divisor de águas que se justifica acho que não é um raio existe uma demanda gigante e coisas de baixíssima latência que faz muito sentido então você não precisa de um monte de reasoning cuspir um monte de token para uma decisão rápida que faz parte do fluxo que você está analisando então a gente rapidamente enxergou essa demanda e está no DNA da Liquid a gente tem aplicações de latência baixa e a gente viu que conseguiria reduzir ainda mais essa latência esses modelos de decisão e aí a gente fez um investimento grande o time responsável por isso foi principalmente eu o Maxime o Rogalian e o Eduardo Mosca a gente levou vender essa ideia rapidamente para o CEO para o Rami ele agora falou não isso aqui faz completamente sentido rapidamente foi foi uma semana depois que saiu foi muito rapidamente ele decidiu tão rápido quanto os modelos de decisão para botar no ar o negócio dele exatamente foi uma semana sem dormir a gente fazendo um deep dive vendo que funciona que não funciona e adianta esse RLCR aí não funciona inclusive contando um pouquinho do Circuit Sauce a gente não usa esse troço para treinar o modelo tem um processo de calibração mas não é ele nem falou o que era o Diogo ele não explicou exatamente o que era esse RLCR ele falou por cima no podcast mas ele não quis dar o Secret Sauce basicamente é mas assim aí eu tenho que tomar muito cuidado com esse tipo de afirmação porque falar de si é horroroso mas assim se a gente considerar os benchmarks hoje a Liquid está acima do Type Safe nos benchmarks é horroroso a gente ficar falando de si mas é o que é a gente virou líder nesse segmento então assim independentemente do que ele tenha falado eu sei que qualquer coisa relacionada àquilo não está na receita que está vencendo então o que realmente importa é um bom SFT é uma boa curadoria de dados você realmente mergulhar e você não precisa de tanto dado inclusive para treinar esses modelos então essa que é a graça é muito em função da capacidade que você tem em house de fazer post training genérico e depois conseguir refinar isso para essa camada de decisão orientada todo o resto abro aqui para vocês que em larga medida é firula digamos assim foi interessante ver mesmo essa reação todo o mercado de certa forma lançar bem rápido uma coisa competitiva porque a gente sempre tem essa dúvida o Fabício já perguntou algumas vezes para nossos amigos de outras empresas também se o concorrente lançou uma coisa deu um 3 dias se lançou também claro que quando é um modelo novo não dá para treinar um modelo novo em 3 dias para botar só porque o concorrente colocou no ar também mas esse foi interessante ver que foi pareceu um movimento reativo a Type-C AI mas todo mundo achou um jeito muito eficiente e eficaz de oferecer algo equivalente ou até melhor eles cutucaram um pedaço do mercado que estava meio desatento mas que passou a avançar rápido depois disso com certeza tem esse desafio o que você mencionou assim tem que dar crédito a quem merece a Type-C veio com a ideia era uma ideia adormecida a gente estava tentando atingir coisas talvez de jeitos menos inteligentes isso estava no nosso radar mas não do jeito que a Type-C fez você tinha até modelos ali interessantes que tinham um pouco dessa pegada estruturada que nem o Gleaner acho a ideia sensacional porém entretanto o jeito que a Type-C trouxe esse conceito foi disruptivo então não adianta eu querer fazer melhor alguma coisa que claramente parece ser estado de arte então a gente ele ficou uma semana sem dormir e se debruçou sobre o problema olhou para dentro de casa o que a gente tinha de principal diferenciação e esse modelo para ter esse tipo de latência tem que ser alguma coisa que a gente já está acostumado então aí que veio a vantagem competitiva natural da Liquid em relação aos laboratórios de fronteira por que o Google não faz alguma coisa nesse sentido convenhamos assim o Gema é um modelo legal bacana mas não é um coin não é um modelo da Liquid Open Air e Entropic nem sonham com modelos pequenos então ali apareceu uma vantagem competitiva natural que a Liquid tinha e a gente resolveu agarrar com toda a força possível ali e falar não isso aqui é nosso a gente tem que tomar isso aqui faz todo sentido e a gente estava até batendo papo essas últimas semanas nos bastidores aqui porque eu também comentei acho que até no podcast de notícias que eu estou treinando um Jav-like um modelo de decisão aqui para o Barcelona Supercomputing Center com o foco no idioma daqui que é o catalão basicamente ter um top que seja bom nisso e fui fazer esse mesmo processo que você fez provavelmente Fernando de pesquisar de ver como que os outros estavam fazendo como podia funcionar aplicar testar ablação e o caramba e do que na minha receita que inclusive link na descrição eu blog post já no ar aqui que eu fiz de como que eu treinei o nosso que está chamando de cats the site para o catalão obviamente acho que para o pessoal do Brasil não é tão útil assim mas a receita está lá de como que eu peguei essa base de como a maioria das outras empresas estava fazendo que como eu apliquei e deu certo na minha receita foi pegar um modelo com uma boa base bem pré-treinado que tenha conhecimentos interessantes nesse idioma que eu queria que era o catalão e no nosso caso foi um modelo nosso mesmo aqui um 9B de 9 bilhões de parâmetros tem um outro que eu tentei de 40B só que aí já é para você rodar um 40B local não ia dar bom então 9B e aí você basicamente você muda o finalzinho dele você faz um Lora nas últimas camadas para ele responder bem um Lora para quem não conhece é um jeito de você fazer um fine tuning um refinamento num modelo que você não troca todos os pesos do modelo você só bota meio que uns adaptadorzinhos ali nas camadas e você meio que engana você fala para ele engana entre muitas aspas e você fala para ele isso aqui que você calculou até agora agora multiplica por isso daqui que vai dar bom é basicamente isso daí e deu bom no final deu bom e é muito mais barato em custo computacional do que você fazer um SFT um treinamento que altera todos os pesos do modelo e dá para fazer literalmente grátis usando o Google Colab é nesse nível então para quem quer aprender quem quer virar EA Engineer quem quer fazer tutorial completo aqui link na descrição e eu queria perguntar agora para o Fernando das coisas que vocês aprenderam fazendo e aplicando tanto no D1 3B 2B quanto no Ultra que é o fechadão mas se vocês também não falam qual foi o segredo o que vocês aprenderam fazendo isso que eu vi galera fazendo como você falou com LLM e só adaptando ali no finalzinho galera fazendo com BERT com o modelo Encoder Decoder bidirecional ou Encoder Only bidirecional galera fazendo com um modelo de difusão e também todos dão certo no final das contas então o que você achou de mais bacana disso daí o principal ensinamento é que isso a gente pode abrir porque está aí na arquitetura enfim isso foi uma decisão aliás foi até interessante porque vocês podem olhar a arquitetura dos pesos dos modelos e aí você pode ver a nossa árvore de decisão de como que aconteceu nossos 600 o D1 Omnis de 600 milhões de parâmetros nossos ele é bidirecional o nosso 2B ele é mais capaz do que o de 600 só que ele é causal e aí a gente olhou as métricas falando opa peraí os 600 milhões se você colocar obviamente ele performa pior mas se você controlar todas as variáveis cabeça a cabeça que nem ranking do Weston é pound por pound esse aqui está melhor o principal ensinamento que a gente teve foi que e a gente não tinha tempo para fazer uma decisão porque a gente tinha que soltar um modelo muito rápido naquela semana que está narrando aí a gente soltou esses dois modelos então a gente resolveu ir pelo bidirecional que foi o que eu treinei e o causal foi o qual ele treinou a gente obviamente vai trocando dados ali a gente tem um time e a gente coloca muitas vezes uma pessoa responsável por um release e outra pessoa responsável por outro release e aí a gente viu que esse que eu tinha feito o bidirecional foi melhor do que o causal mas assim foi um cheiro e que o próprio Orwellia também falou puta testa esse aí porque eu acho que em termos de teoria vai fazer muito mais sentido porque como você não vai fazer o decoding dos tokens não faz muito sentido você preservar a causalidade faz muito mais sentido inclusive dependendo de como que você vai fazer o feeling dos tokens você atender a todos os tokens de maneira bidirecional isso se assemelha muito mais naturalmente a uma tarefa de field in the middle como os antigos encoders eram treinados então foi esse instinto que a gente teve ali mas assim pra gente também não colocar todos os ovos no mesmo acesta aí eu avinei não mas vamos treinar esse causal e vamos ver como é que sai e a gente soltou dois modelos e vimos no mundo real como que eles se sairiam então o bidirecional foi algo que a gente encontrou que funcionava muito bem e aí a partir de então todos os modelos de 1 que a gente soltou tem adaptação ali pra bidirecionalidade então isso aí traz um bumper ali de até 15% a depender da escala que você tá brincando de modelo e principalmente pra parte Omni também traz ali um ganho pelo que a gente viu nos nossos testes internos ali um ganho de contextualização razoável então acho que se fosse pra abrir assim algo que a pessoa pode olhar o modeling file ali e encontrar tem coisas que obviamente não posso abrir mas dentro do que é público eu daria ênfase a esse achado que a gente teve ali então todos os nossos modelos ali atendem bidirecionalmente embora ali por exemplo isso gere algumas dificuldades técnicas pra fins de throughput por exemplo um decision model você quer responder várias perguntas ao mesmo tempo sob um determinado contexto então ali o nosso time de inferência ele fazia a magia deles que aí entra uma parte que eu sou um pouco mais ignorante de como que eles conseguiram paralelizar a bidirecionalidade quando você tem um causal mask é pra você fazer batch processing fica muito mais fácil porque você simplesmente restringe ali o que você tem de prompting comum e você só faz o decoding da parte que não tem o efetivo matching então daquele ponto em diante você não compartilha mais o cave cache e você deixa ali os rollouts rolarem mas até o ponto em que o cave cache é comum a parte de otimização tá garantida agora isso não funciona desse jeito pra várias perguntas em paralelo dentro de um sistema bidirecional então ali teve alguns truques que o nosso time teve que fazer pra que a nossa API pudesse ser rápida que é uma outra condição de contorno da disponibilização do produto excelente e a minha última aqui pra você Fernando é pra você dar uma sugestão na verdade imagina um dev brasileiro já que esse episódio aqui tá sendo mais técnico e mais sobre também tutoriais né tutorial que eu mencionei um dev escutando escutando a gente dev tem aí final de semana vai pegar ou algum modelo da família FM3 ou o Deon ou ambos o que ele deveria fazer pra começar a brincar e falar nossa esse é o poder é aqui que ele brilha primeira coisa é pro open router porque ali o custo da decisão é muito muito muito muito baratinho assim é ridiculamente barato acho que nem vale a pena gastar tempo tentando setar todo o ambiente ali localmente a não ser que você tenha uma GPU ali spare GPU na sua máquina mas assim a gente tá realmente falando de coisas abaixo de um dólar né e aí às vezes o tempo de você até mesmo setar o collab construir uma inference engine ali que vai cuspir as coisas com throughput razoável porque no final do dia principalmente pra esses decision models a arte disso aqui passa por você conseguir vislumbrar a aplicação que você quer o tipo de problema que você quer resolver e muito menos a parte de complexidade de como estruturar tudo isso acho que é muito fácil ali a documentação que tá na internet é muito abundante é muito straightforward ali você conseguir colocar as coisas em pé eu acho que o esforço de quem quiser brincar com isso e quiser construir algo relevante porque no final do dia não é só você dominar uma técnica você conseguir resolver um problema né do mundo real né que faça sentido então eu iria pra pro Open Router direto é muito muito muito muito barato assim a gente tá falando de mil decisões dez mil decisões sei lá abaixo de um dólar entendeu dez mil decisões é muita muita coisa assim no final do dia você vai conseguir colocar um projeto em pé com menos de dez reais não tô falando de dez dólares falando de dez reais e que eu acho que você ir pra um Google collab pra esse tipo de modelo não compensa porque você não vai conseguir ter os throughputs que você vai precisar pra conseguir ter esse esse feeling nossa peraí eu conseguiria fazer isso aqui sabe eu acho que o que tá em aberto pros modelos de decisão passa muito por essa coisa da necessidade do processamento em tempo real processamento síncrono né então eu iria por essa por essa linha aí como espremer o suco né desses modelos Fernando passou voando de novo essa hora tinha mais um monte de coisa pra gente poder falar volta pra sua terceira participação a gente segue o papo então pra quem quiser talvez continuar esse papo direto com você que não tenha tido sua dúvida respondida por meio aqui do Fabrício e de mim vai pra onde como é que fala com você Fernando Neto AI no X LinkedIn Fernando Fernandes Liquid vai sair rapidinho fiquei muito feliz que muita audiência de vocês aí procurou começou a seguir no X fiquei super feliz o pessoal vem com dúvida então de novo canal aberto e fico aqui sempre aguardando convite pra voltar aqui já já tô me sentindo em casa com vocês aqui um prazer enorme só pergunta de alto nível e de novo muito obrigado pela oportunidade de estar aqui com vocês obrigado pelo seu tempo e vai ser legal a gente poder ir acumulando as notícias da Liquid AI pra poder trazer você aqui de novo em breve poder seguir explicando pra gente o que tá rolando por aí e é claro que pra bater um papo com o Fernando o link tá aqui na descrição junto do link pra você aproveitar Black November da Alura tá no ar não deixa pra depois você vai acabar esquecendo vai perder não só o maior desconto do ano mas também acesso ao Alura Empregabilidade que é um hub com simulações de entrevista desafios de código system design e também o Talent Lab que é incluso na matrícula além de bônus exclusivos e também o sorteio no PS5 pra você que vai se matricular durante o período da Black November então passa aqui na descrição do episódio não perde não esquece a gente espera por você tanto no site quanto também na sexta-feira eu e Fabrício aqui de volta com o nosso resumão das notícias do mundo da inteligência artificial até lá esse podcast é oferecido pela Alura a maior escola de tecnologia e IA do Brasil e se você é uma empresa gosta do IA sob controle e quer participar ou ter uma inserção nos episódios é só falar com o nosso time mandando um e-mail pra patrocínios arroba alura ponto com ponto br Música Música