News AI 15/26: Gemma 4 // Seadance 2.0 // Hermes Agent

Hello and welcome to a new programmable AI News episode 15 2026. Today we're talking about Seadance, Hermes Agent and Gemma 4.0. I'm Dennis Becker and I'm joined by Philipp. Hello. Hello Philipp, today without Fabi again you have to say. He was already on vacation last week and I don't know exactly what he's doing today. He's not here today, but I know who has extended their vacation again for Easter or what the reasons are. Exactly. Okay, let's get started. Who would like to start? I think Gemma was probably the biggest one, right? Update that was a bit like Open. Open source model with many capacities. What's new about the model or what do you need to know? So there is now Gemma 4 released last week. I think it was our best release in terms of the partners we worked with. So it's available in every open source tool that you use, from LM Studio to Olama and all other tools on very different API packages. Providers, different clouds, different agents and tools. But perhaps very briefly, Gemma 4 is, so to speak, the successor to Gemma 3. There are four sizes. There are E2B and 4EB again. These were, so to speak, the Gemma 3N models that came in the middle of last year. Same principle here. Multimodal means text, video, audio, image, input, text, output. Can run natively on Android and iPhone. There is also the cool Google AI Edge Gallery app. So you can more or less open the App Store for both right now. How does it know? And search Google AI Edge Gallery and then download the model. Takes about two minutes. Then you can test Gemma 4, 2B or 4B directly on your phone. There is then an MOI variant with 26 billion parameters and 4 active. I would say that it is very good for smaller MacBooks or GPUs. You need something like this, depending on what type of quantization you use, but you can easily run it on, let's say, any modern MacBook. And then there is a 31 billion variant. This is a dense model. That means a little slower relative to the MOI, but a little bit better. The small models have 128,000 token context. The larger models have 256,000 token context. And the very special thing, which I am also very proud of, is that all models are now released under the Apache 2.0 license. This means a common open source license without much research or do I have to talk to my legal team about whether I can use it. Also like the other Gemma models, 140 languages ​​are natively supported. Very, very good. Also received a lot of positive feedback on social media. You can use it in AI Studio in chat. So you can go to Google or AI Studio.com. Then you can use it in the chat. There is also the API variant. That means you currently get up to 1,500 requests per day for Gemma. Of course, depending on how busy it is, that could be a little less. It is available in Android Studio offline. This means that if you program Android apps, you can now use an Android AI Gemma offline without internet. It's available in Light RT, which is a, let's say, C library to run directly natively on the devices. That means if you somehow test out Edge Gallery and think it's cool, you can check out a Light RT. How can I integrate it into my own apps? It is also available in MLX, the special Apple Open Source Machine Learning Library. It's available in Cloud with examples of Vertex Model Garden, Cloud Run, GKE, you name it. It is available for VRLM and on TPUs. So no matter where, I say, there is now Gemma. It's available in Open Claw now too. That means if you bought a Mac Mini back then to run Open Claw and maybe didn't get the smallest one, there's a good chance you can test it now with Gemma and in all the other Agents, I'll say. Cool. How big is the storage size if you download this on the iPhone or Android? Depending on whether you call it 2 or 4B. So you have to say, 2 and 4B are a bit here, so that's why the E in front of them, because they have shared embeddings. I think it's between 5 and 8 gigabytes. But I would have to lie. In any case, my iPhone 16 Pro traded E2B super easily. OK. And can you give a little insight into where we are in terms of benchmarks? So what are tasks that are realistic with this? So the big difference, I would say, to Gemma 3 is primarily Function Calling, Structured Output and Agentec Use. So we also published benchmarks. It's roughly in line with the top open models for its size. So around QN 3.5, I would say, a little better. Here you go, you have to test it yourself. Of course again on Arena, LM Arena very, very good. The 31B model is the third best open model. So it's actually competing with Kimi, K2 and GLM, which are 20 times bigger. But I think you have to test it for yourself. Coding is better, function calling is better. And of course, I think you can use open, small open models for everything, from classification to summarization to other tasks. I think the best thing you can compare is that the E4B model has approximately or better performance than Gemma 3 27B. So we have now moved from 27B to 4B with the performance and then the other models are also better. And base model and fine tune model available. That means if you're currently using Gemma 3 or have used another open source model or open model, then you can just say, hey, okay, I like it fine-tune or I'll test the normal one and then you can use it. Cool. Yes, it's nice that things are continuing in the open world and things are being created there in the same way. Yeah, it's really cool. So I'm always impressed when I run it on my iPhone at how good it is for everyday things. Or the AI ​​Edge Gallery app also now has the ability to run skills. So what we know from Cloud Code and everyone else. You have these agent skills and you can also have them locally on your phone. And I don't think it will be long before you can control your phone locally. So in the sense of saying to Gemma, hey, please do this and that. And then in the background or in the foreground it opens apps and clicks around somewhere and does other things. And that's cool if it's actually available offline and works to some extent. Although that's probably a little more difficult on the iPhone, right? With all the sandboxes or what? Yes, I don't know much about that now. But I mean, Apple and Google are now, I would say, working more closely together. Who knows what will come next. Yes. That's right. You just tried to cook a broken finger into the camera or what did you do? I taught tea about my hand, then cook it on Friday evening. Oh God. Yes, I don't think it's that good. But there are now voice inputs and then I just talk to my computer and it then programs for me. OK. Then get well soon. Well, then we're talking about something that wasn't exactly new this week, but at least as far as availability is concerned, there was a bit of time. Namely via ByteDance’s video model. ByteDance, as a reminder, is the TikTok provider, or at least here in the Western world, TikTok as a big product. And exactly, they have released a video model with C-Dance 2, which is similar to the other big ones we discussed with, I don't know, Video 3.1 or Kling 3.0, I think it is currently at Kling. So a model that not only spits out video, but also provides the whole thing with sound. Clips of up to 15 seconds can be generated. And it actually tops many of the benchmarks that are out there and is at the forefront. Now the whole thing was published for the first time in February, I think, and then it faced very strong headwind, especially from Hollywood at the time, because copyright was simply not an issue at all. So you could use all the well-known actors that are out there and also IPs like, I don't know, Marvel and whatever, you could simply create new clips that, in hindsight, I've looked at a few of these examples like yours in the research, they're pretty awesome. So you don't realize that they look like the original actors, the facial expressions and stuff like that are very impressive. And ByteDance actually gave in and said, okay, then we have to fine-tune it a bit so that it isn't available everywhere. And that's why this rollout was a bit, yes, not so clear, so now it's here. There are somehow also different articles in which countries it is now available and I have no idea. But if I think that, if it's not a phishing site where I ended up now, I don't know, CapCut is such a video cutting tool. ByteDance has also been around for a long time. I even used it too. Very popular for mobile video editing. Exactly, yes. Yes, everything you want to do for social media is actually a very, very cool tool that you can use. And now there is something else called Dreamina. I'm not entirely sure what this product name means, because it's also sometimes called Dreamina Seedance, so to speak. But be that as it may, if you want to try it out, you can also create videos with Seedance 2.0 via CapCut or Dreamina.capcut.com. Do you think it's really fine-tuned or six layers of classification before and after that ensure no copyright material is used? I think it's the latter, right? I think it would also be interesting to know whether it is still the normal model in, say, China Mainland or in other regions. Above all, I have seen a lot of anime, or where people have taken manga and then made a film of it within a few hours. Yes, I'm excited to see where it goes. No, but again it's just worth it if you want to see state of the art, something like that is possible now, what's the quality like there. You might as well just watch a few of these example videos. This is a very impressive model. And then I just remembered, I have two more additions to your last news episode. I heard it yesterday or the day before yesterday, I don't know. On the one hand, to Jan regarding Cloud Code and the source code and why it is news at all and is there anything in it at all. And I think about Jan's sentences, I also looked at it, I'll say a little more precisely. And Cloud Code is really just a rapper around the API. So it's all the prompts, all the processes, how tools are defined, how the system prompt is assembled, how skills are loaded, it's all part of the cloud code, of the source code. That means there are also people who have taken that and not only rewritten it in Rust, but also simply took the JavaScript code and replaced the model provider, i.e. the place where the LLM call is executed, with OpenAI and were then able to easily use codecs within Cloud Code with the same system prompts, with the same features more or less. So it's really big news. Especially because as a, let's say, framework provider or body you can really look, okay, how did they manage to get the cloud to sometimes do this or that or there was also this auto mode that came into Cloud Code at some point with I no longer have to do Skip Dangerously Permission and that's also part of the code, I'll say and they use Haiku to make requests like that, so to speak. So it was a very big leak and not easy, I have an API here called Cloud Code and it's running. The same thing is that Cloud Code is used as the code base for the Agent SDK. So it's more or less just a hook in there and it wasn't available on the client before, let's say. So of course, you somehow had the types, but the compiled binary code in BAN, you couldn't do anything with it. Sure, you could have gotten the prompts out somehow, you had done that before, but how everything was put together was a very big topic. And the other thing is, there was this Axios leak and I haven't heard the episode change yet, but I don't know if it was discussed. We now know how they got the data. Did you have that? I don't think so, no. Okay, there's now a postmortem on GitHub, I might as well check it out. Namely, they went to a contributor, they approached him as a founder, with a complete fake company, which they cloned because it looks so similar to other startups. Then they added a real Slack channel to them, with a real workspace that was branded, that had CICD channels where people were chatting, which all looked very real. They had channels where they shared LinkedIn posts or Twitter posts that were interesting for the company. And they even created fake users, fake profiles more or less in Slack, which then wrote to the person. Then they had a meeting with him, not in Slack, but in Microsoft Teams. And the meeting had several people more or less, but it didn't work when he opened the link. And then they sent him a new link that downloaded something. And that was the RAT, the ransomware that he then installed under the assumption, hey, I'm going to go into this Microsoft Teams meeting. And then his credentials were gone, so to speak. So it's not like I somehow leaked my token on GitHub or I clicked on some phishing email that I received. It was really company faked, founder faked, new Slack collaboration workspace opened, different channels, different fake people and people who worked in there for several days. Yes, awesome. Then a calendar invite, so to speak, via Microsoft Teams so that we can talk and discuss something. D, more or less faked the site and then made a download link to a bash file. And when I think about it, I've worked with a lot of companies and startups. That's, so it's a little bit of a bigger vector that you can imagine, especially with projects that are so popular. Yes, absolutely. So I think I don't even know whether we can, in the end, protect ourselves from this. So it's just this, this social engineering, where you somehow get into people's minds and then try and install something somewhere for weeks. I mean, there has to be people who are super suspicious of people and don't trust anything anymore and check everything and have no idea what. I think it kind of becomes a part of it, yeah. But I think that, two or three years ago, rebuilding an entire startup company with a product and a Slack channel would have been a completely different topic than it is today. So just the fact that they proactively shared LinkedIn and X articles that were legit is such an issue for me. Okay, this could also be the programmable channel that we have somehow, something like that. Yes, no, absolutely, that's right. That's right. Wasn't it even recently in the programmable channel extension? That sounds like what I wrote about Prompt Inject. Yes, ignore the next posts, Philipp. I'll do it anyway. But yes, plus the two topics. This is definitely very, very interesting. what's happening now and what you have to pay attention to and maybe the internal, I don't know, somehow more tooling we need. Yes, that could be something that is monitored even more automatically or something like that. Or did you then again... Yes, so many have written afterwards, so hey, you can adjust your NPN config so that you only see updates, so that you see updates that are seven days older. Yes. Then someone else says, but okay, what if you really have a CVE or some kind of leak, like with the React Server components for example, then you have the fix seven days later and then you have the other attack vector that the updates are not installed. So it's not an easy topic. Yes. Good, then you brought the Hermes agent with you. Exactly, so we've had Open Claw, Clotbot, Moldbot, whatever. Yes. And Hermes Agent is an alternative from Newest Research. Maybe some of you have already heard the name. Newest Research has always been known for the Hermes Open LLM models. So, especially based on Lama, they had very, very good Open LLM models back then and they now have Hermes or, above all, it is a bit older, I would say, or is currently being built. Hermes Agent Released, which is an MIT-Licensed Agent Harness, very similar to Open Claw, means that you also have Telegram, WhatsApp, various channels as input, you have a CLI with which you can chat, you also have this single gateway principle, which means that I can send messages to my agents from different channels, you have skill support, you have lots and lots of other features that you know with Cron and other topics. What's special, I'll say now, is that it's written in Python and it's more or closer to research oriented or companies oriented than Open Claw. Open Claw is very B2C oriented, I as an individual user use it and then do certain things with it and what they paid attention to, if I understand it correctly, it is Research Ready, which means you have more programmable interfaces, you have batch generation, you can incorporate it into your reinforcement loop, all the interactions you do with Hermes Agent are saved in a format that I can also use to then train smaller, other open source models, so to speak, that is, everything is designed so that I can use the agent in my training of my own models, or in generating data for Evals, for fine tuning and all of which, I would say, fit more or less into the Python ecosystem. Interestingly, there is also a migration from Open Claw, which means that if you are currently using Open Claw, then you can relatively easily take a look at Hermes Agent and they have, because they are, I would say, Open Lab, more or less a strong focus on the Open models, that is, they work with all the, I would say, Chinese Open Model providers. There is support for Open AI and Cloud and Gemini, but also for Gemma now and is definitely interesting, so you have a similar onboarding principle. I have a CLI that I install and then I can just go through an onboarding floor where I can select my providers and very cool, especially because they also have a relatively tight integration with Olamo. I think this is somehow a command that I enter in order to be able to use Olamo as a bag end with the Hermes agent with the new Gemma model now and then I have this full-plan agent harness, which I can then link to Telegram or other things very quickly and that I have these traces for every interaction with memory, which I can then really use for training. OK. And then just the same features, i.e. with skills, with memories. I say it myself that they create skills more on the Hermes Agent, because as users they create skills and they are also tested or executed themselves in the background. So definitely, if you're Open Glove fans, please take a look. Maybe you'll learn something new, maybe it'll fit a little better and especially if you're somehow in, I'll say, more company space where you might be able to use an agent at some point, then it's a huge advantage if I can now start to create a little bit of my own data about how my users, how my, I'll say, developers, how something else interacts with this agent. Yes. Somehow I always feel like there's such a stark difference. Whether it's still in the private space at the moment, which you have in terms of all access and other things, or if you think about it at the enterprise level, yes, there are always a lot more implications, where is the whole thing and what are the accesses and how is the user management and who can then access the data and how is it all shared and so on. That somehow opens up a completely different space of thoughts that you somehow have. Yes, now, why I find it particularly interesting, there is currently such a growing focus on it, everyone uses agents for all sorts of things and, let me say, two years ago we all created fine-tuning datasets, synthetically with LLMs and everyone shared these fine-tuning datasets. There was ShareGPT, which at that time was real chats from ChatGPT, which users shared and stuff like that and everything goes in the direction of hey, okay, with these agents, we need all these agent sessions where you have several user inputs, where you have the whole tool calling loop, so that I have that as data to evaluate, to get real prompts, to then improve models and that's where everything goes. Now I don't know whether OpenClar also has a feature where I can export it directly or whether everything is generally broken locally so that I can use it directly or something like that, but I found that very, very cool for everyone, I would say, model builders, people who use fine-tuning models. Especially now with Gemma you have a relatively good, smaller open model, which is very good at function calling. If I now somehow use Hermes Agent in my team or just privately, then I can probably do it better very easily or then just improve the data that I have collected with other models or in the sense of hey, I somehow have a trajectory here where I say, hey, please, I don't know, check my Gmail calendar, my emails and create a daily flow or plan my new meetings, find time with Dennis and if I have it, it might not be perfect because the model somehow makes tool calling errors or something like that, I can adapt them or change them synthetically so that I have the right flow and then train models on them again or then use reinforcement learning to verify them and I think that's the biggest, I'll say, difference between them and I also say myself, of course, they're better and it's a bit leaner and but then, I'll say, it all depends on personal preference. OK. Do you have anything going on like that at the moment? Nope. So not personally now. OK. I don't know, I still use Poke. Yes? Yes. Cool. OK. But also more like, I don't know, I don't have as many things that I have to do in the background now where I need a notification, I have to say. Yes, what were they? Pika. Pika, I think we talked about that at some point. They made, above all, short video clips with ready-made scenes and stuff like that. They also released an agent as an app the week before last or something like that. I just think so, I can imagine it as a very stripped down version of one of these things, but where you can also give access to a few services and it's just somehow rapped in a nice interface and it just talks about your AI image, so to speak. This means that you also take a snap, a selfie of yourself and then a 3D avatar is created that looks like it and it also has a certain business connection. Says, hey, if you kind of want to post stuff on LinkedIn or I don't know, yeah, just try to leverage it a little bit. but I still didn't like it that much. what I saw, so I have, Latent Space did a very good podcast with the Tremern Startup. Tremer was directly acquired by Meta within a month of their launch. This is an Agent OS startup, you can listen to it. They also talked a lot about it with these, let me say, proactive background agents, what they use them for and I found interesting use cases, especially if you work a lot or are busy, that you have topics like, I don't know, what can I do with my children on the weekend, so they just said, okay, you get some kind of report every week, based on what they've done in the past and directly suggestions or for everything Others, I don't know, I just ask Gemini somehow or if I want to book a flight, I just book it myself and privately I don't have that many emails and I'll say, social media connections aren't always good and somehow you don't want them to be with you, so if someone writes me a message, then I answer them. Then I don't somehow have a bot that answers, that's a bit, that is, a lot of opinion is simply more useful in the professional environment than somehow in private. I hope that all smartphone devices will now receive upgrades more quickly and then there will be more usage. Wait. Yes, that's a good question. I mean, I somehow spent two or three hours yesterday looking for a new house for a ski vacation next year. Yes. Do you buy directly, right? Two weeks of skiing vacation, then a short one. Yes, yes, exactly. Who is renting? No, for rent of course. Good. Then we have it. Yes. Thank you. Then have a good trip. You'll soon be traveling on planes again for work. Yes. And then hopefully we'll see each other again in two weeks. Otherwise write, yes. Yes. I think Google Cloud Next will be in two weeks. I don't know if the programmable one will be there, but I will definitely be there. You will definitely be there and Jan will also be there. Yes, perfect. Very good. Cool. Then we'll see how we can maybe fit a recording in there or not. Very good. See you soon. Take care. Ciao.

Hallo und herzlich willkommen zu einer neuen programmierbar AI News Folge 15 2026. Wir reden heute über Seadance, Hermes Agent und Gemma 4.0. Ich bin Dennis Becker und mir zugeschaltet ist der Philipp. Hallo. Moin Philipp, heute wieder ohne Fabi muss man eigentlich sagen. Der war ja letzte Woche schon im Urlaub und ich weiß gar nicht genau was er heute hat. Er ist heute nicht da, aber ich weiß wie wer jetzt Urlaub noch mal extended hat Ostern oder was die Gründe sind. Genau. Gut, fangen wir an. Wer möchte starten? Ich glaube Gemma ist so das größte wahrscheinlich gewesen, oder? Update, das es so ein bisschen gab als Open. Open Source Modell mit vielen Kapazitäten. Was gibt es alles Neues rund um das Modell oder was muss man wissen? Also es gibt jetzt Gemma 4 letzte Woche released. Ich glaube es war unser bester Release im Sinne von mit welchen Partnern wir zusammengearbeitet haben. Also es ist in jedem sage ich mal Open Source Tool zur Verfügung, das ihr nutzt von LM Studio zu Olama und allen anderen Tools auf ganz verschiedenen API-Packenzen. Providers, verschiedene Clouds, verschiedenen Agents und Tools. Aber vielleicht ganz kurz Gemma 4 ist sozusagen der Nachfolger zu Gemma 3. Es gibt vier Größen. Es gibt wieder E2B und 4EB. Das waren sozusagen die Gemma 3N Modelle, die Mitte letzten Jahres gekommen sind. Selbes Prinzip hier. Multimodal heißt Text, Video, Audio, Image, Input, Text, Output. Kann nativ auf Android und iPhone laufen. Gibt es auch die coole Google AI Edge Gallery App. Also könnt ihr direkt mehr oder weniger jetzt App Store aufmachen für beide. Wie weiß es? Und Google AI Edge Gallery suchen und dann das Modell herunterladen. Daut ungefähr zwei Minuten. Dann könnt ihr direkt Gemma 4, 2B oder 4B auf eurem Telefon testen. Es gibt dann noch eine MOI Variante mit 26 Milliarden Parametern und 4 Active. Die ist, sag ich mal, sehr gut für kleinere MacBooks oder GPUs. Man braucht so um die, also je nachdem was für Quantisierungstypen man nutzt, aber man kann die schon auf, sag ich mal, jedem moderneren MacBook easy laufen lassen. Und dann gibt es noch eine 31 Milliarden Variante. Das ist ein Dense Modell. Das heißt, ein bisschen langsamer im Verhältnis zu dem MOI, aber dafür ein kleines bisschen besser. Die kleinen Modelle haben 128.000 Token Context. Die größeren Modelle haben 256.000 Token Context. Und das ganz Besondere, worauf ich auch sehr stolz bin, ist, dass alle Modelle jetzt unter Apache 2.0 Lizenz released sind. Das heißt, eine gängige Open Source Lizenz ohne groß Nachforschungen oder muss ich mit meinem Legal Team reden, ob ich das nutzen darf. Auch wie die anderen Gemma Modelle, 140 Sprachen nativ supportet. Sehr, sehr gut. Auch sehr, sehr vieles positives Feedback auf Social Media bekommen. Man kann es nutzen in AI Studio im Chat. Also ihr könnt auf Google oder AI Studio.com gehen. Dann könnt ihr es im Chat nutzen. Es gibt auch die API Variante. Das heißt, man kriegt aktuell bis zu 1500 Requests pro Tag für Gemma. Natürlich, je nachdem, wie die Auslastung ist, könnte das auch ein bisschen weniger sein. Es ist verfügbar in Android Studio offline. Das heißt, wenn ihr Android Apps programmiert, könnt ihr jetzt ein Android AI Gemma nutzen offline ohne Internet. Es ist verfügbar in Light RT, was so eine, sage ich mal, C-Library ist, um direkt nativ auf den Geräten auszuführen. Das heißt, wenn ihr irgendwie Edge Gallery testet und es cool findet, könnt ihr euch ein Light RT anschauen. Wie kann ich es in meine eigenen Apps integrieren? Es ist verfügbar auch in MLX, also die spezielle Apple Open Source Machine Learning Library. Es ist verfügbar in Cloud mit Beispielen für Vertex Model Garden, Cloud Run, GKE, alles Mögliche. Es ist verfügbar für VRLM und auf TPUs. Also egal wo eigentlich, sage ich mal, gibt es jetzt Gemma. Es ist verfügbar in Open Claw mittlerweile auch. Das heißt, wenn ihr euch damals ein Mac Mini gekauft habt, um Open Claw laufen zu lassen und vielleicht nicht den kleinsten genommen habt, ist die wahrscheinlich sehr hoch, dass ihr das auch jetzt mit Gemma testen könnt und in allen anderen Agents, sage ich mal. Cool. Wie groß ist es von der Speichergröße, wenn ihr das auf dem iPhone oder Android runterliest? Je nachdem, ob man 2 oder 4B nennt. Also man muss dazu sagen, 2 und 4B ist hier ein bisschen, also deswegen auch das E davor, weil das Shared Embeddings haben. Es ist so, glaube ich, zwischen 5 und 8 Gigabyte. Aber ich müsste lügen. Auf jeden Fall, mein iPhone 16 Pro hat super easy E2B gehandelt. Okay. Und kannst du ein bisschen einordnen, wo wir uns so Benchmark-mäßig befinden? Also was sind Tasks, die damit realistisch sind? Also der große Unterschied, sage ich mal, zu Gemma 3 ist vor allem Function Calling, Structured Output und Agentec Use. Also wir haben auch Benchmarks veröffentlicht. Es bewegt sich so im Groben und Ganzen für seine Größe bei den Top Open Modellen. Also so um QN 3.5, sage ich mal, ein bisschen besser. Hier mal da, muss man selber testen. Natürlich wieder auf Arena, LM Arena sehr, sehr gut. Da ist das 31B-Modell das drittbeste Open-Modell. Also konkurriert eigentlich mit Kimi, K2 und GLM, welche ja 20 Mal größer sind. Aber ich meine, das muss man für sich selber testen. Coding ist besser, Function Calling ist besser. Und natürlich halt, ich denke mal, für alles, was man Open, kleine Open-Modelle nutzen kann, von Klassifizierung zu Summarization zu anderen Tasks. Ich glaube, das Beste, was man vergleichen kann, ist, das E4B-Modell hat ungefähr, beziehungsweise die bessere Performance als Gemma 3 27B. Also wir sind jetzt von 27B zu 4B gekommen mit der Performance und dann die anderen Modelle sind dann auch besser. Und Base-Modell und Fine-Tune-Modell verfügbar. Das heißt, wenn ihr vielleicht aktuell Gemma 3 genutzt habt oder ein anderes Open-Source-Modell oder Open-Modell genutzt habt, dann könnt ihr einfach auch sagen, hey, okay, ich mag es Fine-Tune oder ich teste das Normale und kann es dann nutzen. Cool. Ja, schön, dass es auch in der Open-Welt weitergeht und da genauso Sachen erstellt werden. Ja, ist echt cool. Also man ist doch immer wieder beeindruckt, wenn ich das dann auf meinem iPhone laufen lasse, wie gut es dann ist für alltägliche Dinge. Oder die AI Edge Gallery App hat auch jetzt die Möglichkeit, Skills auszuführen. Also was wir ja von Cloud Code und allen anderen kennen. Man hat diese Agent Skills und die kann man auch lokal auf seinem Telefon dann haben. Und ich glaube, dauert nicht mehr lang, bis man so dann sein Telefon lokal steuern kann. Also im Sinne von, dass sich zu Gemma sagt, hey, bitte mach das und das. Und im Hintergrund oder im Vordergrund öffnet es dann Apps und klickt irgendwo herum und macht andere Dinge. Und das ist halt dann schon cool, wenn das wirklich offline verfügbar ist und halt auch funktioniert einigermaßen. Wobei das wahrscheinlich auf dem iPhone noch ein bisschen schwieriger ist, oder? Mit den ganzen Sandboxen oder wie? Ja, dabei kenne ich mich jetzt nicht aus. Aber ich meine, Apple und Google arbeiten jetzt, sage ich mal, enger zusammen. Wer weiß, was da alles noch kommen wird. Ja. Das ist richtig. Du hast gerade einen kaputten Finger in die Kamera versucht zu kochen oder was hast du gemacht? Ich habe Tee über meine Hand gelehrt, kochen dann am Freitagabend. Oh Gott. Ja, ich finde es nicht so gut. Aber es gibt ja mittlerweile Voice Inputs und dann rede ich einfach mit meinem Computer und der programmiert dann für mich. Okay. Dann gute Besserung an der Stelle. Gut, dann reden wir hier über etwas, was jetzt nicht mega neu diese Woche rausgekommen ist, aber was zumindest, was die Verfügbarkeiten angeht, die Zeit ein bisschen war. Und zwar über das Videomodell von ByteDance. ByteDance, zur Erinnerung, ist der TikTok-Anbieter oder zumindest hier in der westlichen Welt TikTok als großes Produkt. Und genau, die haben mit C-Dance 2 ein Videomodell rausgebracht, was auch ähnlich wie die großen anderen, die wir besprochen haben mit, keine Ahnung, Video 3.1 oder Kling 3.0 ist es, glaube ich, bei Kling aktuell. Also ein Modell, was eben nicht nur Video rausspuckt, sondern auch das Ganze mit Ton versieht. Es können Clips bis zu 15 Sekunden generiert werden. Und was tatsächlich sehr, also es toppt viele der Benchmarks, die es da draußen gibt und ist da mit Spitzenreiter. Jetzt ist das Ganze schon mal im Februar, glaube ich, das erste Mal veröffentlicht worden und hat dann aber sehr heftigen Gegenwind bekommen, vor allen Dingen aus Hollywood damals, weil einfach komplett Copyright kein Thema war. Also du konntest mit allen bekannten Schauspielern, die es da draußen gibt und auch IPs wie, keine Ahnung, Marvel und was auch immer, konntest du einfach neue Clips erstellen, die, also ich habe mir jetzt im Nachhinein in der Recherche schon mal ein paar dieser Beispiele wie dir angeguckt, die sind schon krass. Also da erkennst du nicht, dass die sehen aus wie die Original-Schauspieler, so verhalten sich die Gesichtsausdrücke und sowas, schon sehr beeindruckend. Und da hat tatsächlich ByteDance nachgegeben und hat gesagt, okay, dann müssen wir nochmal ein bisschen feintunen, dass das nicht überall so verfügbar ist. Und deswegen war dieser Rollout dann so ein bisschen, ja, nicht so klar, so jetzt ist es einmal da. Es gibt irgendwie auch verschiedene Artikel, in welchen Ländern es jetzt irgendwie wo verfügbar ist und keine Ahnung ist. Aber wenn ich das, wenn es keine Phishing-Seite ist, wo ich jetzt gelandet bin, weiß ich aber nicht, glaube, also CapCut ist so ein Videoschneidetool. Das gibt es auch von ByteDance schon länger. Habe ich sogar auch genutzt. Sehr beliebt für Mobile Video Editing. Genau, ja. Ist halt, ja, alles was man für Social Media machen möchte, ein sehr, sehr cooles Tool eigentlich, was man nutzen kann. Und da gibt es jetzt, genau, nennt sich noch was Dreamina. Ich bin mir nicht ganz sicher, was diese Produktname bedeutet, weil es auch teilweise jetzt genannt wird, so als Dreamina Seedance sozusagen. Aber wie dem auch sei, wenn ihr es mal ausprobieren wollt, könnt ihr dann eben über CapCut oder beziehungsweise Dreamina.capcut.com auch Videos erstellen mit Seedance 2.0. Glaubst du, es ist wirklich gefeintuned oder sechs Klassifizierungslayer davor und danach, die sicherstellen, dass kein Copyright Material genutzt wird? Ich glaube eher letzteres, oder? Ich finde, es wäre auch interessant zu wissen, ob es, sage ich mal, in China Mainland oder in anderen Regionen dann noch das normale Modell ist. Ich habe vor allem auch sehr viele Animes gesehen, beziehungsweise wo Leute dann Mangas genommen haben und die dann direkt verfilmt haben innerhalb von ein paar Stunden. Ja, bin gespannt, wo es hingeht. Nee, aber auch da lohnt es sich einfach wieder so ein bisschen, wenn man mal State of the Art sehen möchte, so was ist möglich mittlerweile, wie ist die Qualität dort. Kann man sich mal gut ein paar dieser Beispielvideos einfach reinziehen. Das ist ein sehr beeindruckendes Modell. Und ich habe dann, mir ist gerade noch eingefallen, ich habe noch zwei Nachträge zu eurer letzten News-Folge. Ich habe die gestern gehört oder vorgestern, ich weiß gar nicht. Zum einen zu Jan bezüglich Cloud Code und der Source Code und warum es überhaupt eine News ist und ist da überhaupt irgendwie was drin. Und ich glaube, zu den Sätzen von Jan, also ich habe es mir auch angeschaut, genauer sage ich mal ein bisschen. Und Cloud Code ist wirklich eigentlich nur ein Rapper um die API herum. Also es ist alle Prompts, alle Prozesse, wie Tools definiert werden, wie der System Prompt zusammengebaut wird, wie Skills geladen werden, ist alles Part of the Cloud Code, of the Source Code. Das heißt, es gibt auch Leute, die haben das genommen und also nicht nur in Rust umgeschrieben, sondern auch einfach den JavaScript Code genommen und den Model Provider, also die Stelle, wo dann der LLM Call ausgeführt wird, durch OpenAI ersetzt und haben dann einfach Codecs innerhalb von Cloud Code ganz einfach nutzen können mit denselben System Prompts, mit denselben Features mehr oder weniger. Also es ist schon eine sehr große News. Vor allem, weil du halt als, sag ich mal, Framework Provider oder Stelle wirklich nachschauen kannst, okay, wie haben sie es geschafft, dass Cloud manchmal hier das oder das macht oder es gab ja auch diesen Auto-Mode, der in Cloud Code irgendwann kam mit ich muss nicht mehr Skip Dangerously Permission machen und das ist zum Beispiel auch Teil des Codes, sag ich mal und die nutzen Haiku dafür, dass halt sozusagen so Requests gemacht wird. Also es ist schon ein sehr großer Leak gewesen und nicht einfach, ich habe hier eine API, die heißt Cloud Code und die läuft. Das gleiche ist ja auch, dass Cloud Code die Code-Basis für die Agent SDK genutzt wird. Also das ist ja einfach mehr oder weniger nur ein Hook da rein und der war auch davor nicht, sag ich mal, auf dem Client verfügbar. Also klar, man hatte irgendwie die Types, aber der kompilierte Binary Code in BAN, da konntest du nichts mit anfangen. Klar, man hätte irgendwie die Prompts rausholen können, das hatte man davor schon, aber wie so alles ein bisschen zusammengebaut wird, war schon ein sehr großes Thema. Und das andere ist, also es gab ja diesen Axios Leak und ich habe jetzt die Folge noch nicht zu ändern gehört, aber ich weiß nicht, ob es besprochen wurde. Man weiß mittlerweile, wie die an die Daten gekommen sind. Hattet ihr das? Ich glaube nicht, nee. Okay, es gibt mittlerweile ein Postmortem auf GitHub, ich kann das auch gleich mal checken. Und zwar, sie sind zu einem Contributor, sie sind auf ihn zugegangen als Founder, mit einem kompletten faken Company, welches sie geklont haben, weil es so ähnlich aussieht wie anderen Startups. Dann haben sie ihnen einen echten Slack-Channel hinzugefügt, mit einem echten Workspace, der gebrandet war, der CICD-Channels hatte, wo Leute gechattet haben, was alles sehr echt aussah. Die hatten Channels, wo sie LinkedIn-Posts oder Twitter-Posts geteilt haben, die interessant sind für die Company. Und die haben sogar Fake-User, Fake-Profile mehr oder weniger in dem Slack erstellt, die dann auch mit der Person geschrieben haben. Dann haben sie mit ihm ein Meeting gemacht, aber nicht in Slack, sondern in Microsoft Teams. Und das Meeting hat mehrere Personen mehr oder weniger gehabt, aber es hat nicht funktioniert, als er den Link geöffnet hat. Und dann haben die ihm einen neuen Link geschickt, der was runtergeladen hat. Und das war die RAT, also die Ransomware, die er dann installiert unter der Annahme, hey, ich gehe in dieses Microsoft Teams Meeting rein. Und dann waren seine Credentials sozusagen weg. Also es ist nicht so, ich habe irgendwie meinen Token geleakt auf GitHub oder ich habe auf irgendeine Phishing-Mail geklickt, die ich bekommen habe. Es war wirklich Company gefaked, Founder gefaked, neuen Slack-Collaboration-Workspace aufgemacht, verschiedene Channels, verschiedene Fake-Menschen und Personen, die da drin gearbeitet haben für mehrere Tage. Ja, krass. Dann über Microsoft Teams ein Kalender-Invite sozusagen, damit man reden kann und über irgendwas besprechen kann. D, die Seite gefaked mehr oder weniger und dann einen Download-Link zu einem Bash-File gemacht. Und wenn ich darüber nachdenke, ich habe auch schon mit vielen Unternehmen, Startups zusammengearbeitet. Das ist, also es ist ein bisschen ein größerer Vektor, den man sich vorstellen kann, vor allem bei so sehr beliebten Projekten. Ja, absolut. Also ich glaube, ich weiß auch gar nicht, ob wir uns da vor, am Ende, ob wir uns da vor schützen können. Also gerade, dass halt dieses, dieses Social Engineering, wo du dann irgendwie in die Leute gehst und dann über Wochen lang irgendwo noch was versuchst und einbaust. Ich meine, da muss es ja geben, gegenüber mega missträulisch sein und nichts mehr vertrauen und alles überprüfen und keine Ahnung was. Ich glaube, es wird irgendwie ein Teil davon, ja. Aber ich glaube, es ist schon, also ich, vor zwei, drei Jahren wäre komplette Startup-Company nachbauen mit Produkt, mit Slack-Channel ein ganz anderes Thema gewesen als heute. Also schon allein, dass die proaktiv LinkedIn und X-Artikel geteilt haben, die legit waren, ist für mich so ein Thema. Okay, das könnte auch der programmierbar-Channel sein, den wir irgendwie haben, so in dem Sinne. Ja, nee, absolut, das ist richtig. Das ist richtig. War dann nicht sogar letztens im programmierbar-Channel-Weiterende, das hört sich nach Prompt-Inject schon an, was ich geschrieben hatte. Ja, Ignoriere die nächsten Posts, Philipp. Mach ich eh. Aber ja, dazu die zwei Themen. Das ist auf jeden Fall sehr, sehr interessant. was jetzt passiert und worauf man achten muss und das vielleicht doch interne, ich weiß nicht, irgendwie mehr Tooling wir halt brauchen. Ja, das könnte halt vielleicht was sein, dass irgendwie noch mehr automatisiert überwacht wird oder so. Oder hast du dann auch wieder... Ja, also viele haben ja danach geschrieben, so hey, du kannst deine NPN-Config anpassen, dass du nur Updates, also dass du Updates siehst, die sieben Tage älter sind. Ja. Dann eine andere meint dazu, aber ja okay, was ist, wenn man wirklich ein CVE hat oder irgendein Leak, so wie bei den React-Server-Components zum Beispiel, dann hast du halt den Fix auch sieben Tage später und dann hast du halt den anderen Angriffsvektor, dass die Updates nicht eingespielt werden. Also es ist nicht ein einfaches Topic. Ja. Gut, dann hast du noch mitgebracht den Hermes Agent. Genau, also wir hatten ja schon öfters Open Claw, Clotbot, Moldbot, whatever. Ja. Und Hermes Agent ist eine Alternative von Newest Research. Vielleicht haben einige den Namen schon gehört. Newest Research war bisher immer bekannt für die Hermes Open LLM-Modelle. Also vor allem auf Lama-basierend hatten sie ja sehr, sehr gute Open LLM-Modelle damals und die haben jetzt Hermes oder vor allem, es ist schon ein bisschen älter, sage ich mal, oder ist gerade am Bauen. Hermes Agent Released, das ist ein MIT-Licensed Agent Harness, sehr ähnlich zu Open Claw, heißt, man hat auch Telegram, WhatsApp, verschiedene Channels als Input, man hat eine CLI, mit der man chatten kann, man hat auch dieses Single Gateway-Prinzip, das heißt, dass ich von verschiedenen Channels halt eine Nachrichten meinen Agents schicken kann, man hat Skill Support, man hat ganz, ganz, ganz viele andere Features, die man kennt mit Cron und andere Themen. Was besonders ist, sage ich jetzt mal, ist, es ist in Python geschrieben und es ist mehr oder näher an Research orientiert oder in Companies orientiert than Open Claw. Open Claw ist ja sehr B2C orientiert, ich als individueller User nutze es und mache dann damit irgendwelche Dinge und worauf die geachtet haben, wenn ich es richtig verstehe, es ist Research Ready, das heißt, man hat mehr programmierbare Interfaces, man hat Batch Generation, man kann es in sein Reinforcement Loop mit einbauen, alle Interaktionen, die man mit Hermes Agent macht, werden in einem Format gespeichert, dass ich die auch nutzen kann, um danach kleinere, andere Open Source Modelle sozusagen trainieren kann, das heißt, alles ist darauf ausgelegt, dass ich den Agent nutzen kann in meinem Training von meinen eigenen Modellen, beziehungsweise auch im Generieren von Daten für Evals, für Fine Tuning und die alle, sage ich mal, in das Python-Ecosystem mehr oder weniger mit reinpassen. Es gibt auch interessanterweise eine Migration von Open Claw, das heißt, wenn ihr aktuell Open Claw nutzt, dann könnt ihr relativ easy mal euch Hermes Agent anschauen und sie haben halt, weil sie doch, sage ich mal, Open Lab sind mehr oder weniger einen starken Fokus auf den Open Modellen, das heißt, sie arbeiten mit den ganzen, sage ich mal, Chinese Open Modell Providern zusammen. Es gibt zwar Support für Open AI und Cloud und Gemini, aber auch für Gemma jetzt und ist definitiv interessant, also man hat ein ähnliches Onboarding-Prinzip. Ich habe eine CLI, die ich installiere und dann kann ich halt so einen Onboarding-Floor durchgehen, wo ich meine Provider auswählen kann und sehr cool, vor allem, weil sie auch eine relativ enge Integration mit Olamo haben. Ich glaube, das ist irgendwie ein Command, den ich eingebe, um Olamo als Bag End nutzen zu können mit dem Hermes Agent mit dem neuen Gemma-Modell jetzt und dann habe ich diesen Full-Plan Agent-Harness, den ich dann super schnell zu Telegram oder zu anderen Dingen verknüpfen kann und dass ich halt diese Traces für jede Interaktion mit Speicher, die ich dann halt wirklich nutzen kann fürs Training. Okay. Und dann halt auch gleiche Features, also mit Skills, mit Memories. Ich sage es selber, dass sie mehr auf dem Hermes Agent erstellt Skills, denn als Nutzer erstellen Skills und die werden auch getestet oder selber ausgeführt im Hintergrund so ein bisschen. Also auf jeden Fall, wenn ihr Open-Glove-Fans seid, dann gerne mal reinschauen. Vielleicht lernt ihr irgendwas Neues, vielleicht passt es ein bisschen besser und vor allem, wenn ihr halt irgendwie in, sage ich mal, in mehr Company Space sind, wo man vielleicht einen Agent irgendwann nutzen kann, dann ist es halt schon ein Riesenvorteil, wenn ich jetzt schon anfangen kann, so ein bisschen meine eigenen Daten zu erstellen von wie meine Nutzer, wie meine, sage ich mal, Entwickler, wie irgendwas anderes mit halt diesem Agent interagiert. Ja. Irgendwie ist gefühlt mir für mich da immer so ein krasser Unterschied. ob das jetzt so im Moment noch in dem privaten Space ist, den man halt auch so, was alle Zugänge und sonstige Sachen irgendwie angeht oder wenn man es dann direkt schon so auf Enterprise-Ebene denkt, ja, dass da immer irgendwie gleich viel mehr Implikationen mitkommen, wo liegt das Ganze und was sind da die Zugänge und wie ist das User Management und wer kann dann auf die Daten zugreifen und wie ist das alles geteilt und so. Das eröffnet irgendwie gleich noch so einen ganz anderen Space an Gedanken, die man irgendwie hat. Ja, jetzt, warum ich es vor allem interessant finde, aktuell ist so ein wachsender Fokus darauf, jeder nutzt ja Agents für alles Mögliche und vor, sag ich mal, zwei Jahren haben wir ja alle Fine-Tuning-Datasets erstellt, synthetisch mit LLMs und jeder hat diese Fine-Tuning-Datasets geteilt. Da gab es ShareGPT, was damals echte Chats von ChatGPT war, die Users geteilt haben und sowas und alles geht in Richtung hey, okay, mit diesen Agents, wir brauchen diese ganzen Agent-Sessions, wo man mehrere User-Input hat, wo man den ganzen Tool-Calling-Loop hat, damit ich den halt als Daten habe, um zu evaluieren, um echte Prompts zu bekommen, um Modelle dann auch zu verbessern und da geht halt alles hin. Ich weiß jetzt nicht, ob OpenClar auch ein Feature hat, wo ich das direkt exportieren kann oder das eh generell alles lokal so gestort ist, dass ich das direkt nutzen kann oder sowas, aber das fand ich halt für alle, sag ich mal, Modellbauer, Menschen, die Fine-Tuning-Modelle nutzen, sehr, sehr cool. Vor allem jetzt hat man mit Gemma ja ein relativ gutes, kleineres Open-Modell, was schon sehr gut im Function-Calling ist. Nutze ich jetzt irgendwie Hermes-Agent in meinem Team oder nur privat, dann kann ich es wahrscheinlich super easy besser machen oder dann halt die Daten, die ich gesammelt habe, mit anderen Modellen verbessern oder also im Sinne von hey, ich habe hier irgendwie eine Trajectory, wo ich sage, hey, bitte, ich weiß nicht, check meinen Google-Mail-Kalender, meine E-Mails und erstelle mir einen Daily Flow oder plan meine neue Meetings, finde Zeit mit Dennis und wenn ich halt diese habe, die vielleicht nicht perfekt sind, weil das Modell irgendwie Tool-Calling-Fehler macht oder irgendwie sowas, kann ich die halt anpassen oder synthetisch verändern, dass ich halt den richtigen Flow habe und dann halt wieder Modelle darauf trainieren oder halt dann mit Reinforcement-Learning die dagegen zu verifizieren und ich glaube, das ist der größte, sage ich mal, Unterschied dazwischen und ich sage selber auch natürlich, sie sind besser und es ist ein bisschen leaner und aber das kommt dann, sage ich mal, alles auf die persönliche Präferenz an. Okay. Hast du aktuell irgendwas in die Richtung laufen? Jein. Also persönlich jetzt nicht. Okay. Ich weiß nicht, also ich nutze Poke immer noch. Ja? Ja. Krass. Okay. Aber auch mehr so, ich weiß nicht, ich habe jetzt nicht so viele Dinge, die ich im Hintergrund machen muss, wo ich dann eine Benachrichtigung brauche, muss ich sagen. Ja, was waren das? Pika. Pika, da hatten wir glaube ich auch irgendwann drüber gesprochen. Die haben so, vor allen Dingen so Kurzvideoclips mit so vorgefertigten Szenen und sowas gemacht. Die haben auch vorletzte Woche oder sowas auch so ein Agent als App rausgebracht. Ich glaube einfach so, kann sich vorstellen, als sehr abgespeckte Version von einem dieser Dinge, aber wo man eben auch zu ein paar Services eben Zugriff geben kann und das halt einfach in einem schönen Interface irgendwie gerappt ist und es redet halt von deinem AI-Bild sozusagen. Das heißt, du machst auch einen Snap, ein Selfie von dir und dann wird direkt so ein 3D-Avatar erstellt, wie dann aussieht und es ist aber auch direkt schon so ein gewisser Businessbezug. Sagt so, hey, wenn du auf LinkedIn irgendwie Sachen posten willst oder keine Ahnung, ja, versuch das halt irgendwie so ein bisschen zu leveragen. aber hat mir trotzdem nicht so gut gefallen. was ich gesehen habe, also ich habe, Latent Space hat einen sehr guten Podcast mit den Tremern Startup gemacht. Tremer wurde ja innerhalb von einem Monat, nachdem sie gelauncht sind, von Meta direkt acquired. Das ist zwar so ein Agent-OS-Startup, kann man sich gerne mal anhören. Da haben die auch viel darüber geredet mit diesen, sag ich mal, proactive Hintergrund-Agents, wofür die die nutzen und interessante Use Cases fand ich, vor allem, wenn man halt irgendwie sehr viel arbeitet oder halt beschäftigt ist, dass man halt so Themen wie, keine Ahnung, was kann ich am Wochenende mit meinen Kindern machen, da haben die halt gemeint, okay, da kriegt ihr jede Woche irgendwie eine Art Report, basierend auf dem, was sie halt in der Vergangenheit gemacht haben und direkt halt so Vorschläge oder für alles andere, ich weiß nicht, ich frage dann halt doch irgendwie noch Gemini oder wenn ich irgendeinen Flug buchen möchte, dann buche ich den halt selber und privat habe ich jetzt nicht so viele E-Mails und sage ich mal, Social-Media-Anbindungen ist ja auch nicht immer gut und man möchte ja auch irgendwie nicht, dass man mit, also wenn mir jemand eine Nachricht schreibt, dann antworte ich dem. Dann habe ich nicht irgendwie einen Bot, der da antwortet, das ist irgendwie ein bisschen, das heißt, ganz viel Meinungsnutzen ist halt einfach mehr in dem professionellen Umfeld als irgendwie im Privaten. Ich hoffe zwar darauf, dass die ganzen Smartphone-Devices das jetzt die Upgrades schneller bekommen und dann mehr Usage darüber geht. Abwarten. Ja, ist eine gute Frage. Ich meine, ich habe gestern irgendwie zwei, drei Stunden verbracht, ein neues Haus für einen Skiurlaub zu suchen für nächstes Jahr. Ja. Kauft ihr direkt, oder? Zwei Wochen Skiurlaub, dann mal kurz. Ja, ja, genau. Wer mietet denn? Nein, zur Miete natürlich. Gut. Dann haben wir es. Ja. Vielen Dank. Dann gute Reise. Du bist bald jetzt beruflich wieder im Flugzeug unterwegs. Ja. Und dann hören wir uns hoffentlich in zwei Wochen wieder. Sonst schreibt, ja. Ja. In zwei Wochen ist, glaube ich, schon die Google Cloud Next. Ich weiß nicht, ob die programmierbar vor Ort sein wird, aber ich werde definitiv vor Ort sein. Du wirst definitiv vor Ort sein und Jan ist auch vor Ort. Ja, perfekt. Sehr gut. Cool. Dann gucken wir mal, wie wir da vielleicht eine Aufnahme reinstopsen können oder nicht. Sehr gut. Bis bald. Macht's gut. Ciao.