Bei plenio läuft seit über einem Jahr eine Pipeline, die zuverlässig ihre Arbeit macht. Verschiedene Stages, mehrere Schritte, ein Teil davon abgewickelt über Frontier-Modelle von OpenAI und Anthropic. Es funktioniert. Und trotzdem bauen wir es gerade um.
Das klingt erstmal widersprüchlich. Warum etwas ersetzen, das läuft? Die ehrliche Antwort hat weniger mit einem akuten Problem zu tun als mit einer Rechnung, die man für die nächsten Jahre aufmachen muss. Wer seine Kernfunktionen dauerhaft über die API eines Frontier-Labs betreibt, zahlt einen Preis, den er nicht kontrolliert. Und er gibt Daten aus der Hand, über deren Weg er im schlimmsten Fall nichts mehr weiss.
Warum wir bei plenio umbauen
Der Auslöser war keine explodierende Rechnung, sondern eine strategische Überlegung. Man will sich nicht abhängig machen, und keinen Cloud-Tax bezahlen.
Die Tokenpreise der grossen Labs sind heute günstig, teilweise verdächtig günstig. Ein Blick in die aktuellen Finanzen dieser Labs zeigt, dass die Preise nicht in Stein gemeisselt sind. Sie können steigen. Und wenn sie steigen, ist man ausgeliefert, weil die eigene Produktlogik an einer API hängt, die man weder besitzt noch verhandeln kann.
Mit einem fine-getunten Open-Source-Modell dreht sich das Verhältnis um. Man hostet selbst, macht die Inferenz auf dem eigenen Server und behält die Datenhoheit vollständig. Für Schweizer Unternehmen ist oft genau das entscheidend, mehr noch als der reine Preis. Ein Open-Source-Modell lässt sich lokal betreiben, beim Schweizer Hoster, beim europäischen Hoster. Die Daten müssen das Land nicht verlassen. Bei der Cloud-Variante landen sie im Zweifel irgendwo in Silicon Valley.
«Wenn wir uns ausserhalb von Silicon Valley abhängig machen, dann ist man ausgeliefert, wenn die Tokenpreise hochgehen. Mit einem Open-Source-Modell macht man sich komplett unabhängig, kann selber hosten und hat den Datenschutz voll im Griff.»
Jakob KayaCEO
Das Destillat-Prinzip: ein Jahr Daten, das jetzt Arbeit spart
Der Trick liegt darin, nicht bei null anzufangen. Bei plenio haben wir ein Jahr lang mit Frontier-Modellen gearbeitet und dabei durchgehend deren Outputs erzeugt. Diese historischen Daten sind jetzt unsere Trainingsgrundlage.
Man nennt das Distillation, das Destillat: die Ergebnisse, die ein teures Frontier-Modell bereits produziert hat, nutzt man, um ein kleineres Open-Source-Modell darauf zu trainieren. Danach übernimmt das eigene Modell die Aufgabe, und das Frontier-Modell wird für diesen Schritt überflüssig. Wir lösen die Pipeline nicht auf einen Schlag ab, sondern Schritt für Schritt. Jeder Schritt, den ein trainiertes Modell übernehmen kann, fällt aus der laufenden Tokenrechnung heraus.
Wie viel das am Ende spart, können wir bei plenio noch nicht mit eigenen Zahlen belegen, weil wir noch nicht produktiv live sind. Wir erwarten Einsparungen von bis zu 90 Prozent im Betrieb gegenüber den Tokenpreisen. Diese Grössenordnung ist keine Wunschzahl von uns, sondern eine, die in der Branche für vergleichbare Fälle immer wieder berichtet wird, sobald ein spezialisiertes, selbst gehostetes Modell einen generischen Frontier-Call ersetzt. Ich schreibe das bewusst als Erwartung, nicht als gemessenes Ergebnis. Die harten Zahlen liefern wir nach, sobald wir live sind.
Was ein Kunde dafür braucht, und was nicht
Die häufigste Sorge, die ich höre: Muss man für so ein Projekt riesige, saubere Datenmengen mitbringen? Die Menge zählt, aber sie ist selten das Hindernis, das man befürchtet.
Als grobe Orientierung reden wir von Tausenden Beispielen, im besten Fall Richtung Hunderttausend, sinnvoll wird es meist ab einigen Tausend. Entscheidend ist neben der Menge vor allem die Qualität. Brauchbare Daten, mit denen sich arbeiten lässt, schlagen eine grosse, verrauschte Sammlung.
Und wenn ein Kunde diese Datenbasis noch gar nicht hat? Kein Ausschlusskriterium. Man baut sie auf, so wie wir es bei plenio getan haben: erst mit Frontier-Modellen die Daten generieren, dann darauf das eigene Modell trainieren. Das kostet in der Aufbauphase Tokens, aber wenn man es einmal hat, dann hat man es. Für die Qualitätskontrolle setzen wir auf Human-in-the-Loop mit Confidence Scoring. Alles, was das Modell mit hoher Sicherheit einordnet, läuft durch. Was mit niedriger Confidence markiert wird, prüft ein Mensch von Hand. So entsteht eine Trainingsbasis, der man vertrauen kann, ohne jeden einzelnen Datenpunkt manuell abzunicken.
Welches Open-Source-Modell am Ende zum Zug kommt und welche Hardware es braucht, entscheiden wir von Fall zu Fall, abhängig vom Use Case und den Daten, die verarbeitet werden müssen. Die Modellgrösse bestimmt die Hardware, nicht umgekehrt.
Bei plenio gehen wir diesen Weg gerade zu Ende, bei Headlinq ist er als Nächstes geplant. Für uns ist das kein Experiment mehr, sondern der Standardweg für alle, die ihre KI-Funktionen langfristig betreiben, statt sie dauerhaft zu mieten.
