KrylovENSprache wechseln: English
Zurück zu den Notizen

Was ein lokales Modell wirklich kostet

Die häufigste Frage am Ende eines Erstgesprächs lautet: Rechnet sich das überhaupt? Gemeint ist meist ein Vergleich zwischen einer monatlichen API-Rechnung und einem einmaligen Serverkauf. So einfach ist die Rechnung nicht, aber sie ist auch nicht so kompliziert, dass man sie nicht vorher aufstellen könnte.

Die Kostenblöcke, an die zuerst gedacht wird

Hardware. Der auffälligste Posten, und der am leichtesten zu überschätzende. Entscheidend ist nicht, welches Modell theoretisch das beste ist, sondern welches für die konkrete Aufgabe ausreicht. Eine Klassifikation eingehender Dokumente stellt völlig andere Anforderungen als ein Assistent, der frei formulierte Antworten schreiben soll.

Betrieb. Strom, Stellplatz, Netzanbindung. Bei einem einzelnen Server im eigenen Rack meist überschaubar, aber nicht null.

Die Kostenblöcke, die übersehen werden

Einrichtung und Anbindung. Ein Modell allein tut nichts. Der Aufwand steckt in der Verbindung zu den Systemen, in denen die Arbeit tatsächlich stattfindet: DMS, ERP, Postfach, Ticketsystem. Das ist in aller Regel der größte Einzelposten, und er fällt unabhängig davon an, ob das Modell lokal oder in der Cloud läuft.

Wartung. Modelle werden ersetzt, Bibliotheken ändern sich, Anforderungen wachsen. Wer selbst betreibt, übernimmt diese Arbeit, entweder intern oder eingekauft. Das gehört in die Kalkulation, nicht in die Fußnote.

Prüfung und Freigabe. Bei sensiblen Prozessen kostet die Abstimmung mit Datenschutz, Betriebsrat und Revision Zeit. Diese Zeit fällt bei einer externen API in der Regel deutlich höher aus als bei einem System, das die eigene Infrastruktur nicht verlässt. Das ist der Punkt, an dem sich lokale Lösungen oft rechnen, noch bevor man über Hardware spricht.

Was sich vorher klären lässt

Bevor irgendetwas angeschafft wird, sollten drei Zahlen auf dem Tisch liegen: wie viele Vorgänge pro Tag anfallen, wie lang die längste akzeptable Antwortzeit ist, und wie viel Personenzeit der Prozess heute bindet. Aus diesen drei Angaben lässt sich die Größenordnung der nötigen Hardware bestimmen und der Nutzen abschätzen, ohne Testaufbau und ohne Anschaffung.

Wenn diese Zahlen nicht bekannt sind, ist das kein Hindernis. Sie zu erheben ist meist der erste sinnvolle Schritt, und er lohnt sich auch dann, wenn am Ende gar kein KI-System angeschafft wird.