Was kostet ein KI-Wissensassistent? Die Kostentreiber ehrlich erklärt

Ein KI-Wissensassistent kostet zweimal: einmal für den Aufbau und danach jeden Monat für den Betrieb. Der Aufbau hängt vor allem davon ab, wie viele Quellen, Berechtigungen und Systeme angebunden werden, während die laufenden Kosten für Sprachmodell und Server oft kleiner sind, als viele denken.

Ein KI-Wissensassistent ist ein Chat, der Fragen mit Antworten aus euren eigenen Dokumenten beantwortet und jede Antwort mit der Quelle belegt. Der Fachbegriff dafür ist RAG (Retrieval-Augmented Generation). In diesem Beitrag geht es darum, was so ein „Chatbot für euer Firmenwissen“ kostet: welche Kostentreiber es gibt, wie sich die monatlichen Kosten zusammensetzen und wie du vor dem Projekt zu einem Festpreis kommst. Eigene Preise nenne ich hier nicht. Die Beispielrechnung arbeitet mit den öffentlichen Preislisten der Anbieter.

Wovon hängen die Kosten ab?

Die meisten Anfragen beginnen mit der Frage nach dem Modell: ChatGPT, Claude, etwas Eigenes? Für die Kosten ist das selten die wichtigste Frage. Ein Wissensassistent ist ein System aus mehreren Teilen: Quellen einlesen, durchsuchen, beantworten, absichern, betreiben. Jeder Teil kann einfach oder aufwendig sein.

Die ersten fünf Zeilen entscheiden über den Aufwand im Projekt. Die letzten drei entscheiden über die monatliche Rechnung.

Ein Beispiel aus der Praxis: Für eine Schule habe ich einen KI-Assistenten gebaut, der Fragen aus einem internen Wiki und einem juristischen Nachschlagewerk mit rund 1.400 Seiten beantwortet. Der größte Teil dieses Systems hat mit dem Sprachmodell wenig zu tun. Er besteht darin, das Wiki hinter seinem Login jede Nacht automatisch einzulesen, das Nachschlagewerk entlang seiner Abschnitte zu zerlegen und die Suche so zu bauen, dass sie Bedeutung und exakte Fachbegriffe findet. Dazu kam die Entscheidung, wann juristisches Material überhaupt in eine Antwort einfließt. Das sind genau die Zeilen „Datenquellen“, „Datenqualität“ und „Qualitätsanspruch“ aus der Tabelle.

Was kostet der Betrieb im Monat (Tokens, Hosting, Wartung)?

Im laufenden Betrieb gibt es drei Posten.

Tokens. Sprachmodelle rechnen nach Tokens ab, also nach Textstücken, die ins Modell hinein- und wieder herausgehen. Bei einem Wissensassistenten geht pro Frage deutlich mehr hinein als die Frage selbst: die Anweisungen an das Modell, der bisherige Chatverlauf und die gefundenen Textabschnitte aus euren Dokumenten. Heraus kommt die Antwort. Eingabe-Tokens sind deutlich billiger als Ausgabe-Tokens.

Die Preisspanne zwischen den Modellen ist groß (Stand: Oktober 2026, Preise je eine Million Tokens):

• Größere Modelle wie Claude Sonnet 5.5 oder gpt-6.1-sol kosten 2 US-Dollar für die Eingabe und 10 US-Dollar für die Ausgabe (Anthropic-Preisliste, OpenAI-Preisliste).
• Kleine Modelle wie Claude Haiku 5.5 oder gpt-6-luna kosten 0,10 US-Dollar für die Eingabe und 0,50 US-Dollar für die Ausgabe. Bei Claude Haiku 5.5 gilt dieser Preis für Prompts bis 100.000 Tokens, das reicht für einen Wissensassistenten.
• Embeddings, also die Zahlenvektoren, mit denen die Suche Bedeutungen vergleicht, kosten bei text-embedding-3-small 0,02 US-Dollar je Million Tokens.

Eine Feinheit: Wie viele Tokens ein Text ergibt, hängt vom Modell ab. Anthropic schreibt in seiner Preisliste, dass der Tokenizer der neueren Claude-Modelle für denselben Text rund 30 Prozent mehr Tokens erzeugt. Rechne also mit Puffer.

Hosting. Suche, Datenbank, Backend und Chat-Oberfläche brauchen einen Server. Für einen Assistenten dieser Größe reicht oft eine einzelne Maschine. Ein Cloud-Server mit 4 vCPUs und 8 GB RAM in Nürnberg kostet bei Hetzner zum Beispiel 35,99 Euro im Monat zuzüglich Mehrwertsteuer (Hetzner-Preisliste, Stand: Oktober 2026). Backups, Domain und Monitoring kommen je nach Setup dazu.

Wartung. Das ist der Posten, den viele vergessen. Modelle werden abgekündigt: Auf Anthropics Preisliste stehen schon heute mehrere Modelle mit dem Vermerk „retired“. Jeder Modellwechsel muss gegen ein Testset mit echten Fragen geprüft werden, bevor er live geht. Quellen ändern ihr Format, Nutzer melden schlechte Antworten, neue Dokumente kommen dazu. Das kostet keine Tokens, sondern Zeit. Und es ist der Grund, warum ein Assistent in einem Jahr noch so gut ist wie am ersten Tag. Wie ich das organisiere, steht auf der Seite zu Betrieb & Weiterentwicklung.

Beispielrechnung laufende Kosten für 50 Nutzer

Ein ausgedachtes, aber typisches Beispiel: Ein Unternehmen mit 50 Mitarbeitenden nutzt einen Wissensassistenten für sein Wiki und seine Handbücher. Die Annahmen:

• Jede Person stellt im Schnitt 10 Fragen pro Arbeitstag, an 21 Arbeitstagen im Monat. Das sind 10.500 Fragen.
• Pro Frage gehen rund 6.000 Tokens ins Modell: etwa 1.000 für die Anweisungen, 1.000 für den Chatverlauf und 4.000 für acht gefundene Textabschnitte.
• Pro Antwort kommen rund 500 Tokens zurück.

Im Monat sind das 63 Millionen Eingabe-Tokens und 5,25 Millionen Ausgabe-Tokens. Mit den Preisen von oben (Stand: Oktober 2026):

Dazu kommt das Einlesen der Dokumente. Angenommen, Wiki und Handbücher ergeben zusammen 3.000 Seiten mit je rund 600 Tokens. Das sind 1,8 Millionen Tokens, als Embeddings rund 4 Cent. Liest das System jede Nacht alles neu ein, statt nur geänderte Seiten, sind es rund 1 US-Dollar im Monat.

Drei Dinge zeigt die Rechnung:

1. Die Modellwahl macht den Unterschied. Zwischen großem und kleinem Modell liegt hier ein Faktor 20. Ob das kleine Modell für eure Fragen gut genug ist, zeigt nur ein Test mit echten Fragen.
2. Die gefundenen Textabschnitte sind der größte Posten. 4.000 der 6.000 Eingabe-Tokens sind Kontext aus euren Dokumenten. Eine bessere Suche, die weniger, aber passendere Abschnitte liefert, spart direkt.
3. Die API-Rechnung ist selten das Problem. Selbst mit dem großen Modell kostet der Assistent hier rund 3,60 US-Dollar pro Person und Monat. Teuer wird ein Assistent, wenn ihn niemand nutzt, weil die Antworten nicht stimmen.

Kommen weitere Modellaufrufe pro Frage dazu, etwa um Folgefragen umzuformulieren oder die Frage einer Quelle zuzuordnen, steigt die Rechnung entsprechend. Diese Schritte laufen aber oft gut mit einem kleinen Modell.

Wo man sparen kann und wo nicht

Hier kannst du sparen:

• Das Modell pro Schritt wählen. Ein kleines Modell ordnet die Frage ein und formuliert die Suchanfrage, ein größeres schreibt die Antwort. Oder das kleine Modell reicht für alles. Das entscheidet das Testset, nicht das Bauchgefühl.
• Prompt-Caching nutzen. Wiederkehrende Teile wie die Anweisungen rechnen die Anbieter günstiger ab, wenn sie aus dem Cache kommen. Bei Claude Sonnet 5.5 kostet ein Cache-Treffer 0,10 statt 2 US-Dollar je Million Tokens, das erste Schreiben in den Cache etwas mehr als der normale Preis (Stand: Oktober 2026).
• Weniger, aber bessere Abschnitte. Eine hybride Suche und ein Reranking, das die Treffer sortiert, bevor das Modell antwortet, machen die Antworten besser und den Prompt kürzer.
• Nur Geändertes neu einlesen. Das spart Embeddings und Rechenzeit.
• Wenige Bausteine. Beim Assistenten für die Schule laufen Vektorsuche und deutsche Volltextsuche in derselben PostgreSQL-Datenbank, ohne separate Vektordatenbank. Ein Dienst weniger heißt: einer weniger, den man bezahlen, absichern und betreiben muss.

Hier solltest du nicht sparen:

• Berechtigungen. Wer ein Dokument nicht öffnen darf, darf auch keine Antwort daraus bekommen. Das ist kein Extra, das man später nachrüstet.
• Das Testset. Ohne eine feste Sammlung echter Fragen mit erwarteten Antworten weißt du nicht, ob der Assistent gut ist. Und du weißt nicht, ob ein günstigeres Modell reicht. Wer hier spart, spart an der Grundlage für alle anderen Einsparungen.
• Quellenangaben. Sie sind der Grund, warum Menschen einer Antwort vertrauen. Ohne sie wird jede Antwort zur Glaubensfrage.
• Monitoring. Feedback pro Antwort und Protokolle zeigen, wo das System schwächelt. Ohne sie merkst du Probleme erst, wenn die Nutzer schon aufgehört haben, den Assistenten zu nutzen.

Und manchmal ist die günstigste Lösung gar keine KI. Sind eure Inhalte veraltet oder widersprüchlich, macht ein Chatbot das Problem nur schneller sichtbar. Dann fängt man besser bei den Daten an.

Wie man vor dem Projekt einen Festpreis bekommt

Was der Aufbau eines Wissensassistenten kostet, kann seriös niemand sagen, bevor klar ist, welche Quellen angebunden werden, wer was sehen darf und wie gut die Antworten sein müssen. Jede Zahl davor ist geraten. Deshalb hängen die Projektkosten vom Umfang ab, und den musst du zuerst klären.

Genau dafür gibt es den KI-Prozess-Check. Das ist eine kurze Analyse zum Festpreis. Ich schaue mir den Ablauf an, in dem heute nach Wissen gesucht wird, die Quellen und Systeme, die angebunden werden müssen, und die Fragen, die immer wieder kommen. Am Ende steht eine ehrliche Rechnung aus Aufwand, Ersparnis und laufenden Kosten, eine klare Empfehlung (Go oder No-Go) und ein Festpreisangebot für die Umsetzung. Beauftragst du die Umsetzung, wird der Check angerechnet.

Damit das schnell geht, hilft es, wenn du Folgendes vorbereitest:

• eine Liste der Quellen (Wiki, Laufwerke, PDFs, Handbücher) mit grober Größe,
• wer den Assistenten nutzen soll und wer was sehen darf,
• zehn bis zwanzig echte Fragen, die heute ständig gestellt werden,
• was eine falsche Antwort im schlimmsten Fall kosten würde.

Mit diesen Punkten ist aus „Was kostet so etwas?“ eine Frage geworden, auf die es eine feste Antwort gibt.

Wie ich Wissensassistenten baue, von der Anbindung eurer Quellen bis zur gemessenen Antwortqualität im Betrieb, steht auf der Seite zu KI-Wissensassistenten. Willst du wissen, was ein Assistent für euer Wissen kosten würde? Dann Projekt anfragen.