Produktive KI-Agenten und RAG-Systeme für Unternehmen
Ich entwickle interne KI-Assistenten, RAG-Systeme und agentische Workflows, die mit euren Daten, Tools und Berechtigungen zuverlässig im Alltag funktionieren – von Architektur und Integration bis Evaluation, Monitoring und Betrieb.
7+ Jahre Softwareentwicklung · ehem. CTO · produktive RAG- und Multi-Agenten-Projekte · direkte Zusammenarbeit ohne Agentur-Layer
Referenzen
Erfahrung aus produktiven KI-Systemen
KI-Projekte werden nicht durch ein gutes Demo-Video wertvoll, sondern durch zuverlässige Datenzugriffe, saubere Integration und einen stabilen Betrieb. Die folgenden Systeme wurden für reale Nutzer und bestehende Unternehmensprozesse entwickelt.
RAG & Wissensmanagement
Interner KI-Assistent für eine Bildungseinrichtung
Ein produktiv eingesetzter Chat-Assistent, der internes Wiki- und Referenzwissen durchsuchbar macht. Das System kombiniert semantische und klassische Suche, liefert nachvollziehbare Quellen und lässt sich über einen eigenen Admin-Bereich verwalten.
Ein internes System mit spezialisierten Agenten, mehreren Datenquellen und definierten Tools. Die Anwendung koordiniert komplexe Analyseabläufe, streamt Zwischenergebnisse und fügt sich in eine bestehende Enterprise-Systemlandschaft ein.
Von der überzeugenden Demo zum System, das im Alltag funktioniert
Viele KI-Projekte starten vielversprechend und bleiben trotzdem im Prototyp-Stadium stecken. In der Demo wirkt die Antwort gut – im echten Betrieb fehlen aber verlässliche Datenzugriffe, klare Berechtigungen, Qualitätsmessung und ein tragfähiger Betrieb.
Genau diese Lücke schließe ich. Ich entwickle KI-Systeme, die sich sauber in eure bestehende Software-Landschaft einfügen, nachvollziehbar getestet werden und auch nach dem Go-Live wartbar bleiben.
Ein produktives KI-System ist kein einzelner Prompt. Es ist Software mit Datenflüssen, Berechtigungen, Fehlerbehandlung, Tests und Monitoring.
Wissen schneller verfügbar machen
Mitarbeitende finden Antworten in internen Dokumenten, Richtlinien und Fachsystemen – inklusive nachvollziehbarer Quellen.
Prozesse gezielt automatisieren
KI kann Informationen prüfen, Systeme abfragen und vorbereitete Aktionen auslösen, ohne unkontrolliert handeln zu dürfen.
Bestehende Software erweitern
LLM-Funktionen werden direkt in Produkte, Portale oder interne Tools integriert, statt als separates Chatbot-Silo daneben zu stehen.
Qualität messbar machen
Antworten und Agentenabläufe werden mit realistischen Testfällen geprüft, damit Änderungen nicht unbemerkt die Qualität verschlechtern.
Typische Lösungen
Welche KI-Systeme ich entwickle
Nicht jede KI-Anwendung braucht dieselbe Architektur. Je nach Aufgabe entsteht ein fokussierter Wissensassistent, ein integrierter Workflow oder ein agentisches System mit mehreren Datenquellen und Werkzeugen.
Interner Wissensassistent mit RAG
Durchsucht Wiki, PDFs, Richtlinien, Produktdokumentation oder andere interne Quellen und beantwortet Fragen mit Quellenbezug.
Typische Einsatzbereiche:
internes Wissensmanagement
Support- und Servicewissen
technische Dokumentation
Richtlinien und Prozesshandbücher
Onboarding neuer Mitarbeitender
Analyse-Assistent über mehrere Datenquellen
Verbindet Fachwissen und strukturierte Daten, bereitet Ergebnisse verständlich auf und unterstützt bei wiederkehrenden Analysen.
Typische Einsatzbereiche:
Management- und Fachbereichsanalysen
Recherche über mehrere interne Systeme
Zusammenführung von Dokumenten und Kennzahlen
Vorbereitung von Reports und Entscheidungen
Agentischer Workflow mit Tool-Zugriff
Bearbeitet mehrstufige Aufgaben, nutzt definierte APIs und interne Tools und holt bei kritischen Aktionen eine Freigabe ein.
Typische Einsatzbereiche:
Ticket- und Fallbearbeitung
Prüfung und Anreicherung von Vorgängen
mehrstufige Recherche
Vorbereitung von Aktionen in CRM oder ERP
koordinierte Abläufe über mehrere Systeme
KI-Funktionen in bestehenden Anwendungen
Integriert Suche, Zusammenfassung, Klassifikation, Extraktion oder Assistenzfunktionen direkt in vorhandene Webanwendungen und Geschäftsprozesse.
Typische Einsatzbereiche:
KI-Funktionen in SaaS-Produkten
intelligente Formulare und Assistenten
Dokumentenverarbeitung
E-Mail- und Ticketanalyse
Copilots für interne Fachanwendungen
Noch nicht sicher, welcher Ansatz zu eurem Fall passt?
Im Erstgespräch klären wir, ob ein RAG-System, ein agentischer Workflow oder eine klassische Automatisierung den größten Nutzen bringt.
Die beste Lösung ist nicht automatisch die autonomste. Je klarer und stabiler ein Prozess ist, desto eher ist eine klassische Automatisierung günstiger, kontrollierbarer und leichter zu betreiben.
Meine Empfehlung richtet sich deshalb nicht nach dem aktuell spannendsten Begriff, sondern nach eurem konkreten Anwendungsfall.
AnsatzSinnvoll, wennBeispielStärkeGrenze
Klassische Automatisierung
Sinnvoll, wenn
Schritte und Regeln eindeutig feststehen.
Beispiel
Daten übertragen, Benachrichtigungen auslösen oder Dokumente nach festen Regeln verarbeiten.
Stärke
Vorhersehbar, schnell, günstig und einfach zu testen.
Grenze
Kann schlecht mit offenen, mehrdeutigen Aufgaben umgehen.
RAG
Sinnvoll, wenn
Antworten auf Basis eigener, veränderlicher Inhalte benötigt werden.
Beispiel
Ein interner Wissensassistent mit Quellenangaben.
Stärke
Unternehmenswissen kann ohne eigenes Modelltraining in Antworten einfließen.
Grenze
Die Qualität hängt stark von Daten, Suche, Chunking, Berechtigungen und Evaluation ab.
Tool Calling
Sinnvoll, wenn
Ein Modell definierte Funktionen oder APIs aufrufen soll.
Beispiel
Kundendaten abfragen, eine Berechnung starten oder ein Ticket vorbereiten.
Stärke
Verbindet Sprachmodelle kontrolliert mit bestehenden Systemen.
Grenze
Tool-Aufrufe müssen validiert, eingeschränkt und überwacht werden.
KI-Agent
Sinnvoll, wenn
Mehrere Schritte geplant, ausgewählt und koordiniert werden müssen.
Beispiel
Eine Analyse über mehrere Quellen mit Rückfragen, Prüfungen und Werkzeugen.
Stärke
Kann flexibler auf komplexe Aufgaben und Zwischenergebnisse reagieren.
Grenze
Erhöht Kosten, Latenz, Testaufwand und Sicherheitsfläche.
RAG holt Wissen in den Kontext. Tool Calling führt definierte Funktionen aus. Ein Agent koordiniert mehrere Schritte und Entscheidungen. Produktive Systeme kombinieren diese Bausteine oft – aber nur dort, wo die zusätzliche Komplexität einen echten Nutzen bringt.
Wenn ein deterministischer Workflow ausreicht, empfehle ich keinen Agenten. Das reduziert Kosten, Latenz, Sicherheitsrisiken und Wartungsaufwand.
Integration statt Insellösung
KI, die mit eurer Systemlandschaft arbeitet
Der eigentliche Wert entsteht selten im Sprachmodell allein. Entscheidend ist, welche Daten das System sicher nutzen kann, welche Aktionen erlaubt sind und wie gut es in bestehende Prozesse eingebunden ist.
Ich entwickle keine isolierten Demo-Chatbots, sondern Anwendungen, die sich in eure bestehende Software- und Datenlandschaft einfügen.
Je nach Projekt erfolgt die Integration über direkte APIs, Event- und Queue-basierte Prozesse, Tool Calling oder standardisierte Schnittstellen wie MCP. Der konkrete Ansatz richtet sich nach Sicherheitsmodell, Betriebsumgebung und vorhandener Architektur.
Wissen und Dokumente
SharePoint
Confluence
Google Drive
interne Wikis
PDFs und Office-Dokumente
Dateiablagen und Dokumentenmanagement
Daten und Plattformen
PostgreSQL und MySQL
Data Warehouses
Databricks
strukturierte APIs
Reporting- und Analytics-Systeme
Vektor- und Suchdatenbanken
Geschäftsprozesse
CRM
ERP
Ticketing
E-Mail
interne Fachanwendungen
Admin- und Kundenportale
Cloud und Infrastruktur
Azure
AWS
eigene Server oder Private Cloud
containerisierte Deployments
bestehende CI/CD- und Monitoring-Systeme
Produktionsreife KI-Systeme
Sicherheit, Qualität und Betrieb sind keine Nacharbeit
Ein KI-Prototyp lässt sich schnell bauen. Ein produktives System braucht zusätzlich klare Zugriffsregeln, reproduzierbare Tests und Transparenz darüber, was im Betrieb passiert.
Diese Themen werden nicht erst kurz vor dem Go-Live ergänzt, sondern von Anfang an in Architektur und Umsetzung berücksichtigt.
Sicherheit und Berechtigungen
Ein KI-System darf nur auf die Daten und Funktionen zugreifen, die für den jeweiligen Nutzer und Anwendungsfall vorgesehen sind.
Dazu gehören unter anderem:
Authentifizierung und rollenbasierte Zugriffe
Berechtigungsfilter bis auf Dokument- oder Datensatzebene
Least-Privilege-Zugriff für Tools und APIs
menschliche Freigabe bei kritischen Aktionen
Trennung vertrauenswürdiger Anweisungen von externen Inhalten
Schutzmaßnahmen gegen Prompt Injection
Validierung von Tool-Aufrufen und Ausgaben
nachvollziehbare und auditierbare Aktionen
Prompt Injection lässt sich nicht durch einen einzelnen Filter lösen. Deshalb setze ich auf mehrere Schutzschichten: begrenzte Tool-Rechte, klare Vertrauensgrenzen, Validierung, Freigaben für risikoreiche Aktionen und Monitoring auffälliger Abläufe.
Evaluation und Qualitätssicherung
KI-Qualität darf nicht nur danach bewertet werden, ob einzelne Antworten gut wirken.
Je nach System prüfe ich unter anderem:
Retrieval-Relevanz und Trefferqualität
Groundedness und Quellenbezug
Vollständigkeit und fachliche Korrektheit
korrekte Tool-Auswahl und Parameter
erfolgreiche Aufgabenerledigung
Verhalten bei unklaren oder fehlerhaften Eingaben
Regressionen nach Modell-, Prompt- oder Workflow-Änderungen
Mit einem festen Eval-Datensatz wird sichtbar, wo das System zuverlässig funktioniert, wo Grenzen liegen und ob eine Änderung die Qualität tatsächlich verbessert.
Monitoring und produktiver Betrieb
Nach dem Go-Live beginnt die kontinuierliche Beobachtung des Systems.
Relevante Betriebsdaten sind zum Beispiel:
Modell- und Tool-Aufrufe
Fehlerquoten und Abbrüche
Latenz und Kosten
Nutzerfeedback
problematische oder unbeantwortete Anfragen
Schutz vor Schleifen und übermäßiger Tool-Nutzung
Aktualität der Wissensquellen
Änderungen an Modellen und Schnittstellen
So bleiben Kosten, Antwortqualität und Sicherheitsgrenzen nachvollziehbar – und Probleme werden sichtbar, bevor sie sich dauerhaft auf Nutzer oder Prozesse auswirken.
Ausgewählte Projekte
KI-Systeme für reale Prozesse und Nutzer
Die folgenden Projekte zeigen zwei unterschiedliche Arten produktiver KI-Anwendungen: einen fokussierten Wissensassistenten und ein komplexeres System mit mehreren Agenten, Datenquellen und Tools.
RAG · Bildung · Wissensmanagement
Interner RAG-Assistent für verteiltes Schulwissen
Ausgangslage
Wichtige Informationen lagen in unterschiedlichen Wiki- und Referenzbereichen. Mitarbeitende mussten Inhalte manuell suchen und konnten schwer nachvollziehen, welche Quelle für eine Antwort relevant war.
Lösung
Ich entwickelte einen internen KI-Assistenten, der vorhandenes Wissen über eine kombinierte semantische und klassische Suche auffindbar macht. Antworten werden mit konkreten Quellen verknüpft, während ein eigener Admin-Bereich die Pflege und Überwachung des Systems ermöglicht.
Komplexe Fragestellungen erforderten Informationen aus mehreren internen Quellen und Systemen. Ein einzelner Chatbot oder statischer Prompt hätte die notwendigen Analyse- und Entscheidungswege nicht zuverlässig abbilden können.
Lösung
Ich arbeitete an einem internen System mit mehreren spezialisierten Agenten, die unterschiedliche Aufgaben, Datenquellen und Tools koordinieren. Die Webanwendung streamt Zwischenergebnisse und integriert sich in eine bestehende Enterprise-Infrastruktur.
Du sprichst von Anfang bis Ende mit mir – und ich setze das System auch selbst um. Es gibt keinen Wechsel vom Sales-Gespräch zu einem unbekannten Umsetzungsteam und kein Junior-Handoff nach der Konzeptphase.
Als ehemaliger CTO verbinde ich technische Umsetzung mit einem Verständnis für Priorisierung, Betrieb, Budget und interne Abstimmung.
Technische Tiefe und Business-Verständnis
Ich denke nicht nur in Modellen und Frameworks, sondern auch in Prozessen, Nutzeranforderungen, Wartbarkeit und wirtschaftlichem Nutzen.
Fullstack statt isolierter KI-Demo
Ich entwickle Backend, Schnittstellen, Datenflüsse und Oberflächen mit und kann KI-Funktionen direkt in bestehende Software integrieren.
Anbieterunabhängige Architektur
Modell, Hosting und Framework werden nach euren Anforderungen ausgewählt – nicht nach einer Herstellerpartnerschaft oder einem bevorzugten Produkt.
Ehrliche technische Einschätzung
Wenn RAG, ein Agent oder ein eigenes KI-System keinen ausreichenden Mehrwert bietet, sage ich das frühzeitig.
Der genaue Ablauf hängt vom Projekt ab. Die grundlegenden Schritte bleiben jedoch ähnlich: erst den Anwendungsfall verstehen, dann Qualität und Architektur definieren und anschließend kontrolliert in den Produktivbetrieb gehen.
1
Use Case und Rahmen klären
Wir prüfen Ziel, Nutzer, Datenquellen, bestehende Systeme, Risiken und den erwarteten Nutzen. Dabei klären wir auch, ob überhaupt ein LLM oder Agent nötig ist.
2
Architektur und Qualitätskriterien definieren
Ich entwerfe Datenfluss, Integrationen, Berechtigungen und Betriebsmodell. Gleichzeitig legen wir fest, woran sich die Qualität des Systems messen lässt.
3
Belastbaren Pilot entwickeln
Wir bauen einen begrenzten, aber realistischen ersten Anwendungsfall – mit echten Daten, ersten Evals und einem klaren Pfad in den Produktivbetrieb.
4
Integrieren und absichern
Anbindung an Systeme, Authentifizierung, Rechte, Monitoring, Fehlerbehandlung und Human-in-the-Loop werden produktionsreif umgesetzt.
5
Go-Live und Weiterentwicklung
Nach dem Launch folgen kontrollierte Ausweitung, Feedback-Loops, Qualitätsmessung und auf Wunsch langfristige Betreuung.
Ihr habt bereits einen Prototyp?
Ich kann auch bestehende KI-Anwendungen analysieren, stabilisieren und auf den produktiven Betrieb vorbereiten.
Ein produktives KI-System berührt nicht nur das Modell, sondern auch Daten, Berechtigungen, Integration und Betrieb. Hier findest du Antworten auf die häufigsten Fragen.
Noch eine offene Frage?
Beschreibe kurz euren Anwendungsfall und du erhältst eine direkte technische Einschätzung.
Was ist der Unterschied zwischen einem KI-Agenten und einem RAG-System?
Ein RAG-System sucht passende Informationen aus euren eigenen Quellen und stellt sie dem Sprachmodell für die Antwort zur Verfügung. Ein Agent kann zusätzlich mehrere Schritte planen, Tools auswählen und Aktionen ausführen. Viele Systeme kombinieren beides – etwa einen Agenten, der zunächst Wissen abruft und anschließend eine definierte Aktion vorbereitet.
Wann ist ein KI-Agent nicht sinnvoll?
Wenn der Prozess klar, stabil und regelbasiert ist, ist eine klassische Automatisierung häufig günstiger, schneller und leichter zu kontrollieren. Auch für reine Wissensfragen reicht oft ein gut gebautes RAG-System. Ein Agent lohnt sich vor allem bei mehrstufigen Aufgaben mit echten Entscheidungen, Verzweigungen und Werkzeugen.
Können bestehende Datenquellen und Tools integriert werden?
Ja. Typische Quellen sind SharePoint, Confluence, Google Drive, PDFs, Datenbanken, CRM, ERP, Ticketing-Systeme, Datenplattformen und interne APIs. Entscheidend ist nicht nur die technische Verbindung, sondern auch, dass bestehende Zugriffsrechte und Sicherheitsgrenzen erhalten bleiben.
Wie werden Berechtigungen und vertrauliche Daten berücksichtigt?
Authentifizierung, Rollen, Dokument- oder Datensatzberechtigungen und begrenzte Tool-Rechte werden von Anfang an in die Architektur aufgenommen. Welches Hosting und welche Modellanbieter geeignet sind, hängt von Datenart, Sicherheitsanforderungen und vorhandener Infrastruktur ab.
Ist ein solches System automatisch DSGVO-konform?
Nein. Pauschal lässt sich das ohne Kenntnis des konkreten Anwendungsfalls nicht versprechen. Ich gestalte Datenflüsse, Hosting, Berechtigungen, Logging und Aufbewahrung datenschutzbewusst. Rechtliche Grundlagen, Verträge und mögliche Datenschutz-Folgenabschätzungen sollten mit Datenschutzbeauftragten oder Legal abgestimmt werden.
Wie lassen sich Halluzinationen verhindern?
Vollständig ausschließen lassen sie sich nicht. RAG, Quellenangaben, klare Antwortregeln und gute Daten reduzieren das Risiko. Zusätzlich werden Retrieval und Antwortqualität mit realistischen Testfällen evaluiert. Bei kritischen Entscheidungen sollte das System Ergebnisse belegen oder eine menschliche Prüfung verlangen.
Wie wird die Qualität eines RAG- oder Agenten-Systems gemessen?
Je nach System messen wir unter anderem Retrieval-Relevanz, Groundedness, Vollständigkeit, korrekte Tool-Nutzung und erfolgreiche Aufgabenerledigung. Ein fester Eval-Datensatz hilft, Regressionen bei Änderungen an Prompts, Modellen, Daten oder Workflows zu erkennen.
Wo kann das System betrieben werden?
Je nach Anforderungen kann die Anwendung in einer bestehenden Cloud-Umgebung, einer EU-Region, einer Private Cloud oder auf eigener Infrastruktur betrieben werden. Die passende Architektur hängt von Daten, Integrationen, Betriebsanforderungen, Kosten und internen Vorgaben ab.
Was kostet ein KI-Agenten- oder RAG-Projekt?
Das hängt vor allem von Datenquellen, Integrationen, Berechtigungen, Qualitätsanforderungen und Betriebsmodell ab. Ein klar begrenzter Pilot lässt sich häufig als definierter Scope planen. Nach dem Erstgespräch erhältst du eine transparente Einschätzung zu Aufwand, Phasen und sinnvollem Einstieg.
Wie lange dauert die Entwicklung?
Ein begrenzter Pilot kann je nach Datenlage und Integrationen innerhalb weniger Wochen entstehen. Ein produktives System mit mehreren Datenquellen, Berechtigungen und betrieblichen Anforderungen benötigt entsprechend mehr Zeit. Wichtig ist, nicht nur eine schnelle Demo zu bauen, sondern früh einen realistischen Weg in den Betrieb zu definieren.
Arbeitest du allein oder im Team?
Die technische Verantwortung und Umsetzung liegen direkt bei mir. Für größere Vorhaben kann ich gezielt mit bestehenden Kundenteams oder spezialisierten Partnern zusammenarbeiten, ohne die Verantwortung an ein wechselndes Agenturteam abzugeben.
Kannst du einen bestehenden KI-Prototyp übernehmen?
Ja. Ich kann bestehende RAG-, Chatbot- oder Agenten-Lösungen analysieren und prüfen, wo Probleme bei Architektur, Retrieval, Qualität, Sicherheit oder Betrieb liegen. Anschließend entsteht ein konkreter Plan für Stabilisierung, Weiterentwicklung oder Neuaufbau.
Erster sinnvoller Schritt
Lass uns herausfinden, welcher KI-Ansatz für euren Fall sinnvoll ist
Ob konkrete Anforderung, bestehender Prototyp oder erste Idee: Im kostenlosen Erstgespräch klären wir, ob ein RAG-System, ein Agent, eine klassische Automatisierung oder eine Kombination daraus den größten Nutzen bringt.
direkte Einschätzung durch den umsetzenden Engineer
kein Sales-Team und keine Agentur-Übergabe
klare Aussage, wenn ein einfacherer Ansatz sinnvoller ist