KI für Ihre Dokumente, ohne Cloud: wie wir eine Pipeline mit lokalem LLM gebaut haben

Wir haben eine Dokumenten-Pipeline gebaut, die vollständig auf einem NAS in unserem Büro läuft. Ein PDF landet in einem überwachten Ordner, und rund eine Minute später ist es zusammengefasst, eingebettet, archiviert und in normaler Sprache abfragbar. Keine Datei verlässt das Gebäude. Keine API-Rechnung am Monatsende.

Hier steht, wie das genau funktioniert, was es gekostet hat, und warum die Datenhoheit, nicht die Modellwahl, der entscheidende Punkt für Dienstleister ist.

01Warum stellen die meisten KI-Projekte die falsche Frage?

Ein lokales LLM beantwortet eine andere Frage als die, mit der die meisten KI-Projekte starten. Die üblichen Gespräche beginnen bei der Modellwahl. Welches Modell ist das klügste. Wer hat das größte Kontextfenster. Diese Sichtweise setzt stillschweigend voraus, dass Ihre Dokumente auf den Servern eines anderen liegen. Für eine Kanzlei, einen Steuerberater oder eine Beratung, die mit Mandantenverträgen arbeitet, ist genau das das ganze Risiko.

Uns interessierte eine andere Frage. Wer kontrolliert die Daten. Also haben wir sie mit einem funktionierenden System beantwortet, nicht mit einer Folie. Eine vollständige RAG-Pipeline, bei der jeder Schritt auf Hardware läuft, die uns gehört, und bei der zu keinem Zeitpunkt etwas an eine Cloud-API geht.

02Was macht die Pipeline, von Anfang bis Ende?

Die Pipeline nimmt ein PDF entgegen und liefert eine belegte Antwort zurück, ohne dass ein Mensch dazwischengreift. Legen Sie ein Dokument in den überwachten Ordner, der Rest läuft automatisch. Ein Python-Watchdog auf Basis von inotify reagiert in dem Moment, in dem die Datei ankommt. pypdf zieht den vollständigen Text, UTF-8, über alle Seiten. Ein typischer Vertrag ergab 1.847 Zeichen.

Danach fasst ein lokales Modell den Text zusammen, wir erzeugen ein Embedding, wir archivieren das Original mit einem Inhalts-Hash, und wir spielen das Ganze in eine Wissensdatenbank ein, mit der Sie chatten können. Der gemessene Durchlauf dauerte rund 62 Sekunden.

Der Sinn der Automatisierung ist nicht Tempo um seiner selbst willen. Es ist, dass kein Mensch einen einzigen Schritt anfassen muss. Das Dokument kommt an, und die Wissensdatenbank aktualisiert sich selbst.

03Warum verdient jedes Werkzeug seinen Platz?

Jedes Werkzeug in der Pipeline erledigt genau eine Aufgabe, und die fachliche Wahl entscheidet über die Qualität der Antwort. Die Zusammenfassung läuft auf Ollama mit qwen2.5, lokal, und erzeugt eine knappe juristische Zusammenfassung in fünf Punkten. Auf dem NAS, einem Intel N100 statt einer GPU-Maschine, hält es rund 12 Token pro Sekunde. Langsam neben einem Rechenzentrum. Schnell genug für ein Dokument, das eintraf, während Sie sich einen Kaffee holten, und es kostet nichts und ruft niemanden an.

Beim Embedding zahlt sich die fachliche Wahl aus. Wir nutzen einen Text-Embeddings-Inference-Server mit einem juristisch trainierten xlm-roberta-Modell, 768 Dimensionen, mehrsprachig über Englisch, Deutsch, Französisch, Italienisch und Spanisch. Es versteht Verträge, NDAs und Pflichten, statt Stichwörter abzugleichen. Das ist der Unterschied zwischen einem Suchfeld und etwas, das die richtige Klausel tatsächlich findet. Auf dem N100 entsteht ein Embedding in rund 1,2 Sekunden.

Die Archivierung läuft über die REST-API von Papra, mit SHA-256-Deduplizierung. Legen Sie dieselbe Datei zweimal ab, wird die zweite erkannt und sauber behandelt, nicht erneut gespeichert. Jedes Dokument bekommt eine feste ID und einen Hash, so bleibt das Archiv von allein sauber.

Der letzte Schritt spielt alles in eine OpenWebUI-Wissensdatenbank ein. Von dort ist es in normaler Sprache abfragbar. Fragen Sie nach den Zahlungsbedingungen in einem Vertrag, und Sie bekommen die Antwort samt genanntem Quelldokument, in Sekunden. Der Acme-Dienstleistungsvertrag, mit dem wir es getestet haben, sind Testdaten, keine echte Mandantenakte. Dieselbe Denkweise steckt hinter unserem GSC-MCP KI-Audit-Workflow: die Werkzeuge sind offen, die Arbeit liegt im sauberen Zusammensetzen.

04Was hat es gekostet, und was nicht?

Der Aufbau kostete zwei Abende und null Euro pro Monat an laufenden Kosten. Hundert Prozent privat, weil es keinen externen Aufruf gibt, den man privat halten müsste. Die Hardware ist ein UGREEN DXP NAS mit einem Intel N100, alles in Docker, aufgesetzt im Februar 2026.

Stellen Sie dem den Reflex gegenüber, denselben Ablauf an ein Cloud-LLM zu hängen. Die Cloud-Variante ist schneller pro Token und braucht kein lokales Setup. Sie bedeutet aber auch, dass die Verträge Ihrer Mandanten Ihre Kontrolle verlassen, dass Sie eine monatliche Rechnung tragen, die mit der Nutzung wächst, und dass Ihre Auftragsverarbeitung nun einen Dritten enthält, den Sie prüfen, dokumentieren und dem Sie vertrauen müssen. Für viele Dienstleistungen ist dieser Tausch schlicht nicht lohnend. Bis wir das gebaut haben, hielten wir die private Variante für weit mühsamer, als sie sich herausstellte.

05Warum ist das für Dienstleister wichtig?

Für Dienstleister ist ein lokales LLM wichtig, weil es die Frage nach der Datenhoheit beantwortet, die die Modellwahl gar nicht berührt.

Eine selbstgehostete Pipeline wie diese hält jedes Mandantendokument in Ihren eigenen vier Wänden, nimmt die laufenden API-Kosten komplett aus der Rechnung, und gibt Ihnen trotzdem das, was alle eigentlich von KI wollen. Dokument hineinlegen, Frage stellen, belegte Antwort bekommen.

Nichts davon ist exotisch. inotify, pypdf, Ollama, ein TEI-Embedding-Server, Papra, OpenWebUI, alles offen und alles selbst hostbar. Die Arbeit lag darin, das Ganze so zusammenzusetzen, dass es unangetastet durchläuft. Genau das bauen wir für Kanzleien und Beratungen, die die Fähigkeit wollen, ohne die Daten aus der Hand zu geben.

Wenn Sie mit sensiblen Mandantendokumenten arbeiten und KI dafür nutzen wollen, ohne sie in irgendeine Cloud zu schicken, lassen Sie uns 30 Minuten reden. Wir zeigen Ihnen, wie eine private, selbstgehostete Dokumenten-Pipeline auf Ihrer eigenen Infrastruktur aussieht.