KI On-Premises betreiben: Was lokal laufen muss und was nicht

Ein Wissenssystem wie hAiner besteht aus zwei Teilen. Der erste ist die Wissensschicht: der Suchindex, die Verknüpfungen zwischen Personen, Maschinen und Dokumenten, die Zugriffsrechte und die Quellenangaben. Der zweite ist das Sprachmodell, das aus gefundenen Textstellen eine lesbare Antwort formuliert.

Stellt jemand eine Frage, sucht zuerst die Wissensschicht. An das Sprachmodell gehen danach die Frage und die Textstellen, die die Suche gefunden hat. Fachleute nennen dieses Prinzip Retrieval-Augmented Generation, kurz RAG: erst suchen, dann formulieren.

Für die Datensouveränität zählt deshalb vor allem eine Frage: Auf wessen Rechner läuft das Modell, und in welchem Rechtsraum steht er? Im Standardbetrieb von hAiner wird bei Hetzner gespeichert, die KI-Verarbeitung läuft über Mistral AI in Paris. Personenbezogene Daten verlassen dabei den Europäischen Wirtschaftsraum nicht, und auf Kundendaten wird kein Modell trainiert.

Betrieb im Europäischen Wirtschaftsraum. Das ist der Standard. Sie betreiben keine eigene Hardware, die Daten liegen bei europäischen Anbietern.

Vollständig On-Premises. hAiner und das Sprachmodell laufen auf Ihren eigenen Servern. Als Modell kommt Mistral oder ein selbst gehostetes Modell zum Einsatz. Wir haben diesen Betrieb mit Qwen-Modellen getestet, das sind Modelle mit frei verfügbaren Gewichten.

Mischbetrieb. Externe Modelle lassen sich zusätzlich einbinden, auch die der großen US-Anbieter. Welche Daten dafür freigegeben werden, ist dann eine bewusste Entscheidung und kein Nebeneffekt der Architektur.

Qwen stammt von Alibaba, also aus China. Die Frage, ob man damit eine Abhängigkeit gegen eine andere tauscht, ist berechtigt. Der Unterschied liegt im Betrieb: Ein lokal betriebenes Modell ist eine Datei auf Ihrem Server. Es braucht keine Verbindung nach außen, und das lässt sich im Netzwerk prüfen und erzwingen. Die Lizenz des konkreten Modells sollten Sie vor dem Einsatz trotzdem lesen.

An der Spitze führen die geschlossenen Modelle. Der AI Index der Stanford University beziffert den Vorsprung des besten geschlossenen vor dem besten offenen Modell für März 2026 auf 3,3 Prozent. Im August 2024 waren es 0,5 Prozent. Der Abstand ist also wieder gewachsen.

Ranglisten messen allerdings die Spitze, nicht Ihre Aufgabe. Aus drei gefundenen Textstellen eine Antwort zu formulieren und die Quelle zu nennen, ist eine andere Aufgabe als ein mehrstufiges Programmierproblem. Unsere Erfahrung aus dem On-Premises-Betrieb mit Qwen-Modellen: Dafür braucht es nicht immer das größte Modell.

Wo die Grenze liegt, hängt von Ihren Dokumenten und Ihren Fragen ab. Verlässlich klären lässt sich das nur mit einem Test an eigenen Fragen, nicht mit einer Rangliste.

Ein lokales Sprachmodell braucht Server mit Grafikprozessoren. Wie viele, hängt von der Modellgröße und der Zahl gleichzeitiger Nutzer ab. Eine pauschale Zahl nennen wir deshalb nicht.

Dazu kommt der Betrieb. Jemand muss die Hardware überwachen, Updates einspielen und neue Modellversionen prüfen, bevor sie in den Betrieb gehen. Beim Betrieb im Europäischen Wirtschaftsraum übernehmen das die Anbieter.

Für viele Unternehmen ist der Standardbetrieb deshalb die vernünftigere Wahl. On-Premises lohnt sich vor allem dort, wo Daten das Haus nicht verlassen dürfen, etwa wegen Kundenverträgen oder der eigenen Geheimhaltungseinstufung, und wo eine IT-Mannschaft den Betrieb tragen kann.

Anbieter ändern Preise, kündigen Modellversionen ab und passen ihre Bedingungen an. Auch die Hersteller offener Modelle entscheiden selbst, ob sie künftige Versionen wieder frei veröffentlichen. Wer sein Wissenssystem fest an ein Modell bindet, übernimmt dieses Risiko.

Die Konsequenz für die Architektur: Index, Verknüpfungen, Rechte und Quellen gehören in eine Schicht, die Sie kontrollieren. Das Modell wird über eine Schnittstelle angebunden und lässt sich wechseln, ohne dass die Wissensschicht neu aufgebaut werden muss.

Der Gesetzgeber sieht das Wechselproblem ebenfalls. Die EU-Datenverordnung enthält ein eigenes Kapitel zum Wechsel zwischen Datenverarbeitungsdiensten, dessen Pflichten seit dem 12. September 2025 gelten. Ob ein konkreter KI-Dienst darunter fällt, klären Sie mit Ihrer Rechtsberatung. Ein Recht auf Wechsel hilft ohnehin nur, wenn der Wechsel technisch vorbereitet ist.

Die Datenschutzkonferenz hält in ihrem Positionspapier zu souveränen Clouds fest, dass weder „Digitale Souveränität“ noch „Souveräne Cloud“ Rechtsbegriffe sind. Zu ihren Kriterien zählen Nachvollziehbarkeit durch Transparenz sowie Datenhoheit und Kontrollierbarkeit. Dieser Abschnitt ist keine Rechtsberatung.

Drei Fragen helfen bei der Entscheidung:

• Welche Daten dürfen Ihr Haus nicht verlassen, und wer hat das festgelegt?
• Wer betreibt bei Ihnen Server mit Grafikprozessoren, auch nachts und im Urlaub?
• Wie schnell müssten Sie das Modell wechseln können, wenn ein Anbieter seine Bedingungen ändert?

Wer bei der ersten Frage keine harte Grenze findet, ist mit dem Betrieb im Europäischen Wirtschaftsraum meist gut bedient. Die datenschutzrechtliche Seite beschreiben wir auf unserer Themenseite DSGVO-konforme KI im Mittelstand.

Wenn Sie wissen möchten, welche Variante zu Ihrer Infrastruktur passt, buchen Sie ein Erstgespräch mit Live-Demo (45 Minuten, kostenlos).