Im eigenen Gebäude
Server im eigenen Serverraum. Volle physische Kontrolle, auch ganz ohne Internet. Dafür gehören Ihnen auch Strom, Kühlung und die Ausfälle um drei Uhr nachts.
Locul / Leitfäden / On-Premise-LLM
On-Premise-LLM: was der Betrieb für 20 bis 150 Mitarbeitende wirklich verlangt.
Die meisten Anleitungen zu lokaler KI richten sich an Bastler mit einer Grafikkarte zu Hause. Dieser Leitfaden ist für die IT-Leitung, die dem Vorstand eine Kaufempfehlung vorlegen muss: was Sie für Ihre Teamgröße brauchen, was der Serverraum aushalten muss, wer den Betrieb übernimmt, und wann ein dedizierter Server in der EU die bessere Antwort ist.
Kurz gesagt
Ein On-Premise-LLM ist ein Sprachmodell auf GPU-Servern, die Ihrem Unternehmen gehören. Kein Prompt und kein Dokument verlässt Ihr Netz. Für 20 bis 150 Mitarbeitende heißt das meist: ein oder zwei Server mit zwei bis vier Rechenzentrums-GPUs, ein Rack mit ausreichend Strom und Kühlung, und eine Person, die für die Updates verantwortlich ist.
Wenn Ihre Vorgabe "Daten unter unserer Kontrolle" lautet und nicht "Daten in unserem Gebäude", erfüllt ein dedizierter Server in einem EU-Rechenzentrum denselben Zweck mit weniger Aufwand.
Drei Bedeutungen von "On-Premise"
Klären Sie zuerst, was Ihr Vertrag meint.
Ihr Rack, fremdes Gebäude
Eigene Hardware in einem Colocation-Rechenzentrum. Bessere Infrastruktur, Ihre Geräte, Ihre Schlüssel.
Dedizierter Server in der EU
Ein Server nur für Ihr Unternehmen, etwa in Deutschland oder Finnland. Mit niemandem geteilt, keine Drittlandübermittlung, nichts zu warten.
Hardware nach Teamgröße
Planen Sie für die vollsten zehn Minuten, nicht für den Durchschnitt.
Entscheidend ist, wie viele Personen gleichzeitig fragen. Im Büro ist das montags um 9:15 Uhr etwa ein Viertel bis ein Drittel der täglichen Nutzer.
| Tägliche Nutzer | Gleichzeitig | Modellklasse | GPU-Speicher | Typischer Aufbau |
|---|---|---|---|---|
| 10 bis 25 | 4 bis 8 | Mittel, etwa 30B | 48 bis 96 GB | 1 Server, 2 Workstation-GPUs mit je 48 GB |
| 25 bis 60 | 8 bis 20 | Groß, etwa 70B, oder 30B mit langen Dokumenten | 160 bis 192 GB | 1 Server, 2 x 80 bis 96 GB oder 4 x 48 GB |
| 60 bis 150 | 20 bis 45 | Groß, dazu ein kleines schnelles Modell | ab 320 GB | 2 Server mit je 4 GPUs, damit einer ausfallen darf |
Ein Server mit 4 GPUs zieht unter Last etwa 2 bis 3 kW und gibt fast alles als Wärme ab. Bei 29°C im Serverraum drosseln die GPUs genau an den Nachmittagen, an denen alle sie brauchen. Erst die Kühlung, dann die Karten.
Was im Angebot fehlt
Der Server ist der einfache Teil.
Updates
GPU-Treiber, Inferenz-Server, Chat-Oberfläche und Betriebssystem bringen Updates, die sich gegenseitig stören. Jemand muss jedes testen.
Backups
Chats, Dateien und der Suchindex. Den Index einer großen Dokumentenablage neu aufzubauen kann einen Arbeitstag dauern.
Ausfälle
GPUs fallen aus, meist ohne Vorwarnung. Mit nur einem Server steht der Dienst, bis Ersatz da ist.
Rechte
Single Sign-on, Gruppen wie Ihre Teams, und Antworten, die Dateirechte beachten.
Protokoll
Wer was gefragt hat und welche Dateien in die Antwort eingeflossen sind, lesbar für Ihren Datenschutz.
Modellwechsel
Alle paar Monate erscheinen bessere Modelle. Testen und Umstellen dauert jedes Mal ein paar Tage.
Vor der Vorstandssitzung
Eine Empfehlung statt "kommt drauf an".
Die Klausel klären
Fragen Sie schriftlich, ob ein dedizierter Server in einem deutschen Rechenzentrum genügt. Wenn ja, fällt die halbe Liste weg.
Den Raum ertüchtigen
Kühlung, die den Rack-Zulauf auch im Hochsommer unter 27°C hält, und eine passende USV.
Für Spitzen planen, für Ausfälle kaufen
Ein 4-GPU-Server für rund 40 tägliche Nutzer. Ein zweiter nur, wenn ein Tag ohne KI die Arbeit stoppt.
Verantwortung benennen
Eine Person oder ein Partner für Updates, Backups und Modellwechsel, mit Zeit dafür.
Mit eigenen Dokumenten testen
Eine Woche echter Fragen aus drei Teams sagt mehr als jeder Benchmark, auch unserer.
Der Office-KI-Benchmark
Wir testen offene Modelle an echter Büroarbeit: unordentliche E-Mails, Tabellen mit kaputten Formeln, weitergeleitete Ketten. Sehen Sie, wie nah sie an die großen Cloud-Modelle herankommen.
Fragen zum On-Premise-LLM
Von IT-Leitungen gefragt, klar beantwortet.
Was ist ein On-Premise-LLM?
Ein großes Sprachmodell, das auf Servern läuft, die Ihrem Unternehmen gehören, im eigenen Gebäude oder in einem Rack, das Sie in einem Rechenzentrum kontrollieren. Eingaben und Dokumente werden dort verarbeitet und nicht an einen Cloud-Anbieter geschickt.
Wie viel GPU-Speicher brauchen wir?
Genug für das Modell und die gleichzeitig laufenden Gespräche. Als Faustregel braucht ein Modell mit 30 Milliarden Parametern in 8 Bit rund 32 GB für die Gewichte, ein 70-Milliarden-Modell rund 75 GB, jeweils plus Reserve für jede aktive Person.
Läuft ein On-Premise-LLM ohne Internet?
Ja. Nach der Installation läuft alles in Ihrem Netz. Updates werden nach Ihrem Zeitplan und auf dem Weg eingespielt, den Ihre Sicherheitsrichtlinie erlaubt.
Ist ein Server im Haus sicherer als ein dedizierter Server im Rechenzentrum?
Er gibt Ihnen physische Kontrolle, die manche Verträge verlangen. Ein dedizierter Server in einem EU-Rechenzentrum wird ebenfalls mit niemandem geteilt und hat meist bessere Stromversorgung, Kühlung und Zutrittskontrolle als ein Büro-Serverraum.
Kann Locul auf unseren eigenen Servern laufen?
Ja, auch in abgeschotteten Netzen. Ein zertifizierter Partner oder unser Team richtet es ein und hält es aktuell. Mehr unter Bereitstellung.
Nächster Schritt
Lassen Sie Locul für Ihr Haus dimensionieren.
Ein Gespräch. Wir lesen die Klausel mit Ihnen, planen die Hardware für Ihre Teamgröße und zeigen Locul darauf.
- Läuft auf Ihren Servern, auch ohne Internet
- Eingerichtet und gepflegt von einem Partner oder uns
- Pro Arbeitsplatz, nie pro Anfrage