KI · Lokale KI · Hardware · DSGVO
Lokale KI: welche Hardware brauchen Sie?
Welcher Rechner ein Sprachmodell im eigenen Haus trägt: offene Rechnung für Speicher und Geschwindigkeit, fünf Hardware-Stufen im Vergleich, plus Rechtslage.
Von Lukas Wiens·08. November 2026·15 Min. Lesezeit
Wer eine KI im eigenen Haus betreiben will, stößt schnell auf dieselbe Wand: Die Anleitungen sind da, das Programm ist in zehn Minuten installiert – aber niemand sagt, ob der Rechner unter dem Schreibtisch das überhaupt trägt. Und was man im Netz findet, sind Erfahrungsberichte von Leuten mit zwei Grafikkarten im Keller, nicht Rechnungen für ein Büro mit fünf Leuten.
Dieser Artikel liefert die Rechnung. Er beantwortet drei Fragen in dieser Reihenfolge: Wie viel Speicher braucht ein Modell wirklich? Wie schnell wird es auf welcher Hardware? Und was ändert sich rechtlich, wenn das Modell im eigenen Haus läuft statt in der Cloud – einschließlich der Stelle, an der „im eigenen Haus“ gar nicht mehr stimmt.
Alle Formeln stehen offen da. Sie können jede Zahl nachrechnen, und Sie sollten das tun, bevor jemand Ihnen Hardware verkauft.
Die eine Zahl, die entscheidet: nutzbarer Speicher
Es gibt bei lokalen Sprachmodellen keine graduelle Verschlechterung. Entweder das Modell passt vollständig in den schnellen Speicher – dann läuft es. Oder es passt nicht, dann lagert das System Teile in den langsamen Hauptspeicher oder auf die SSD aus, und die Antwortzeit bricht nicht um 20 Prozent ein, sondern um den Faktor zehn bis fünfzig. Praktisch ist das die Grenze zwischen „benutzt es täglich“ und „hat es zweimal probiert“.
Entscheidend ist dabei nicht der verbaute, sondern der nutzbare Speicher:
- Bei einer Grafikkarte ist das der Grafikspeicher (VRAM), und davon gehen ein bis zwei GB für Treiber und Bildausgabe ab. Eine RTX 4090 mit 24 GB stellt dem Modell realistisch rund 23 GB bereit.
- Bei Apple-Geräten teilen sich System und Modell denselben Speicher. Ab 36 GB gibt macOS der GPU etwa 75 Prozent frei, darunter rund 65 Prozent. Aus 64 GB verbautem Speicher werden also etwa 48 GB nutzbare.
- Der normale Arbeitsspeicher eines PCs zählt für diese Rechnung nicht. Ein Rechner mit 128 GB RAM und einer kleinen Grafikkarte ist für diesen Zweck ein Rechner mit einer kleinen Grafikkarte.
Wie viel Speicher ein Modell belegt – die offene Rechnung
Der Speicherbedarf setzt sich aus drei Posten zusammen:
Gewichte = Parameter × Bits ÷ 8
KV-Cache = Kontext × 0,0494 × Parameter^0,447
Reserve = 1,2 GB
Alles in Gigabyte. „Parameter“ ist die Modellgröße in Milliarden, „Bits“ sind die Bits pro Gewicht, „Kontext“ ist die Kontextlänge in Tausend Token. Die Reserve deckt Laufzeit, Tokenizer und Speicherfragmentierung ab.
Die Gewichte sind der große Posten. „Bits pro Gewicht“ hängt an der Quantisierung – der Methode, mit der ein Modell verkleinert wird, damit es in weniger Speicher passt. Die gängigen Werte: Q4_K_M = 4,8 Bit, Q5_K_M = 5,7 Bit, Q8_0 = 8,5 Bit, unverkleinert (fp16) = 16 Bit. In der Praxis ist Q4_K_M der Standard, weil der Qualitätsverlust für Büroarbeit kaum messbar, die Speichereinsparung aber dramatisch ist: Dasselbe Modell braucht in Q4 nur 30 Prozent dessen, was es unverkleinert bräuchte.
Der KV-Cache ist der Zwischenspeicher für das laufende Gespräch. Er wächst mit der Kontextlänge, also damit, wie viel Vorgeschichte das Modell im Blick behält. Die Formel oben ist nicht geraten, sondern durch zwei nachgerechnete Modelle gelegt: Ein 8-Milliarden-Modell mit 32 Schichten, 8 KV-Köpfen und Kopfbreite 128 belegt 0,125 GB je 1.000 Token, ein 70-Milliarden-Modell mit 80 Schichten und denselben Kopfmaßen 0,33 GB. Durch genau diese zwei Punkte geht die Kurve.
Gegenprobe, damit Sie der Rechnung nicht glauben müssen: Ein 70-Milliarden-Modell in Q4_K_M ergibt nach dieser Formel 42,0 GB Gewichte. Dieselben 42 GB nennt ki-mittelstand.eu unabhängig als VRAM-Bedarf für ein 70B-Modell in Q4_K_M.
So sieht das für Modelle aus, die in der offiziellen Ollama-Bibliothek liegen, gewerblich genutzt werden dürfen und Deutsch brauchbar beherrschen – jeweils Q4 und 8.000 Token Kontext:
| Modell | Wofür es im Büro taugt | Speicher |
|---|---|---|
| 2 Mrd. | Zusammenfassen, Stichworte, Vorsortieren | 2,9 GB |
| 4 Mrd. | kurze E-Mail-Entwürfe | 4,3 GB |
| 9 Mrd. | Alltagsarbeit: Texte, Protokolle, Antworten | 7,7 GB |
| 12 Mrd. | Alltagsarbeit mit mehr Sorgfalt | 9,6 GB |
| 20 Mrd. | Schlussfolgern, mehrstufige Aufgaben | 14,7 GB |
| 27 Mrd. | Verträge, Akten, lange Dokumente | 19,1 GB |
| 31 Mrd. | Verträge, Akten, lange Dokumente | 21,6 GB |
| 122 Mrd. | anspruchsvolle Fachtexte, viele Nutzer | 77,8 GB |
Zwei Beispiele zum Nachrechnen: Das 9-Milliarden-Modell wiegt 9 × 4,8 ÷ 8 = 5,4 GB, dazu 1,1 GB Kontext und 1,2 GB Reserve, macht 7,7 GB. Das 27-Milliarden-Modell wiegt 16,2 GB, dazu 1,7 und 1,2, macht 19,1 GB.
Zwei Dinge daran sind wichtig. Erstens: Unter rund 9 Milliarden Parametern wird deutscher Fließtext, den man aus dem Haus gibt, unzuverlässig. Die kleinen Modelle sind nicht „etwas schlechter“, sie sind für eine andere Aufgabe gut – sortieren, nicht formulieren. Zweitens: Der Sprung von 27 auf 122 Milliarden kostet das Vierfache an Speicher. Dass das größte Modell gewinnt, ist bei lokaler KI fast nie die richtige Antwort.
Die zweite Zahl: Bandbreite, nicht Rechenleistung
Hier liegt der häufigste Denkfehler beim Hardwarekauf. Bei der Textausgabe ist nicht die Rechenleistung der Engpass, sondern die Speicherbandbreite: Für jedes einzelne Token muss das komplette Modell einmal durch den Speicher gelesen werden. Also gilt in erster Näherung
Token/s = Bandbreite × Wirkungsgrad ÷ Gewichte
Bandbreite in GB/s, Gewichte in GB.
Der Wirkungsgrad liegt in der Praxis zwischen 0,30 und 0,60. Auch das ist zurückgerechnet, nicht behauptet: Ein 8-Milliarden-Modell in Q4 auf einer RTX 4090 (1.008 GB/s) liefert gemessen 65 Token/s, das ergibt 0,31. Ein 70-Milliarden-Modell in Q4 auf einer A100 mit 80 GB (2.039 GB/s) liefert 28 Token/s, das ergibt 0,58.
Deshalb steht unten überall eine Spanne und nie eine Einzelzahl. Was auf Ihrer Maschine wirklich herauskommt, weiß man, wenn es dort läuft und gemessen wird. Wer Ihnen vor dem Aufbau eine exakte Zahl nennt, hat sie sich ausgedacht.
Was „schnell genug“ heißt: Nehmen Sie Ihre Lesegeschwindigkeit als Maßstab. 200 Wörter pro Minute sind bei deutschen Texten grob 400 Token pro Minute, also rund 7 Token pro Sekunde als Untergrenze. Darunter warten Sie sichtbar auf den Text. Flüssig wird es bei etwa 10 Token/s, ab 20 wartet niemand mehr – und weiter nach oben merkt man den Unterschied im Büroalltag kaum noch.
Fünf Hardware-Stufen, durchgerechnet
Richtwerte Stand November 2026. Die Spalte „trägt bis“ nennt das größte Modell, das vollständig in den nutzbaren Speicher passt; die Token/s-Werte stehen für ein 9-Milliarden-Modell, also die typische Alltagsarbeit.
| Hardware | Preis | nutzbar | trägt bis | 9 Mrd. |
|---|---|---|---|---|
| Büro-Mac (M-Chip, 16 GB) | vorhanden | 10 GB | 12 Mrd. | 7–13 Tok/s |
| Mac mini M4 Pro, 64 GB | ~2.300 € | 48 GB | 31 Mrd. | 15–30 Tok/s |
| Workstation, RTX 4090 | ~2.400 € | 23 GB | 31 Mrd.* | 56–112 Tok/s |
| Server, 2× RTX 4090 | ~4.800 € | 46 GB | 31 Mrd. | 56–112 Tok/s |
| GPU-Server gemietet (DE) | ~255 €/Mon. | 23 GB | 31 Mrd.* | 50–100 Tok/s |
* knapp: 21,6 GB von 23 GB nutzbar – bei längerem Kontext passt es nicht mehr. Die zugehörigen Speicherbandbreiten: Büro-Mac 120 GB/s, Mac mini M4 Pro 273 GB/s, RTX 4090 1.008 GB/s, gemieteter Server rund 900 GB/s.
Aus dieser Tabelle folgen drei Dinge, die den meisten Kaufberatungen fehlen:
1. Speicher und Geschwindigkeit sind zwei verschiedene Fragen. Der Mac mini hat mit 48 GB mehr als doppelt so viel nutzbaren Speicher wie die 4090-Workstation mit 23 GB – und ist bei den Modellen, die in beide passen, fast viermal langsamer. In der Tabelle fällt der Speichervorteil nicht auf, weil zwischen 31 und 122 Milliarden kein Modell liegt; sobald eines dazukommt, trägt es nur der Mac. Für fast gleiches Geld kaufen Sie entweder Kapazität oder Tempo. Wer Verträge und Akten mit großen Modellen bearbeiten will, nimmt den Speicher. Wer viele kurze Antworten für mehrere Leute braucht, nimmt die Bandbreite.
2. Zwei Grafikkarten machen das System nicht schneller. Sie verdoppeln den Platz, nicht die Bandbreite pro Antwort – deshalb stehen in der Tabelle für eine und für zwei 4090er dieselben Token/s. Die zweite Karte kaufen Sie für größere Modelle und für mehr Personen gleichzeitig, nicht für kürzere Antwortzeiten. Dazu kommt: Dieser Server braucht einen Technikraum. Lautstärke und Abwärme sind nichts fürs Büro.
3. Der vorhandene Büro-Mac ist eine Teststufe, keine Lösung. 7 bis 13 Token/s bei einem 9-Milliarden-Modell liegen genau auf der Grenze, an der man zu warten beginnt – und während das Modell arbeitet, ist der Rechner für alles andere deutlich langsamer. Als Nullkosten-Versuch, um herauszufinden, ob die Leute das Werkzeug überhaupt nutzen, ist er ideal. Als Dauerlösung für fünf Personen nicht. Unter 16 GB wird es sinnlos: Mein eigener Mac mini hat 8 GB, und ich habe dort bewusst kein Ollama installiert, weil für kein ernsthaftes Modell Platz ist.
Was sich rechtlich ändert – und was nicht
Der Grund, aus dem meine Kunden das überhaupt wollen, ist selten die Geschwindigkeit. Es ist die Frage, ob Mandantenakten, Lohndaten oder Patientenunterlagen in einen Cloud-Dienst gegeben werden dürfen. Lokal verändert das die Lage tatsächlich – aber nicht so vollständig, wie oft behauptet wird.
Was wegfällt. Läuft das Modell auf Ihrem Gerät, gibt es keinen Auftragsverarbeiter für die Inhalte, also keinen Vertrag nach Art. 28 DSGVO mit einem KI-Anbieter und keinen Drittlandtransfer nach Art. 44 ff. Genau das ist der Punkt, der ein Berufsgeheimnis nach § 203 StGB erst handhabbar macht: Es gibt niemanden, dem man etwas offenbart.
Was bleibt. Die Verarbeitung findet weiter statt, sie findet nur bei Ihnen statt. Also brauchen Sie weiterhin einen Eintrag im Verzeichnis der Verarbeitungstätigkeiten nach Art. 30, Zugriffsschutz und Protokollierung nach Art. 32, eine Löschfrist für die Chat-Verläufe nach Art. 5 Abs. 1 lit. e – lokale Oberflächen speichern den Verlauf standardmäßig unbegrenzt – und einen Blick auf die Telemetrie der eingesetzten Software, die abgeschaltet gehört und nicht nur „nicht benutzt“ werden soll.
Was hinzukommt. Seit dem 2. August 2026 gelten die Transparenzpflichten aus Art. 50 der KI-Verordnung. Für den internen Bürobetrieb greifen die meisten davon nicht – eine allgemeine Kennzeichnungspflicht für alle KI-erzeugten Inhalte gibt es ausdrücklich nicht. Unabhängig davon gilt aber Art. 4 der KI-Verordnung schon seit Februar 2025 auch für Betreiber: Wer KI im Betrieb einsetzt, muss für ausreichende KI-Kompetenz der damit arbeitenden Personen sorgen. Lokal betrieben ändert daran nichts.
Und die Stelle, an der „lokal“ nicht mehr stimmt. Ein gemieteter GPU-Server ist keine lokale Lösung. Die Daten liegen beim Hoster, der Hoster ist Auftragsverarbeiter, Sie brauchen den Vertrag nach Art. 28 – und damit ist der wesentliche Vorteil weg. Wirtschaftlich kann das trotzdem die richtige Wahl sein, nur sollte dann niemand im Haus im Glauben leben, es stünde im eigenen Serverraum. Wer sich die Frage für den umgekehrten Fall stellt – KI soll auf Firmendaten zugreifen, ohne dass eine Kopie das Haus verlässt –, findet die Regeln dafür im Ratgeber zu MCP-Servern und DSGVO.
„Läuft lokal“ ist eine Behauptung
Das ist der Teil, der in Anleitungen fehlt. Nach der Installation sieht man dem Chatfenster nicht an, ob wirklich nichts nach draußen geht. Die Software kann Aktualisierungen prüfen, Nutzungsdaten melden oder ein Modell nachladen, und all das sieht für den Nutzer gleich aus.
Prüfbar ist es trotzdem: Man misst während einer echten Anfrage die Netzverbindungen des Prozesses mit und schreibt das Ergebnis in ein Protokoll. Erst damit haben Sie etwas, das Sie Ihrem Datenschutzbeauftragten, Ihrer Kammer oder einem Betriebsrat vorlegen können – und zwar als Messung mit Zeitstempel, nicht als Zusicherung eines Dienstleisters.
Verlangen Sie dieses Protokoll. Wenn ein Anbieter eine lokale KI aufbaut und zur Abnahme nur „ist eingerichtet“ liefert, fehlt genau der Nachweis, für den Sie das Ganze machen.
Wann Sie das nicht brauchen
Drei Fälle, in denen ich davon abrate:
Es sind ein oder zwei Personen, und die Daten sind unkritisch. Dann ist ein Geschäftstarif bei einem Cloud-Anbieter mit abgeschaltetem Training billiger, schneller und besser. Lokale KI rechnet sich über die Zahl der Nutzer, weil die Hardware einmal bezahlt wird und Abos pro Kopf laufen.
Es geht darum, eigene Dokumente durchsuchbar zu machen. Das ist eine andere Aufgabe als „ein Modell lokal betreiben“ und hat eine eigene Kostenseite – die steht im Ratgeber über KI-Wissensdatenbanken. Lokale Hardware ist dort ein Baustein, nicht die Lösung.
Niemand im Haus hat es ausprobiert. Bevor Hardware gekauft wird, sollte ein kleines Modell auf einem vorhandenen 16-GB-Rechner zwei Wochen im Einsatz gewesen sein. Nicht wegen der Technik, sondern weil sich dabei zeigt, ob die Leute das Werkzeug benutzen. Die häufigste Fehlinvestition bei lokaler KI ist ein gut dimensionierter Rechner, den niemand anfasst.
Die Kurzfassung
Der Speicher entscheidet, ob es läuft, die Bandbreite, wie schnell. Rechnen Sie zuerst, welches Modell Ihre Arbeit braucht, dann den Speicherbedarf mit der Formel oben, und erst dann schauen Sie auf Hardware. Für Alltagsarbeit im Büro reicht ein Modell mit 9 bis 12 Milliarden Parametern und damit rund 10 GB nutzbarer Speicher; für Verträge und Akten brauchen Sie 20 bis 22 GB. Rechtlich fällt lokal der Auftragsverarbeiter weg, der Rest der DSGVO-Pflichten bleibt – und ein gemieteter Server ist nicht lokal. Zur Abnahme gehört ein Messprotokoll, das belegt, dass nichts nach draußen geht.
Wenn Sie das nicht selbst durchrechnen wollen: Ich mache daraus eine Vorprüfung mit Bericht – welches Modell, welche Hardware, welche Geschwindigkeit, was es gegenüber der Cloud kostet und ab wann es sich rechnet, mit der Rechnung offen daneben. Die Vorprüfung kostet 390 €, die Einrichtung beginnt bei 890 €, und die Preise samt Messprotokoll stehen hier. Ergibt die Rechnung „lassen Sie es“, steht genau das im Bericht.
Quellen und Belege (Stand 8. November 2026): Modellnamen und Größen aus der Ollama-Bibliothek · Speicher- und Geschwindigkeitsformeln mit Gegenproben gegen die Messwerte von ki-mittelstand.eu (8 Mrd. Q4 auf RTX 4090: 65 Token/s; 70 Mrd. Q4 auf A100 80 GB: 28 Token/s; 42 GB VRAM für 70B in Q4_K_M) · Bits pro Gewicht nach den llama.cpp-Quantisierungsstufen, die Ollama verwendet · Hardware-Preise als Richtwerte 11/2026 · Mietpreis GPU-Server: webaion.de, ca. 255 €/Monat inkl. USt. · DSGVO Art. 5, 28, 30, 32, 44 ff. · § 203 StGB · KI-Verordnung (EU) 2024/1689, Art. 4 (seit 2.2.2025) und Art. 50 (seit 2.8.2026)