KI · Lokale KI · Hardware · DSGVO

Lokale KI: welche Hardware brauchen Sie?

Welcher Rechner ein Sprachmodell im eigenen Haus trägt: offene Rechnung für Speicher und Geschwindigkeit, fünf Hardware-Stufen im Vergleich, plus Rechtslage.

Von Lukas Wiens·08. November 2026·15 Min. Lesezeit

Wer eine KI im eigenen Haus betreiben will, stößt schnell auf dieselbe Wand: Die Anleitungen sind da, das Programm ist in zehn Minuten installiert – aber niemand sagt, ob der Rechner unter dem Schreibtisch das überhaupt trägt. Und was man im Netz findet, sind Erfahrungsberichte von Leuten mit zwei Grafikkarten im Keller, nicht Rechnungen für ein Büro mit fünf Leuten.

Dieser Artikel liefert die Rechnung. Er beantwortet drei Fragen in dieser Reihenfolge: Wie viel Speicher braucht ein Modell wirklich? Wie schnell wird es auf welcher Hardware? Und was ändert sich rechtlich, wenn das Modell im eigenen Haus läuft statt in der Cloud – einschließlich der Stelle, an der „im eigenen Haus“ gar nicht mehr stimmt.

Alle Formeln stehen offen da. Sie können jede Zahl nachrechnen, und Sie sollten das tun, bevor jemand Ihnen Hardware verkauft.

Die eine Zahl, die entscheidet: nutzbarer Speicher

Es gibt bei lokalen Sprachmodellen keine graduelle Verschlechterung. Entweder das Modell passt vollständig in den schnellen Speicher – dann läuft es. Oder es passt nicht, dann lagert das System Teile in den langsamen Hauptspeicher oder auf die SSD aus, und die Antwortzeit bricht nicht um 20 Prozent ein, sondern um den Faktor zehn bis fünfzig. Praktisch ist das die Grenze zwischen „benutzt es täglich“ und „hat es zweimal probiert“.

Entscheidend ist dabei nicht der verbaute, sondern der nutzbare Speicher:

  • Bei einer Grafikkarte ist das der Grafikspeicher (VRAM), und davon gehen ein bis zwei GB für Treiber und Bildausgabe ab. Eine RTX 4090 mit 24 GB stellt dem Modell realistisch rund 23 GB bereit.
  • Bei Apple-Geräten teilen sich System und Modell denselben Speicher. Ab 36 GB gibt macOS der GPU etwa 75 Prozent frei, darunter rund 65 Prozent. Aus 64 GB verbautem Speicher werden also etwa 48 GB nutzbare.
  • Der normale Arbeitsspeicher eines PCs zählt für diese Rechnung nicht. Ein Rechner mit 128 GB RAM und einer kleinen Grafikkarte ist für diesen Zweck ein Rechner mit einer kleinen Grafikkarte.

Wie viel Speicher ein Modell belegt – die offene Rechnung

Der Speicherbedarf setzt sich aus drei Posten zusammen:

Gewichte = Parameter × Bits ÷ 8
KV-Cache = Kontext × 0,0494 × Parameter^0,447
Reserve  = 1,2 GB

Alles in Gigabyte. „Parameter“ ist die Modellgröße in Milliarden, „Bits“ sind die Bits pro Gewicht, „Kontext“ ist die Kontextlänge in Tausend Token. Die Reserve deckt Laufzeit, Tokenizer und Speicherfragmentierung ab.

Die Gewichte sind der große Posten. „Bits pro Gewicht“ hängt an der Quantisierung – der Methode, mit der ein Modell verkleinert wird, damit es in weniger Speicher passt. Die gängigen Werte: Q4_K_M = 4,8 Bit, Q5_K_M = 5,7 Bit, Q8_0 = 8,5 Bit, unverkleinert (fp16) = 16 Bit. In der Praxis ist Q4_K_M der Standard, weil der Qualitätsverlust für Büroarbeit kaum messbar, die Speichereinsparung aber dramatisch ist: Dasselbe Modell braucht in Q4 nur 30 Prozent dessen, was es unverkleinert bräuchte.

Der KV-Cache ist der Zwischenspeicher für das laufende Gespräch. Er wächst mit der Kontextlänge, also damit, wie viel Vorgeschichte das Modell im Blick behält. Die Formel oben ist nicht geraten, sondern durch zwei nachgerechnete Modelle gelegt: Ein 8-Milliarden-Modell mit 32 Schichten, 8 KV-Köpfen und Kopfbreite 128 belegt 0,125 GB je 1.000 Token, ein 70-Milliarden-Modell mit 80 Schichten und denselben Kopfmaßen 0,33 GB. Durch genau diese zwei Punkte geht die Kurve.

Gegenprobe, damit Sie der Rechnung nicht glauben müssen: Ein 70-Milliarden-Modell in Q4_K_M ergibt nach dieser Formel 42,0 GB Gewichte. Dieselben 42 GB nennt ki-mittelstand.eu unabhängig als VRAM-Bedarf für ein 70B-Modell in Q4_K_M.

So sieht das für Modelle aus, die in der offiziellen Ollama-Bibliothek liegen, gewerblich genutzt werden dürfen und Deutsch brauchbar beherrschen – jeweils Q4 und 8.000 Token Kontext:

Modell Wofür es im Büro taugt Speicher
2 Mrd. Zusammenfassen, Stichworte, Vorsortieren 2,9 GB
4 Mrd. kurze E-Mail-Entwürfe 4,3 GB
9 Mrd. Alltagsarbeit: Texte, Protokolle, Antworten 7,7 GB
12 Mrd. Alltagsarbeit mit mehr Sorgfalt 9,6 GB
20 Mrd. Schlussfolgern, mehrstufige Aufgaben 14,7 GB
27 Mrd. Verträge, Akten, lange Dokumente 19,1 GB
31 Mrd. Verträge, Akten, lange Dokumente 21,6 GB
122 Mrd. anspruchsvolle Fachtexte, viele Nutzer 77,8 GB

Zwei Beispiele zum Nachrechnen: Das 9-Milliarden-Modell wiegt 9 × 4,8 ÷ 8 = 5,4 GB, dazu 1,1 GB Kontext und 1,2 GB Reserve, macht 7,7 GB. Das 27-Milliarden-Modell wiegt 16,2 GB, dazu 1,7 und 1,2, macht 19,1 GB.

Zwei Dinge daran sind wichtig. Erstens: Unter rund 9 Milliarden Parametern wird deutscher Fließtext, den man aus dem Haus gibt, unzuverlässig. Die kleinen Modelle sind nicht „etwas schlechter“, sie sind für eine andere Aufgabe gut – sortieren, nicht formulieren. Zweitens: Der Sprung von 27 auf 122 Milliarden kostet das Vierfache an Speicher. Dass das größte Modell gewinnt, ist bei lokaler KI fast nie die richtige Antwort.

Die zweite Zahl: Bandbreite, nicht Rechenleistung

Hier liegt der häufigste Denkfehler beim Hardwarekauf. Bei der Textausgabe ist nicht die Rechenleistung der Engpass, sondern die Speicherbandbreite: Für jedes einzelne Token muss das komplette Modell einmal durch den Speicher gelesen werden. Also gilt in erster Näherung

Token/s = Bandbreite × Wirkungsgrad ÷ Gewichte

Bandbreite in GB/s, Gewichte in GB.

Der Wirkungsgrad liegt in der Praxis zwischen 0,30 und 0,60. Auch das ist zurückgerechnet, nicht behauptet: Ein 8-Milliarden-Modell in Q4 auf einer RTX 4090 (1.008 GB/s) liefert gemessen 65 Token/s, das ergibt 0,31. Ein 70-Milliarden-Modell in Q4 auf einer A100 mit 80 GB (2.039 GB/s) liefert 28 Token/s, das ergibt 0,58.

Deshalb steht unten überall eine Spanne und nie eine Einzelzahl. Was auf Ihrer Maschine wirklich herauskommt, weiß man, wenn es dort läuft und gemessen wird. Wer Ihnen vor dem Aufbau eine exakte Zahl nennt, hat sie sich ausgedacht.

Was „schnell genug“ heißt: Nehmen Sie Ihre Lesegeschwindigkeit als Maßstab. 200 Wörter pro Minute sind bei deutschen Texten grob 400 Token pro Minute, also rund 7 Token pro Sekunde als Untergrenze. Darunter warten Sie sichtbar auf den Text. Flüssig wird es bei etwa 10 Token/s, ab 20 wartet niemand mehr – und weiter nach oben merkt man den Unterschied im Büroalltag kaum noch.

Fünf Hardware-Stufen, durchgerechnet

Richtwerte Stand November 2026. Die Spalte „trägt bis“ nennt das größte Modell, das vollständig in den nutzbaren Speicher passt; die Token/s-Werte stehen für ein 9-Milliarden-Modell, also die typische Alltagsarbeit.

Hardware Preis nutzbar trägt bis 9 Mrd.
Büro-Mac (M-Chip, 16 GB) vorhanden 10 GB 12 Mrd. 7–13 Tok/s
Mac mini M4 Pro, 64 GB ~2.300 € 48 GB 31 Mrd. 15–30 Tok/s
Workstation, RTX 4090 ~2.400 € 23 GB 31 Mrd.* 56–112 Tok/s
Server, 2× RTX 4090 ~4.800 € 46 GB 31 Mrd. 56–112 Tok/s
GPU-Server gemietet (DE) ~255 €/Mon. 23 GB 31 Mrd.* 50–100 Tok/s

* knapp: 21,6 GB von 23 GB nutzbar – bei längerem Kontext passt es nicht mehr. Die zugehörigen Speicherbandbreiten: Büro-Mac 120 GB/s, Mac mini M4 Pro 273 GB/s, RTX 4090 1.008 GB/s, gemieteter Server rund 900 GB/s.

Aus dieser Tabelle folgen drei Dinge, die den meisten Kaufberatungen fehlen:

1. Speicher und Geschwindigkeit sind zwei verschiedene Fragen. Der Mac mini hat mit 48 GB mehr als doppelt so viel nutzbaren Speicher wie die 4090-Workstation mit 23 GB – und ist bei den Modellen, die in beide passen, fast viermal langsamer. In der Tabelle fällt der Speichervorteil nicht auf, weil zwischen 31 und 122 Milliarden kein Modell liegt; sobald eines dazukommt, trägt es nur der Mac. Für fast gleiches Geld kaufen Sie entweder Kapazität oder Tempo. Wer Verträge und Akten mit großen Modellen bearbeiten will, nimmt den Speicher. Wer viele kurze Antworten für mehrere Leute braucht, nimmt die Bandbreite.

2. Zwei Grafikkarten machen das System nicht schneller. Sie verdoppeln den Platz, nicht die Bandbreite pro Antwort – deshalb stehen in der Tabelle für eine und für zwei 4090er dieselben Token/s. Die zweite Karte kaufen Sie für größere Modelle und für mehr Personen gleichzeitig, nicht für kürzere Antwortzeiten. Dazu kommt: Dieser Server braucht einen Technikraum. Lautstärke und Abwärme sind nichts fürs Büro.

3. Der vorhandene Büro-Mac ist eine Teststufe, keine Lösung. 7 bis 13 Token/s bei einem 9-Milliarden-Modell liegen genau auf der Grenze, an der man zu warten beginnt – und während das Modell arbeitet, ist der Rechner für alles andere deutlich langsamer. Als Nullkosten-Versuch, um herauszufinden, ob die Leute das Werkzeug überhaupt nutzen, ist er ideal. Als Dauerlösung für fünf Personen nicht. Unter 16 GB wird es sinnlos: Mein eigener Mac mini hat 8 GB, und ich habe dort bewusst kein Ollama installiert, weil für kein ernsthaftes Modell Platz ist.

Was sich rechtlich ändert – und was nicht

Der Grund, aus dem meine Kunden das überhaupt wollen, ist selten die Geschwindigkeit. Es ist die Frage, ob Mandantenakten, Lohndaten oder Patientenunterlagen in einen Cloud-Dienst gegeben werden dürfen. Lokal verändert das die Lage tatsächlich – aber nicht so vollständig, wie oft behauptet wird.

Was wegfällt. Läuft das Modell auf Ihrem Gerät, gibt es keinen Auftragsverarbeiter für die Inhalte, also keinen Vertrag nach Art. 28 DSGVO mit einem KI-Anbieter und keinen Drittlandtransfer nach Art. 44 ff. Genau das ist der Punkt, der ein Berufsgeheimnis nach § 203 StGB erst handhabbar macht: Es gibt niemanden, dem man etwas offenbart.

Was bleibt. Die Verarbeitung findet weiter statt, sie findet nur bei Ihnen statt. Also brauchen Sie weiterhin einen Eintrag im Verzeichnis der Verarbeitungstätigkeiten nach Art. 30, Zugriffsschutz und Protokollierung nach Art. 32, eine Löschfrist für die Chat-Verläufe nach Art. 5 Abs. 1 lit. e – lokale Oberflächen speichern den Verlauf standardmäßig unbegrenzt – und einen Blick auf die Telemetrie der eingesetzten Software, die abgeschaltet gehört und nicht nur „nicht benutzt“ werden soll.

Was hinzukommt. Seit dem 2. August 2026 gelten die Transparenzpflichten aus Art. 50 der KI-Verordnung. Für den internen Bürobetrieb greifen die meisten davon nicht – eine allgemeine Kennzeichnungspflicht für alle KI-erzeugten Inhalte gibt es ausdrücklich nicht. Unabhängig davon gilt aber Art. 4 der KI-Verordnung schon seit Februar 2025 auch für Betreiber: Wer KI im Betrieb einsetzt, muss für ausreichende KI-Kompetenz der damit arbeitenden Personen sorgen. Lokal betrieben ändert daran nichts.

Und die Stelle, an der „lokal“ nicht mehr stimmt. Ein gemieteter GPU-Server ist keine lokale Lösung. Die Daten liegen beim Hoster, der Hoster ist Auftragsverarbeiter, Sie brauchen den Vertrag nach Art. 28 – und damit ist der wesentliche Vorteil weg. Wirtschaftlich kann das trotzdem die richtige Wahl sein, nur sollte dann niemand im Haus im Glauben leben, es stünde im eigenen Serverraum. Wer sich die Frage für den umgekehrten Fall stellt – KI soll auf Firmendaten zugreifen, ohne dass eine Kopie das Haus verlässt –, findet die Regeln dafür im Ratgeber zu MCP-Servern und DSGVO.

„Läuft lokal“ ist eine Behauptung

Das ist der Teil, der in Anleitungen fehlt. Nach der Installation sieht man dem Chatfenster nicht an, ob wirklich nichts nach draußen geht. Die Software kann Aktualisierungen prüfen, Nutzungsdaten melden oder ein Modell nachladen, und all das sieht für den Nutzer gleich aus.

Prüfbar ist es trotzdem: Man misst während einer echten Anfrage die Netzverbindungen des Prozesses mit und schreibt das Ergebnis in ein Protokoll. Erst damit haben Sie etwas, das Sie Ihrem Datenschutzbeauftragten, Ihrer Kammer oder einem Betriebsrat vorlegen können – und zwar als Messung mit Zeitstempel, nicht als Zusicherung eines Dienstleisters.

Verlangen Sie dieses Protokoll. Wenn ein Anbieter eine lokale KI aufbaut und zur Abnahme nur „ist eingerichtet“ liefert, fehlt genau der Nachweis, für den Sie das Ganze machen.

Wann Sie das nicht brauchen

Drei Fälle, in denen ich davon abrate:

Es sind ein oder zwei Personen, und die Daten sind unkritisch. Dann ist ein Geschäftstarif bei einem Cloud-Anbieter mit abgeschaltetem Training billiger, schneller und besser. Lokale KI rechnet sich über die Zahl der Nutzer, weil die Hardware einmal bezahlt wird und Abos pro Kopf laufen.

Es geht darum, eigene Dokumente durchsuchbar zu machen. Das ist eine andere Aufgabe als „ein Modell lokal betreiben“ und hat eine eigene Kostenseite – die steht im Ratgeber über KI-Wissensdatenbanken. Lokale Hardware ist dort ein Baustein, nicht die Lösung.

Niemand im Haus hat es ausprobiert. Bevor Hardware gekauft wird, sollte ein kleines Modell auf einem vorhandenen 16-GB-Rechner zwei Wochen im Einsatz gewesen sein. Nicht wegen der Technik, sondern weil sich dabei zeigt, ob die Leute das Werkzeug benutzen. Die häufigste Fehlinvestition bei lokaler KI ist ein gut dimensionierter Rechner, den niemand anfasst.

Die Kurzfassung

Der Speicher entscheidet, ob es läuft, die Bandbreite, wie schnell. Rechnen Sie zuerst, welches Modell Ihre Arbeit braucht, dann den Speicherbedarf mit der Formel oben, und erst dann schauen Sie auf Hardware. Für Alltagsarbeit im Büro reicht ein Modell mit 9 bis 12 Milliarden Parametern und damit rund 10 GB nutzbarer Speicher; für Verträge und Akten brauchen Sie 20 bis 22 GB. Rechtlich fällt lokal der Auftragsverarbeiter weg, der Rest der DSGVO-Pflichten bleibt – und ein gemieteter Server ist nicht lokal. Zur Abnahme gehört ein Messprotokoll, das belegt, dass nichts nach draußen geht.

Wenn Sie das nicht selbst durchrechnen wollen: Ich mache daraus eine Vorprüfung mit Bericht – welches Modell, welche Hardware, welche Geschwindigkeit, was es gegenüber der Cloud kostet und ab wann es sich rechnet, mit der Rechnung offen daneben. Die Vorprüfung kostet 390 €, die Einrichtung beginnt bei 890 €, und die Preise samt Messprotokoll stehen hier. Ergibt die Rechnung „lassen Sie es“, steht genau das im Bericht.


Quellen und Belege (Stand 8. November 2026): Modellnamen und Größen aus der Ollama-Bibliothek · Speicher- und Geschwindigkeitsformeln mit Gegenproben gegen die Messwerte von ki-mittelstand.eu (8 Mrd. Q4 auf RTX 4090: 65 Token/s; 70 Mrd. Q4 auf A100 80 GB: 28 Token/s; 42 GB VRAM für 70B in Q4_K_M) · Bits pro Gewicht nach den llama.cpp-Quantisierungsstufen, die Ollama verwendet · Hardware-Preise als Richtwerte 11/2026 · Mietpreis GPU-Server: webaion.de, ca. 255 €/Monat inkl. USt. · DSGVO Art. 5, 28, 30, 32, 44 ff. · § 203 StGB · KI-Verordnung (EU) 2024/1689, Art. 4 (seit 2.2.2025) und Art. 50 (seit 2.8.2026)

FAQ

Kurz beantwortet

Ihre Frage ist nicht dabei? Schreiben Sie mir – ich antworte innerhalb von 24 Stunden.

Welche Hardware brauche ich für eine lokale KI?
Das entscheidet eine einzige Zahl: nutzbarer Grafik- oder Unified-Speicher. Das Modell muss vollständig hineinpassen, sonst wird es unbrauchbar langsam. Als Richtwert für deutschsprachige Büroarbeit: ein 9-Milliarden-Modell belegt in der üblichen 4-Bit-Quantisierung rund 7,7 GB, ein 27-Milliarden-Modell rund 19 GB, ein 122-Milliarden-Modell rund 78 GB. Dazu kommt, dass Speicher und Geschwindigkeit zwei verschiedene Fragen sind: Ein Mac mini mit 64 GB trägt größere Modelle als eine RTX 4090, ist bei den Modellen, die in beide passen, aber fast viermal langsamer.
Reicht ein normaler Büro-Rechner für eine lokale KI?
Für einen Testbetrieb mit kleinen Modellen ja, für den Alltag nein. Ein Mac mit M-Chip und 16 GB gibt dem Modell etwa 10 GB frei – damit laufen Modelle bis rund 12 Milliarden Parameter, aber nur mit geschätzt 5 bis 13 Token pro Sekunde. Das ist etwa Lesegeschwindigkeit, also spürbares Warten, und der Rechner ist währenddessen für alles andere deutlich langsamer. Unter 16 GB lohnt es sich nicht: Mein eigener Mac mini hat 8 GB, und ich habe Ollama dort bewusst nicht installiert.
Wie viel Speicher belegt ein Sprachmodell?
Drei Posten: die Gewichte, der Zwischenspeicher für den Gesprächsverlauf und eine Reserve für die Laufzeit. Die Gewichte sind Parameterzahl mal Bits pro Gewicht geteilt durch acht – bei der verbreiteten Quantisierung Q4_K_M sind das 4,8 Bit, ein 9-Milliarden-Modell wiegt also 5,4 GB. Der Zwischenspeicher wächst mit der Kontextlänge und liegt bei 8.000 Token Kontext je nach Modellgröße zwischen 0,5 und 3,4 GB. Plus rund 1,2 GB Reserve. Die komplette Rechnung steht unten offen, damit Sie sie nachprüfen können.
Welches lokale Modell ist für Deutsch gut genug?
Unter rund 9 Milliarden Parametern wird deutscher Fließtext, den man einem Kunden schickt, unzuverlässig – die kleinen Modelle sind gut im Zusammenfassen und Vorsortieren, nicht im Formulieren. Für Alltagsarbeit im Büro ist ein Modell mit 9 bis 12 Milliarden Parametern der vernünftige Einstieg. Für Verträge, Akten und lange Dokumente beginnt der brauchbare Bereich bei etwa 27 Milliarden Parametern – und ab dort ist eine Grafikkarte oder ein Mac mit viel Speicher Pflicht, kein Komfort.
Ist Ollama DSGVO-konform?
Ollama ist Software und damit weder konform noch unzulässig – entscheidend ist der Betrieb. Lokal installiert verarbeitet es Ihre Texte auf Ihrem Gerät, es entsteht kein Auftragsverarbeitungsverhältnis mit einem KI-Anbieter und kein Drittlandtransfer. Zu klären bleiben trotzdem: abgeschaltete Telemetrie, eine Löschfrist für die Chat-Verläufe nach Art. 5 Abs. 1 lit. e DSGVO, Zugriffsschutz nach Art. 32 und der Eintrag im Verzeichnis nach Art. 30. Achtung bei „Ollama Cloud“: Das ist ein Dienst und damit genau das Gegenteil der hier beschriebenen Lösung.
Ist ein gemieteter GPU-Server noch lokal?
Technisch läuft das Modell dann bei einem Hoster, nicht bei Ihnen. Damit ist der Hoster Auftragsverarbeiter und Sie brauchen einen Vertrag nach Art. 28 DSGVO – der Hauptvorteil der lokalen Lösung ist weg. Das kann wirtschaftlich trotzdem richtig sein, ab rund 255 € im Monat für eine 24-GB-Karte in einem deutschen Rechenzentrum. Nur sollte dann niemand im Haus glauben, die Daten lägen im eigenen Serverraum.
Was kostet eine lokale KI gegenüber der Cloud?
Die Hardware ist der große Posten und sie gehört Ihnen: rund 2.300 € für einen Mac mini M4 Pro mit 64 GB, rund 2.400 € für eine Workstation mit RTX 4090, rund 4.800 € für einen Server mit zwei Karten (Richtwerte 11/2026). Laufend kommt praktisch nur Strom dazu – ein Mac mini zieht unter KI-Last rund 30 bis 65 Watt. Gegenüber Cloud-Abos rechnet sich das umso schneller, je mehr Personen es nutzen, weil die Hardware einmal bezahlt wird und die Abos pro Kopf laufen. Ob es sich bei Ihnen rechnet, hängt an der Zahl der Nutzer und nicht am Preis des Geräts.

Nächster Schritt

Reden wir über Ihren Betrieb.

30 Minuten, kostenlos und ehrlich: Ich schaue mir Ihren Betrieb, Ihre Website und Ihre Abläufe an und sage Ihnen, was eine neue Seite, eine Automatisierung oder KI wirklich bringen würde – und was nicht.