Lokale KI · Einrichtung · Nachweis
KI im Büro. Und die Akten bleiben im Haus.
„Wir würden ja gerne, aber wir dürfen keine Mandantendaten in die Cloud geben.“ Dann läuft das Modell eben bei Ihnen: auf einem Gerät in Ihrem Haus, erreichbar nur von dort, ohne Internet im Betrieb. Zur Abnahme gehört ein Messprotokoll, das belegt, dass nichts nach draußen geht.
- 0 €
- Lizenzkosten. Ollama steht unter MIT-Lizenz, Open WebUI ist offen. Es gibt nichts zu abonnieren.
- 0
- Verbindungen nach draußen – gemessen während einer echten Anfrage, als Protokoll in Ihrer Hand.
- kein AVV
- Kein Auftragsverarbeitungsvertrag nötig, weil kein Dritter mitliest. Bei jeder Cloud-KI ist er Pflicht.
- ab 390 €
- für die Vorprüfung mit offener Rechnung. Wird bei Beauftragung voll angerechnet.
Stand 7. November 2026. Alle Zahlen auf dieser Seite sind gerechnet oder belegt, und jede Rechnung steht daneben – auch die, die gegen eine lokale KI ausgeht. Was offen ist, steht weiter unten unter „Was ich nicht verspreche“.
01 — Für wen das ist
Nicht für alle, die KI wollen. Für die, die die Cloud nicht nehmen dürfen.
Wer frei entscheiden kann, nimmt ein Cloud-Modell – es ist besser und billiger im Einstieg. Diese Seite ist für Büros mit Berufsgeheimnis, Betriebsrat oder einem Datenschutzbeauftragten, der bei „die Daten gehen an einen Anbieter“ den Stift hinlegt: Steuerberater, Kanzleien, Lohnbüros, Praxisverwaltungen, Ingenieurbüros, Personalabteilungen.
| Merkmal | KI in der Cloud | KI im eigenen Haus |
|---|---|---|
| Wo die Texte verarbeitet werden | auf Servern des Anbieters, meist außerhalb der EU | auf einem Gerät in Ihrem Haus |
| Auftragsverarbeitungsvertrag | Pflicht, dazu Prüfung der Unterauftragnehmer | entfällt – es gibt keinen Dritten |
| Eintrag „Empfänger" im Verarbeitungsverzeichnis | der Anbieter und seine Dienstleister | „keine" |
| Was beim Ausfall Ihrer Leitung passiert | KI ist weg | KI läuft weiter, sie braucht kein Internet |
| Kosten je Anfrage | Richtwert 0,024 € – es summiert sich | 0 € – nur Strom |
| Qualität der Antworten | die besten Modelle, die es gibt | ehrlich: eine Stufe darunter |
Die letzte Zeile steht absichtlich mit drin. Offene Modelle sind eine Stufe schwächer als die großen Cloud-Modelle, und das merken Sie bei langen Fachtexten. Wer Ihnen das verschweigt, verliert Ihr Vertrauen beim ersten Vergleich – ich sage es lieber vorher.
02 — Der Nachweis
„Läuft lokal“ ist eine Behauptung. Das hier ist eine Messung.
Während eine echte Anfrage an das Modell läuft, wird im Sekundentakt mitgeschrieben, mit welchen Gegenstellen der KI-Dienst verbunden ist. Jede Adresse außerhalb Ihres Rechners und Ihres Netzes lässt die Prüfung durchfallen. So sieht das Protokoll aus, das Ihr Datenschutzbeauftragter bekommt.
| Zeile im Protokoll | Inhalt |
|---|---|
| Geprüft am | ⟨Datum und Uhrzeit der Messung⟩ |
| Rechner | ⟨Gerätename⟩ · Darwin arm64 |
| Geprüfter Dienst | ollama |
| Dauer der Messung | 20 Sekunden, Abtastung im Sekundentakt |
| Gestellte Frage | eine echte Anfrage an das Modell, nicht der Ruhezustand |
| Verbindungen im Haus | 2 |
| Verbindungen nach draußen | 0 |
| Ergebnis | bestanden – nichts hat den Rechner verlassen |
Das Werkzeug prüft sich selbst
Die Einteilung „im Haus / nach draußen“ folgt den privaten Netzen nach RFC 1918 und 4193 und lässt sich mit einem Befehl gegenprüfen. Beim Test musste sie auch 172.15.0.0 und 172.32.0.0 als „draußen“ erkennen – die liegen knapp neben dem privaten Bereich und sind die typische Falle.
Es findet auch wirklich etwas
Ich habe das Werkzeug absichtlich auf ein Programm gerichtet, das nach draußen telefoniert. Es hat drei Verbindungen gefunden und die Prüfung durchfallen lassen. Ein Prüfwerkzeug, das immer „bestanden“ sagt, ist wertlos.
Kein Bestanden ohne Messung
Ist der KI-Dienst nicht installiert oder läuft er nicht, bricht das Werkzeug mit einer eigenen Meldung ab – und zählt ausdrücklich nicht als bestanden. Stille gilt hier nicht als Beweis.
Was das Protokoll ausdrücklich nicht behauptet, steht in jedem Protokoll mit drin: Es gilt für diese Messung und nicht für alle Zeit – nach jeder Änderung wird es neu geführt. Das erste Herunterladen eines Modells braucht Internet; dabei fließen keine Firmendaten hinaus, es wird nur geladen. Und geprüft ist der KI-Dienst, nicht jedes andere Programm auf dem Rechner.
03 — Was es braucht
Nicht das größte Modell gewinnt, sondern das, das flüssig läuft.
Bei der Textausgabe ist nicht die Rechenleistung der Engpass, sondern die Speicherbandbreite: Für jedes Wortteil muss das ganze Modell einmal durch den Speicher gelesen werden. Deshalb lässt sich vorher ausrechnen, was eine Maschine leisten wird – und deshalb ist ein Modell, das gerade noch in den Speicher passt, meist die falsche Wahl.
| Maschine | Anschaffung | Sinnvollstes Modell | Wortteile je Sekunde |
|---|---|---|---|
| Vorhandener Büro-Mac, 16 GB | vorhanden | gemma3:4b | 15–30 |
| Mac mini M4 Pro, 64 GB | 2.300 € | gemma4:12b | 11–23 |
| Workstation mit RTX 4090 | 2.400 € | qwen3.5:27b | 19–37 |
| Server mit 2× RTX 4090 | 4.800 € | gemma4:31b | 16–33 |
| Gemieteter GPU-Server (DE) | 255 €/Monat | gemma4:31b | 15–29 |
Beispielwerte für den Büroalltag mit zwei gleichzeitigen Nutzern, gerechnet mit meinem Dimensionierungs-Werkzeug. Die Formel ist an zwei öffentlich gemessene Werte angepasst (ein 8-Milliarden-Modell auf einer RTX 4090: 65 Wortteile je Sekunde; ein 70-Milliarden-Modell auf einer A100: 28) und liefert für ein 70-Milliarden-Modell genau die 42 GB Speicherbedarf, die auch ki-mittelstand.eu nennt. Modellnamen und Größen aus der Ollama-Bibliothek, nachgesehen am 7. November 2026. In Ihrem Bericht steht Ihre Zahl – und nach dem Aufbau die gemessene daneben.
Zum Einordnen: Flüssiges Lesen sind etwa 10 Wortteile in der Sekunde, ab 20 wartet niemand mehr. Reicht es für Ihren Fall nicht, nennt der Bericht drei Wege – kleineres Modell, kürzerer Kontext über einen Wissensagenten, oder mehr Budget für Grafikspeicher. In dieser Reihenfolge, denn die teuerste Lösung steht hinten.
Wenn Sie das selbst nachrechnen wollen, bevor Sie mit mir sprechen: Die beiden Formeln – Speicherbedarf und Geschwindigkeit –, die Tabelle aller acht Modelle und die fünf Hardware-Stufen im Vergleich stehen offen im Ratgeber welche Hardware eine lokale KI wirklich braucht. Dort steht auch, wann sich das nicht lohnt.
04 — Ablauf
Fünf Schritte. Der erste kostet 390 € und darf „lassen Sie es“ ergeben.
Die Vorprüfung ist kein Verkaufsgespräch, sondern ein Bericht mit Zahlen, die Sie nachrechnen können. Beauftragen Sie danach eine Einrichtung, werden die 390 € voll angerechnet – Sie zahlen sie also nur, wenn Sie es nicht tun.
Schritt 01
Vorprüfung
390 €, 3 Werktage
Sie bekommen einen Bericht: welches Modell zu Ihrer Arbeit passt, welche Hardware es trägt, wie schnell es wird, was es gegenüber der Cloud kostet und ab wann es sich rechnet. Die Rechnung steht offen daneben, Sie können sie nachprüfen. Lohnt es sich bei Ihnen nicht, steht genau das drin – und die 390 € haben Sie dann trotzdem nicht umsonst bezahlt, weil Sie eine belastbare Antwort haben statt eines Bauchgefühls.
Schritt 02
Hardware, die Sie selbst kaufen
Einkaufsliste von mir
Sie bekommen genaue Modellbezeichnungen und Händler und kaufen selbst. Ich schlage auf Hardware nichts auf und will sie nicht durch meine Bücher laufen lassen – als Kleinunternehmer wäre meine Umsatzgrenze nach fünf Kunden gerissen, und Sie hätten den Aufschlag bezahlt. Wer schon einen starken Rechner hat, überspringt den Schritt.
Schritt 03
Einrichten und abschotten
1 Tag vor Ort oder per Fernzugriff
Ollama und die Oberfläche Open WebUI werden installiert und auf 127.0.0.1 festgenagelt – der Dienst ist dann nicht einmal aus Ihrem eigenen Netz erreichbar. Telemetrie aus, Selbstregistrierung gesperrt, Anmeldung Pflicht. Das ist nichts davon voreingestellt; genau deshalb wird es gemacht und nicht angenommen.
Schritt 04
Papiere und Löschregel
liegt bei der Übergabe dabei
Eintrag für Ihr Verarbeitungsverzeichnis nach Art. 30 DSGVO, fertig zum Einfügen. Rollen- und Rechtekonzept. Und eine Löschregel, die Chat-Verläufe nach 30 Tagen technisch erzwungen löscht – nicht als Bitte an Ihre Leute, sondern als Aufgabe, die nachts um drei läuft und ein Protokoll schreibt.
Schritt 05
Nachweis und Einweisung
ohne Nachweis keine Abnahme
Während einer echten Anfrage wird im Sekundentakt mitgeschrieben, mit welchen Gegenstellen der KI-Dienst verbunden ist. Jede Adresse außerhalb Ihres Hauses lässt die Prüfung durchfallen. Dazu eine Stunde Einweisung mit Teilnehmerliste – das deckt die KI-Kompetenzpflicht ab, die nach Art. 4 KI-VO seit dem 02.02.2025 auch für kleine Unternehmen gilt.
05 — Pakete
Festpreise. Hardware kaufen Sie selbst, ohne Aufschlag.
Was eine Einrichtung kostet, hängt an zwei Fragen: Steht die Maschine schon da, und sollen Ihre eigenen Dokumente mit hinein? Beides wissen wir nach der Vorprüfung – deshalb steht hier ein Preis und keine Spanne.
A · Auf Ihrer Hardware
890 €
einmalig · 5 Werktage
Sie haben schon einen starken Rechner – einen Mac mit M-Chip ab 32 GB oder eine Workstation mit Grafikkarte.
- Ollama + Open WebUI, abgeschottet auf 127.0.0.1
- 1 Modell nach Vorprüfung, auf Deutsch geprüft
- Nutzerverwaltung und Rechtekonzept
- Löschregel 30 Tage, technisch erzwungen
- Datenschutz-Nachweis als Messprotokoll
- Eintrag für das Verarbeitungsverzeichnis
- 1 Stunde Einweisung, dokumentiert
- 2 Runden Nachbesserung in 4 Wochen
- Hardware-Beschaffung
- Anbindung Ihrer Dokumente
Meistens das Richtige
B · Mit neuer Maschine
1.290 €
einmalig · 8 Werktage
Es soll ein eigenes Gerät sein, das unter dem Schreibtisch oder im Technikraum steht und von selbst wieder anläuft.
- alles aus Paket A
- Einkaufsliste mit Modellbezeichnungen (Sie kaufen selbst)
- Aufbau und Betrieb als Dienst – läuft nach Stromausfall allein wieder an
- Geschwindigkeit auf Ihrer Maschine gemessen und schriftlich festgehalten
- Anbindung Ihrer Dokumente
C · Mit Ihren Dokumenten
2.290 €
einmalig · 15 Werktage
Die KI soll nicht nur schreiben, sondern Ihre eigenen Akten, Verträge und Handbücher kennen.
- alles aus Paket B
- bis 2.000 Dokumente eingelesen
- Quellenangabe in jeder Antwort – nachprüfbar statt geraten
- Berechtigungen bis auf Ordnerebene
Vorprüfung 390 € – wird bei Beauftragung voll angerechnet. Pflege, optional: 79 € im Monat, monatlich kündbar: Modell- und Software-Aktualisierung im Quartal, der Datenschutz-Nachweis dabei jedes Mal neu geführt (eine Aktualisierung kann ihn entwerten), Prüfung des Löschprotokolls, eine Rückfrage im Monat. Vergleichsweise verlangt ein anderer Anbieter 890 € für die Vorprüfung, ab 1.490 € für die Einrichtung und 249 € im Monat für den Betrieb. Alle Beträge hier sind Endpreise: als Kleinunternehmer nach § 19 UStG weise ich keine Umsatzsteuer aus.
Was Sie bekommen
- Eine KI, die ohne Internet arbeitet – und damit auch dann, wenn Ihre Leitung ausfällt.
- Das Messprotokoll, dass während einer echten Anfrage nichts nach draußen ging.
- Den fertigen Eintrag für Ihr Verarbeitungsverzeichnis nach Art. 30 DSGVO.
- Eine Löschregel, die nach 30 Tagen löscht, weil sie es muss – mit Protokoll, nicht mit Vertrauen.
- Eine dokumentierte Einweisung Ihrer Leute, die die KI-Kompetenzpflicht nach Art. 4 KI-VO abdeckt.
- Alles liegt bei Ihnen. Hört die Zusammenarbeit auf, läuft die KI weiter.
Was ich nicht verspreche
- Keine Antwortqualität auf dem Niveau der großen Cloud-Modelle – offene Modelle sind eine Stufe darunter.
- Keine „DSGVO-Konformität“ als Zusage. Die hängt an Ihren Abläufen, nicht an meiner Installation.
- Keine Rechtsberatung. Die Unterlagen sind Vorarbeit für Ihren Datenschutzbeauftragten.
- Keinen Hardware-Verkauf und keinen Aufschlag auf Geräte.
- Keine erfundene Zeitersparnis. Was es Ihnen bringt, wissen nur Sie.
- Keine Kundenreferenz, solange ich keine habe.
Und das Wichtigste, bevor Sie fragen müssen
Bei einem Kunden läuft das heute noch nicht. Die Werkzeuge sind fertig und nachprüfbar getestet – der Dimensionierungs-Rechner gegen zwei öffentlich gemessene Vergleichswerte, das Nachweis-Werkzeug auch gegen ein Programm, das wirklich nach draußen telefoniert, damit belegt ist, dass es Funde findet. Eine Kundenreferenz kann ich Ihnen heute nicht nennen, weil ich sie nicht habe. Ich hätte mir eine ausdenken können. Stattdessen mache ich Ihnen ein anderes Angebot: die Vorprüfung für 390 €, voll angerechnet, wenn Sie weitermachen – und mit einem Bericht, in dem auch „bei Ihnen lohnt sich das nicht“ stehen darf. Dieser Satz schreibt sich bei mir von selbst, wenn die Zahlen so liegen.
06 — Anfrage
Drei Angaben, und Sie wissen, woran Sie sind.
Branche, Einsatzzweck, Zahl der Nutzer. Mehr brauche ich für die Vorprüfung nicht. Eine Mail, eine Antwort innerhalb von 24 Stunden – auch wenn sie „lassen Sie es“ lautet.
Die Mail öffnet sich in Ihrem Mailprogramm mit den Fragen schon drin – Sie füllen nur aus. Oder direkt an lukas@wienstechnology.com, Telefon 0176 20330712.
Was im Bericht steht
- Welches Modell zu Ihrer Arbeit passt – und warum nicht das größte.
- Welche Maschine es trägt, mit Preis und erwarteter Geschwindigkeit.
- Die Rechnung dazu, offengelegt, damit Sie sie nachprüfen können.
- Was es gegenüber der Cloud kostet und nach wie vielen Monaten es sich rechnet.
- Was datenschutzrechtlich dazugehört – inklusive Betriebsrat und § 203 StGB.
- Und falls es sich nicht lohnt: genau dieser Satz, mit den Zahlen dahinter.
Die KI-Kompetenzpflicht nach Art. 4 KI-VO gilt seit dem 02.02.2025 auch für kleine Unternehmen – Einordnung. Die dokumentierte Einweisung ist deshalb in jedem Paket enthalten.
FAQ
Was Chefs und Datenschützer vorher wissen wollen.
Ihre Frage ist nicht dabei? Schreiben Sie mir – ich antworte innerhalb von 24 Stunden.
Ist eine lokale KI damit automatisch DSGVO-konform?
Sind die offenen Modelle so gut wie ChatGPT?
Wie schnell antwortet das?
Was kostet der Betrieb im Monat?
Warum kaufen Sie die Hardware nicht einfach für uns?
Geht das auch auf einem gemieteten Server in Deutschland?
Läuft das schon bei jemandem?
Wer sind Sie überhaupt, und was haben Sie damit zu tun?
Nächster Schritt
Erst rechnen, dann kaufen.
Die Vorprüfung kostet 390 € und dauert drei Werktage: Sie bekommen Modell, Hardware, Geschwindigkeit, Kostenvergleich und die datenschutzrechtliche Liste – mit offener Rechnung daneben. Beauftragen Sie danach eine Einrichtung, wird der Betrag voll angerechnet.