Lokale KI · Einrichtung · Nachweis

KI im Büro. Und die Akten bleiben im Haus.

„Wir würden ja gerne, aber wir dürfen keine Mandantendaten in die Cloud geben.“ Dann läuft das Modell eben bei Ihnen: auf einem Gerät in Ihrem Haus, erreichbar nur von dort, ohne Internet im Betrieb. Zur Abnahme gehört ein Messprotokoll, das belegt, dass nichts nach draußen geht.

0 €
Lizenzkosten. Ollama steht unter MIT-Lizenz, Open WebUI ist offen. Es gibt nichts zu abonnieren.
0
Verbindungen nach draußen – gemessen während einer echten Anfrage, als Protokoll in Ihrer Hand.
kein AVV
Kein Auftragsverarbeitungsvertrag nötig, weil kein Dritter mitliest. Bei jeder Cloud-KI ist er Pflicht.
ab 390 €
für die Vorprüfung mit offener Rechnung. Wird bei Beauftragung voll angerechnet.

Stand 7. November 2026. Alle Zahlen auf dieser Seite sind gerechnet oder belegt, und jede Rechnung steht daneben – auch die, die gegen eine lokale KI ausgeht. Was offen ist, steht weiter unten unter „Was ich nicht verspreche“.

01 — Für wen das ist

Nicht für alle, die KI wollen. Für die, die die Cloud nicht nehmen dürfen.

Wer frei entscheiden kann, nimmt ein Cloud-Modell – es ist besser und billiger im Einstieg. Diese Seite ist für Büros mit Berufsgeheimnis, Betriebsrat oder einem Datenschutzbeauftragten, der bei „die Daten gehen an einen Anbieter“ den Stift hinlegt: Steuerberater, Kanzleien, Lohnbüros, Praxisverwaltungen, Ingenieurbüros, Personalabteilungen.

Vergleich Cloud-KI und lokale KI in den datenschutzrelevanten Punkten
MerkmalKI in der CloudKI im eigenen Haus
Wo die Texte verarbeitet werdenauf Servern des Anbieters, meist außerhalb der EUauf einem Gerät in Ihrem Haus
AuftragsverarbeitungsvertragPflicht, dazu Prüfung der Unterauftragnehmerentfällt – es gibt keinen Dritten
Eintrag „Empfänger" im Verarbeitungsverzeichnisder Anbieter und seine Dienstleister„keine"
Was beim Ausfall Ihrer Leitung passiertKI ist wegKI läuft weiter, sie braucht kein Internet
Kosten je AnfrageRichtwert 0,024 € – es summiert sich0 € – nur Strom
Qualität der Antwortendie besten Modelle, die es gibtehrlich: eine Stufe darunter

Die letzte Zeile steht absichtlich mit drin. Offene Modelle sind eine Stufe schwächer als die großen Cloud-Modelle, und das merken Sie bei langen Fachtexten. Wer Ihnen das verschweigt, verliert Ihr Vertrauen beim ersten Vergleich – ich sage es lieber vorher.

02 — Der Nachweis

„Läuft lokal“ ist eine Behauptung. Das hier ist eine Messung.

Während eine echte Anfrage an das Modell läuft, wird im Sekundentakt mitgeschrieben, mit welchen Gegenstellen der KI-Dienst verbunden ist. Jede Adresse außerhalb Ihres Rechners und Ihres Netzes lässt die Prüfung durchfallen. So sieht das Protokoll aus, das Ihr Datenschutzbeauftragter bekommt.

Aufbau des Datenschutz-Nachweises, der bei der Abnahme übergeben wird
Zeile im ProtokollInhalt
Geprüft am⟨Datum und Uhrzeit der Messung⟩
Rechner⟨Gerätename⟩ · Darwin arm64
Geprüfter Dienstollama
Dauer der Messung20 Sekunden, Abtastung im Sekundentakt
Gestellte Frageeine echte Anfrage an das Modell, nicht der Ruhezustand
Verbindungen im Haus2
Verbindungen nach draußen0
Ergebnisbestanden – nichts hat den Rechner verlassen

Das Werkzeug prüft sich selbst

Die Einteilung „im Haus / nach draußen“ folgt den privaten Netzen nach RFC 1918 und 4193 und lässt sich mit einem Befehl gegenprüfen. Beim Test musste sie auch 172.15.0.0 und 172.32.0.0 als „draußen“ erkennen – die liegen knapp neben dem privaten Bereich und sind die typische Falle.

Es findet auch wirklich etwas

Ich habe das Werkzeug absichtlich auf ein Programm gerichtet, das nach draußen telefoniert. Es hat drei Verbindungen gefunden und die Prüfung durchfallen lassen. Ein Prüfwerkzeug, das immer „bestanden“ sagt, ist wertlos.

Kein Bestanden ohne Messung

Ist der KI-Dienst nicht installiert oder läuft er nicht, bricht das Werkzeug mit einer eigenen Meldung ab – und zählt ausdrücklich nicht als bestanden. Stille gilt hier nicht als Beweis.

Was das Protokoll ausdrücklich nicht behauptet, steht in jedem Protokoll mit drin: Es gilt für diese Messung und nicht für alle Zeit – nach jeder Änderung wird es neu geführt. Das erste Herunterladen eines Modells braucht Internet; dabei fließen keine Firmendaten hinaus, es wird nur geladen. Und geprüft ist der KI-Dienst, nicht jedes andere Programm auf dem Rechner.

03 — Was es braucht

Nicht das größte Modell gewinnt, sondern das, das flüssig läuft.

Bei der Textausgabe ist nicht die Rechenleistung der Engpass, sondern die Speicherbandbreite: Für jedes Wortteil muss das ganze Modell einmal durch den Speicher gelesen werden. Deshalb lässt sich vorher ausrechnen, was eine Maschine leisten wird – und deshalb ist ein Modell, das gerade noch in den Speicher passt, meist die falsche Wahl.

Fünf Hardware-Stufen mit dem jeweils sinnvollsten Modell und der erwarteten Geschwindigkeit
MaschineAnschaffungSinnvollstes ModellWortteile je Sekunde
Vorhandener Büro-Mac, 16 GBvorhandengemma3:4b15–30
Mac mini M4 Pro, 64 GB2.300 €gemma4:12b11–23
Workstation mit RTX 40902.400 €qwen3.5:27b19–37
Server mit 2× RTX 40904.800 €gemma4:31b16–33
Gemieteter GPU-Server (DE)255 €/Monatgemma4:31b15–29

Beispielwerte für den Büroalltag mit zwei gleichzeitigen Nutzern, gerechnet mit meinem Dimensionierungs-Werkzeug. Die Formel ist an zwei öffentlich gemessene Werte angepasst (ein 8-Milliarden-Modell auf einer RTX 4090: 65 Wortteile je Sekunde; ein 70-Milliarden-Modell auf einer A100: 28) und liefert für ein 70-Milliarden-Modell genau die 42 GB Speicherbedarf, die auch ki-mittelstand.eu nennt. Modellnamen und Größen aus der Ollama-Bibliothek, nachgesehen am 7. November 2026. In Ihrem Bericht steht Ihre Zahl – und nach dem Aufbau die gemessene daneben.

Zum Einordnen: Flüssiges Lesen sind etwa 10 Wortteile in der Sekunde, ab 20 wartet niemand mehr. Reicht es für Ihren Fall nicht, nennt der Bericht drei Wege – kleineres Modell, kürzerer Kontext über einen Wissensagenten, oder mehr Budget für Grafikspeicher. In dieser Reihenfolge, denn die teuerste Lösung steht hinten.

Wenn Sie das selbst nachrechnen wollen, bevor Sie mit mir sprechen: Die beiden Formeln – Speicherbedarf und Geschwindigkeit –, die Tabelle aller acht Modelle und die fünf Hardware-Stufen im Vergleich stehen offen im Ratgeber welche Hardware eine lokale KI wirklich braucht. Dort steht auch, wann sich das nicht lohnt.

04 — Ablauf

Fünf Schritte. Der erste kostet 390 € und darf „lassen Sie es“ ergeben.

Die Vorprüfung ist kein Verkaufsgespräch, sondern ein Bericht mit Zahlen, die Sie nachrechnen können. Beauftragen Sie danach eine Einrichtung, werden die 390 € voll angerechnet – Sie zahlen sie also nur, wenn Sie es nicht tun.

  1. Schritt 01

    Vorprüfung

    390 €, 3 Werktage

    Sie bekommen einen Bericht: welches Modell zu Ihrer Arbeit passt, welche Hardware es trägt, wie schnell es wird, was es gegenüber der Cloud kostet und ab wann es sich rechnet. Die Rechnung steht offen daneben, Sie können sie nachprüfen. Lohnt es sich bei Ihnen nicht, steht genau das drin – und die 390 € haben Sie dann trotzdem nicht umsonst bezahlt, weil Sie eine belastbare Antwort haben statt eines Bauchgefühls.

  2. Schritt 02

    Hardware, die Sie selbst kaufen

    Einkaufsliste von mir

    Sie bekommen genaue Modellbezeichnungen und Händler und kaufen selbst. Ich schlage auf Hardware nichts auf und will sie nicht durch meine Bücher laufen lassen – als Kleinunternehmer wäre meine Umsatzgrenze nach fünf Kunden gerissen, und Sie hätten den Aufschlag bezahlt. Wer schon einen starken Rechner hat, überspringt den Schritt.

  3. Schritt 03

    Einrichten und abschotten

    1 Tag vor Ort oder per Fernzugriff

    Ollama und die Oberfläche Open WebUI werden installiert und auf 127.0.0.1 festgenagelt – der Dienst ist dann nicht einmal aus Ihrem eigenen Netz erreichbar. Telemetrie aus, Selbstregistrierung gesperrt, Anmeldung Pflicht. Das ist nichts davon voreingestellt; genau deshalb wird es gemacht und nicht angenommen.

  4. Schritt 04

    Papiere und Löschregel

    liegt bei der Übergabe dabei

    Eintrag für Ihr Verarbeitungsverzeichnis nach Art. 30 DSGVO, fertig zum Einfügen. Rollen- und Rechtekonzept. Und eine Löschregel, die Chat-Verläufe nach 30 Tagen technisch erzwungen löscht – nicht als Bitte an Ihre Leute, sondern als Aufgabe, die nachts um drei läuft und ein Protokoll schreibt.

  5. Schritt 05

    Nachweis und Einweisung

    ohne Nachweis keine Abnahme

    Während einer echten Anfrage wird im Sekundentakt mitgeschrieben, mit welchen Gegenstellen der KI-Dienst verbunden ist. Jede Adresse außerhalb Ihres Hauses lässt die Prüfung durchfallen. Dazu eine Stunde Einweisung mit Teilnehmerliste – das deckt die KI-Kompetenzpflicht ab, die nach Art. 4 KI-VO seit dem 02.02.2025 auch für kleine Unternehmen gilt.

05 — Pakete

Festpreise. Hardware kaufen Sie selbst, ohne Aufschlag.

Was eine Einrichtung kostet, hängt an zwei Fragen: Steht die Maschine schon da, und sollen Ihre eigenen Dokumente mit hinein? Beides wissen wir nach der Vorprüfung – deshalb steht hier ein Preis und keine Spanne.

A · Auf Ihrer Hardware

890 €

einmalig · 5 Werktage

Sie haben schon einen starken Rechner – einen Mac mit M-Chip ab 32 GB oder eine Workstation mit Grafikkarte.

  • Ollama + Open WebUI, abgeschottet auf 127.0.0.1
  • 1 Modell nach Vorprüfung, auf Deutsch geprüft
  • Nutzerverwaltung und Rechtekonzept
  • Löschregel 30 Tage, technisch erzwungen
  • Datenschutz-Nachweis als Messprotokoll
  • Eintrag für das Verarbeitungsverzeichnis
  • 1 Stunde Einweisung, dokumentiert
  • 2 Runden Nachbesserung in 4 Wochen
  • Hardware-Beschaffung
  • Anbindung Ihrer Dokumente

Meistens das Richtige

B · Mit neuer Maschine

1.290 €

einmalig · 8 Werktage

Es soll ein eigenes Gerät sein, das unter dem Schreibtisch oder im Technikraum steht und von selbst wieder anläuft.

  • alles aus Paket A
  • Einkaufsliste mit Modellbezeichnungen (Sie kaufen selbst)
  • Aufbau und Betrieb als Dienst – läuft nach Stromausfall allein wieder an
  • Geschwindigkeit auf Ihrer Maschine gemessen und schriftlich festgehalten
  • Anbindung Ihrer Dokumente

C · Mit Ihren Dokumenten

2.290 €

einmalig · 15 Werktage

Die KI soll nicht nur schreiben, sondern Ihre eigenen Akten, Verträge und Handbücher kennen.

  • alles aus Paket B
  • bis 2.000 Dokumente eingelesen
  • Quellenangabe in jeder Antwort – nachprüfbar statt geraten
  • Berechtigungen bis auf Ordnerebene

Vorprüfung 390 € – wird bei Beauftragung voll angerechnet. Pflege, optional: 79 € im Monat, monatlich kündbar: Modell- und Software-Aktualisierung im Quartal, der Datenschutz-Nachweis dabei jedes Mal neu geführt (eine Aktualisierung kann ihn entwerten), Prüfung des Löschprotokolls, eine Rückfrage im Monat. Vergleichsweise verlangt ein anderer Anbieter 890 € für die Vorprüfung, ab 1.490 € für die Einrichtung und 249 € im Monat für den Betrieb. Alle Beträge hier sind Endpreise: als Kleinunternehmer nach § 19 UStG weise ich keine Umsatzsteuer aus.

Was Sie bekommen

  • Eine KI, die ohne Internet arbeitet – und damit auch dann, wenn Ihre Leitung ausfällt.
  • Das Messprotokoll, dass während einer echten Anfrage nichts nach draußen ging.
  • Den fertigen Eintrag für Ihr Verarbeitungsverzeichnis nach Art. 30 DSGVO.
  • Eine Löschregel, die nach 30 Tagen löscht, weil sie es muss – mit Protokoll, nicht mit Vertrauen.
  • Eine dokumentierte Einweisung Ihrer Leute, die die KI-Kompetenzpflicht nach Art. 4 KI-VO abdeckt.
  • Alles liegt bei Ihnen. Hört die Zusammenarbeit auf, läuft die KI weiter.

Was ich nicht verspreche

  • Keine Antwortqualität auf dem Niveau der großen Cloud-Modelle – offene Modelle sind eine Stufe darunter.
  • Keine „DSGVO-Konformität“ als Zusage. Die hängt an Ihren Abläufen, nicht an meiner Installation.
  • Keine Rechtsberatung. Die Unterlagen sind Vorarbeit für Ihren Datenschutzbeauftragten.
  • Keinen Hardware-Verkauf und keinen Aufschlag auf Geräte.
  • Keine erfundene Zeitersparnis. Was es Ihnen bringt, wissen nur Sie.
  • Keine Kundenreferenz, solange ich keine habe.

Und das Wichtigste, bevor Sie fragen müssen

Bei einem Kunden läuft das heute noch nicht. Die Werkzeuge sind fertig und nachprüfbar getestet – der Dimensionierungs-Rechner gegen zwei öffentlich gemessene Vergleichswerte, das Nachweis-Werkzeug auch gegen ein Programm, das wirklich nach draußen telefoniert, damit belegt ist, dass es Funde findet. Eine Kundenreferenz kann ich Ihnen heute nicht nennen, weil ich sie nicht habe. Ich hätte mir eine ausdenken können. Stattdessen mache ich Ihnen ein anderes Angebot: die Vorprüfung für 390 €, voll angerechnet, wenn Sie weitermachen – und mit einem Bericht, in dem auch „bei Ihnen lohnt sich das nicht“ stehen darf. Dieser Satz schreibt sich bei mir von selbst, wenn die Zahlen so liegen.

06 — Anfrage

Drei Angaben, und Sie wissen, woran Sie sind.

Branche, Einsatzzweck, Zahl der Nutzer. Mehr brauche ich für die Vorprüfung nicht. Eine Mail, eine Antwort innerhalb von 24 Stunden – auch wenn sie „lassen Sie es“ lautet.

Die Mail öffnet sich in Ihrem Mailprogramm mit den Fragen schon drin – Sie füllen nur aus. Oder direkt an lukas@wienstechnology.com, Telefon 0176 20330712.

Was im Bericht steht

  • Welches Modell zu Ihrer Arbeit passt – und warum nicht das größte.
  • Welche Maschine es trägt, mit Preis und erwarteter Geschwindigkeit.
  • Die Rechnung dazu, offengelegt, damit Sie sie nachprüfen können.
  • Was es gegenüber der Cloud kostet und nach wie vielen Monaten es sich rechnet.
  • Was datenschutzrechtlich dazugehört – inklusive Betriebsrat und § 203 StGB.
  • Und falls es sich nicht lohnt: genau dieser Satz, mit den Zahlen dahinter.

Die KI-Kompetenzpflicht nach Art. 4 KI-VO gilt seit dem 02.02.2025 auch für kleine Unternehmen – Einordnung. Die dokumentierte Einweisung ist deshalb in jedem Paket enthalten.

FAQ

Was Chefs und Datenschützer vorher wissen wollen.

Ihre Frage ist nicht dabei? Schreiben Sie mir – ich antworte innerhalb von 24 Stunden.

Ist eine lokale KI damit automatisch DSGVO-konform?
Nein, und wer das behauptet, verkauft Ihnen etwas. Sie wird dadurch erst lösbar: Es fällt der Auftragsverarbeitungsvertrag weg, der Punkt „Empfänger" im Verarbeitungsverzeichnis lautet „keine", und es gibt keine Übermittlung in ein Drittland. Was bleibt, sind Zweckbindung, Löschfristen, ein Rechtekonzept und – wo es einen Betriebsrat gibt – dessen Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG. Genau diese Punkte liegen bei der Übergabe als Unterlagen dabei. Rechtsberatung ist das nicht und darf es nicht sein; es ist die fachliche Vorarbeit für Ihren Datenschutzbeauftragten.
Sind die offenen Modelle so gut wie ChatGPT?
Nein. Eine Stufe darunter, und das merkt man bei langen Fachtexten. Für E-Mail-Entwürfe, Protokolle, Zusammenfassungen, Übersetzungen und das Vorsortieren eines Posteingangs reicht es gut – dafür nehmen Büros das auch. Wenn Sie das Beste wollen und dürfen, nehmen Sie die Cloud. Diese Seite ist für den Fall, dass Sie nicht dürfen.
Wie schnell antwortet das?
Das hängt fast nur an der Speicherbandbreite der Hardware, weil für jedes Wort das ganze Modell einmal durch den Speicher gelesen werden muss. Die Tabelle oben nennt die Spannen für fünf gängige Maschinen. Wichtig ist die Untergrenze: Unter 10 Wortteilen in der Sekunde wartet man beim Lesen – und daran scheitern lokale KI-Projekte im Alltag, nicht an der Technik. Deshalb wählt mein Rechner bewusst „läuft flüssig" vor „großes Modell" und schreibt eine Warnung in den Bericht, wenn es eng wird.
Was kostet der Betrieb im Monat?
Strom, sonst nichts. Ein Mac mini M4 Pro zieht bei KI-Last je nach Modell etwa 30 bis 65 Watt; mit 45 Watt gerechnet und 0,22 €/kWh sind das rund 7 € im Monat bei Dauerbetrieb. Ein Server mit zwei Grafikkarten liegt bei etwa 65 €. Richtwerte – was Ihre Maschine wirklich zieht, messe ich beim Aufbau. Lizenzen gibt es nicht: Ollama steht unter MIT-Lizenz, Open WebUI ist offen. Zum Vergleich: ein Richtwert aus dem Markt sind 1.200 € im Monat für 200 Mitarbeiter und 50.000 Cloud-Anfragen.
Warum kaufen Sie die Hardware nicht einfach für uns?
Weil ich Kleinunternehmer nach § 19 UStG bin und meine Umsatzgrenze bei 25.000 € im Jahr liegt – Umsatz, nicht Gewinn. Ein durchgereichtes Gerät für 2.300 € frisst 9 % dieser Grenze und bringt mir nichts. Sie kaufen also selbst, nach einer genauen Liste von mir, zum Händlerpreis. Das ist für Sie billiger und für mich sauber.
Geht das auch auf einem gemieteten Server in Deutschland?
Technisch ja, und es ist in der Tabelle oben mit aufgeführt. Nur: Dann liegen Ihre Daten bei einem Hoster, und der ist Auftragsverarbeiter – Sie brauchen den AV-Vertrag wieder, und bei Berufsgeheimnisträgern zusätzlich eine Verpflichtungserklärung nach § 203 Abs. 4 StGB. Das ist dann nicht mehr „im eigenen Haus". Ich sage es Ihnen deshalb vorher und nicht im Kleingedruckten.
Läuft das schon bei jemandem?
Nein. Die Werkzeuge sind fertig und nachprüfbar getestet: Der Dimensionierungs-Rechner ist gegen zwei öffentlich gemessene Vergleichswerte geprüft, und das Nachweis-Werkzeug habe ich absichtlich auch an einem Programm getestet, das Verbindungen nach draußen hat – es hat sie gefunden und die Prüfung durchfallen lassen, so wie es soll. Eine Kundenreferenz habe ich heute nicht. Ich hätte mir eine ausdenken können; stattdessen biete ich Ihnen die Vorprüfung an, deren Ergebnis auch „lassen Sie es" lauten darf.
Wer sind Sie überhaupt, und was haben Sie damit zu tun?
Lukas Wiens, LW Digital, Bad Oeynhausen. Hauptgeschäft sind Unternehmens-Websites; dazu baue ich KI- und Automatisierungslösungen, die ohne Cloud auskommen – unter anderem einen Wissensagenten für Firmendokumente und Browser-Roboter für Portale ohne Schnittstelle. Alles, was auf dieser Seite steht, ist von mir gerechnet und getestet, nicht zugekauft.

Nächster Schritt

Erst rechnen, dann kaufen.

Die Vorprüfung kostet 390 € und dauert drei Werktage: Sie bekommen Modell, Hardware, Geschwindigkeit, Kostenvergleich und die datenschutzrechtliche Liste – mit offener Rechnung daneben. Beauftragen Sie danach eine Einrichtung, wird der Betrag voll angerechnet.

Vorprüfung anfragen 0176 20330712Antwort innerhalb von 24 Stunden