Management-Zusammenfassung
Künstliche Intelligenz muss nicht in der Cloud laufen. Für kleine und mittlere Unternehmen (KMU) — gerade in Produktion und Handwerk — gibt es einen handfesten Grund, KI im eigenen Haus auf eigener Hardware zu betreiben: das wertvollste Wissen bleibt im Betrieb. Angebote, Maschinenparameter, Serviceberichte, Prüfprotokolle, das Erfahrungswissen langjähriger Mitarbeiter — all das soll durchsuchbar und nutzbar werden, ohne es an einen externen Anbieter zu geben.
Die gute Nachricht: Der Einstieg ist heute bezahlbar. Ein Mac mini M4 mit 16 GB kostet rund 600–700 € und lässt lokale KI-Modelle „einfach laufen". Die andere Seite: Zwischen „läuft" und „läuft im Alltag verlässlich" liegen Erfahrungen, die man teuer oder günstig sammeln kann. Dieses Whitepaper fasst zusammen, was wir selbst gelernt haben (unter anderem mit dem Mac als KI-Server), was für ein KMU wirklich zählt, was es kostet — und wohin die Reise geht.
Kernaussagen in drei Sätzen:
- Für KMU zählt weniger die rohe Rechenleistung als genug (Unified) Arbeitsspeicher, Wartbarkeit und ein leises, sparsames Gerät — eine Appliance, kein Bastelprojekt.
- Der Mac ist ein hervorragender, sparsamer Einstieg — stößt aber bei größeren Modellen und im Docker-Betrieb an klar benennbare Grenzen.
- Der eigentliche Nutzen entsteht nicht aus der Hardware allein, sondern daraus, das eigene Firmenwissen damit zu erhalten und nutzbar zu machen.
1. Warum überhaupt lokale KI-Hardware?
Cloud-KI ist bequem, hat für den Mittelstand aber drei Haken: Daten verlassen das Haus, es entstehen laufende Kosten pro Nutzer und Anfrage, und man macht sich von einem Anbieter und dessen Preis- und Regeländerungen abhängig.
Lokale KI dreht das um:
- Datensouveränität. Kundendaten, Kalkulationen, Konstruktionsdaten und Serviceberichte bleiben im Betrieb — entscheidend für Betriebsgeheimnisse und DSGVO.
- Keine laufenden Cloud-Gebühren. Nach der einmaligen Anschaffung rechnet nur noch der Strom.
- Unabhängigkeit. Kein Anbieter kann das Werkzeug abschalten, verteuern oder die Spielregeln ändern.
Für wen dieses Whitepaper gedacht ist: KMU, besonders Produktion und Handwerk — Betriebe mit wertvollem Fachwissen, das oft nur in Köpfen und verstreuten Dateien liegt, und die KI datenschutzsicher im eigenen Haus einsetzen wollen.
2. Begriffe in Alltagssprache
- GPU / Grafikchip — rechnet sehr viele Dinge gleichzeitig; genau das braucht KI.
- RAM / (Unified) Memory — der Arbeitsspeicher. Bei Apple teilen sich Prozessor und Grafik einen Speicher (Unified Memory) — praktisch, weil das Modell komplett hineinpassen muss.
- VRAM — der Speicher auf einer dedizierten Grafikkarte. Auch hier gilt: Das Modell muss hineinpassen.
- Modell / LLM — das KI-Sprachmodell, gemessen in Milliarden Parametern (z. B. „7B" = 7 Mrd.). Größer heißt tendenziell klüger, aber speicherhungriger und langsamer.
- Quantisierung — „Kompression" des Modells (z. B.
Q4), damit es in weniger Speicher passt. Etwas Qualitätsverlust, viel Speicherersparnis. - RAG — die KI antwortet anhand hinterlegter Firmendokumente, nicht „aus dem Gedächtnis". Das ist der Hebel für Wissen erhalten.
- Metal / CUDA — die „Sprachen", über die Software die Grafik anspricht: Metal bei Apple, CUDA bei NVIDIA (der Industriestandard für KI).
- ASIC — ein Spezialchip, der nur eine Aufgabe kann, diese aber extrem schnell und sparsam.
3. Was für ein KMU wirklich zählt
Nicht Benchmark-Bestwerte entscheiden, sondern der Alltag:
- Genug Speicher schlägt rohe Leistung. Das Modell muss komplett in den Speicher passen — sonst wird es zäh langsam. Für lokale KI ist RAM bzw. Unified Memory die wichtigste Kennzahl, nicht die Taktrate.
- Appliance statt Bastelprojekt. Ein Gerät, das man hinstellt, anschließt und das läuft — ohne wöchentliche Treiber-, CUDA- und Kühlungspflege. Wartungsaufwand ist ein echter, versteckter Kostenfaktor.
- Leise und sparsam. In Büro, Werkstatt oder Meisterbüro zählen geringe Lautstärke, wenig Strom und wenig Wärme.
- Ein einheitliches Gerät für verschiedene Anwendungsfälle — nicht je Abteilung eine andere Kiste.
- Lange Software-Lebensdauer. Die Plattform sollte in drei bis fünf Jahren noch gepflegt werden.
4. Unsere Erfahrung mit dem Mac
Wir betreiben KI produktiv unter anderem auf Mac-mini-Hardware. Die ehrliche Bilanz:
Was gut läuft
- Sparsam und leise. Ein Mac mini M4 zieht unter voller KI-Last nur rund 30–40 Watt — eine dedizierte RTX 4090 dagegen 350–450 W, eine RTX 5090 bis etwa 575 W. Für Dauerbetrieb im Betrieb ein großer Unterschied bei Strom, Wärme und Lautstärke.
- Einstieg fast ohne Konfiguration. Die Software installiert sich in Minuten; ein 7B- oder 8B-Modell läuft auf dem 16-GB-Einstiegsgerät mit rund 25–35 Token pro Sekunde flüssig.
- Unified Memory ist ideal für KI: Prozessor und Grafik teilen sich denselben Speicher, das Modell muss nicht hin- und herkopiert werden.
Wo die Grenzen liegen (aus dem echten Betrieb)
- Docker kann die Apple-Grafik (Metal) nicht durchreichen. Läuft das Modell im Container, bricht die Geschwindigkeit ein — in unseren Messungen rund 140 Sekunden statt 7 Sekunden pro Antwort. Der Workaround: Die Modell-Software läuft nativ neben Docker mit vollem Metal-Zugriff, nur die übrigen Dienste laufen im Container. Das funktioniert, ist aber kein sauberer „ein Befehl, alles startet"-Zustand.
- Speicher ist fest verlötet, nicht erweiterbar. Der 16-GB-Einstieg trägt ein 7B-Modell; ein 12B-Modell braucht eher 32 GB, sonst weicht das System auf die langsame Platte aus. Größere Modelle brauchen die 64-GB-Ausbaustufe — und selbst die ist der Deckel.
- Weniger Modell-Formate. Apple und Metal decken die gängigen Formate ab, aber nicht alle.
- Größere Modelle werden schnell zäh. Ein Beispiel aus der Praxis: Ein 7B-Modell antwortet in etwa 7 Sekunden, ein qualitativ vergleichbares 12B-Modell brauchte rund 73 Sekunden — der Sprung kostet unverhältnismäßig viel Zeit.
Fazit Mac: Für Einstieg und mittlere Modelle sehr gut — sparsam, leise, unkompliziert. Für den Betrieb eines kompletten Docker-Stacks mit GPU-Zugriff und für große Modelle oder Training wird es fummelig; dann lohnt der Blick auf CUDA-Hardware.
5. Wie viel Speicher braucht welches Modell?
Die praktische Faustregel für den komprimierten (Q4-)Betrieb — Speicherbedarf ≈ Parameter × 0,5 GB + rund 2 GB Kontext:
| Modellgröße | Beispiel | Speicher (Q4) | Läuft gut auf |
|---|---|---|---|
| 1–3B | Llama 3.2 3B, Phi-4 Mini, Gemma 3 | ~4–8 GB | 8–16-GB-Gerät, sogar Laptop |
| 7–8B | Mistral 7B, Llama 3.1 8B, Qwen 7B | ~6–8 GB | Mac mini 16 GB |
| 13–14B | – | ~12–16 GB | 24–32-GB-Gerät |
| ~32B | Premium-/Prüfmodelle | ~20–24 GB | 48–64 GB oder dedizierte GPU |
| 70B | Llama 70B | ~35–48 GB | 64 GB+ oder Multi-GPU |
Für die meisten KMU-Anwendungen — Recherche, Zusammenfassen, Entwürfe, Fragen an eigene Dokumente — reicht die 7–8B-Klasse. Und die läuft bereits auf dem günstigsten Gerät.
6. Was kostet die Hardware?
Anschaffung (Richtwerte 2026)
| Weg | Speicher | Preis | Für wen |
|---|---|---|---|
| Mac mini M4 (Einstieg) | 16 GB | ~600–700 € | Erste Schritte, 7–8B-Modelle, ein oder wenige Nutzer |
| Mac mini M4 Pro | 64 GB | ~1.600–2.500 € | Appliance, mehrere Modelle und Dienste, RAG |
| Gebraucht / Refurbished (M2/M3 Pro) | 32 GB | ab ~800 € | Preisbewusster Einstieg (15–40 % günstiger) |
| Dedizierte NVIDIA-GPU | 24–32 GB VRAM | RTX 4090 ~1.600–2.000 €, RTX 5090 ~2.000–3.800 € (zzgl. Rechner, Netzteil, Kühlung) | Wer CUDA, Training oder große Modelle braucht — aber laut und stromhungrig |
| Kompakte CUDA-Appliance (GB10-Klasse) | 128 GB unified | ~3.800–3.900 € | Kompakt und leise wie ein Mac mini, aber mit CUDA, großem Speicher und sauberem Docker-Stack |
Laufende Kosten: Strom und Cloud-Vergleich
- Strom. Ein Mac mini (30–40 W) kostet im Dauerbetrieb nur wenige Euro im Monat. Ein RTX-5090-Rechner (bis ~575 W) kann das Zehn- bis Fünfzehnfache verbrauchen — plus Wärme und Lärm.
- Amortisation gegen Cloud. Wer heute 150–250 € pro Monat für KI-Abos und API-Nutzung zahlt, hat den Einstieg für rund 600 € in unter sechs Monaten heraus — danach kostet lokale KI faktisch nur noch Strom.
Die stille Kosten-Wahrheit: Der Kaufpreis ist selten der teure Teil. Teuer werden Wartungsaufwand (Treiber, Updates, Kühlung beim GPU-Selbstbau) und laufende Cloud-Gebühren. Eine leise, wartungsarme Appliance spart beides.
7. Empfehlung nach Bedarf
- Erste Schritte, ein Team, 7–8B-Modelle: Mac mini M4 mit 16 GB (rund 600–700 €). Bester Einstieg, sofort nutzbar, minimaler Aufwand.
- Ernsthafte Appliance, mehrere Dienste, Fragen an eigene Dokumente: Mac mini M4 Pro mit 64 GB — oder, wenn ein sauberer Docker-Stack, CUDA und größere Modelle wichtig sind, eine kompakte CUDA-Appliance der GB10-Klasse (rund 3.800 €). Letztere löst das Metal-/Docker-Thema und bringt 128 GB Speicher.
- Nur bei echtem Trainings- oder Großmodell-Bedarf: dedizierte NVIDIA-GPU — dann aber Lautstärke, Strom und Wartung einplanen.
8. Der eigentliche Zweck: Wissen erhalten
Hardware ist Mittel zum Zweck. Der Gewinn entsteht, wenn die lokale KI das eigene Firmenwissen erschließt: Angebote und Kalkulationen, Maschinen- und Prozessparameter, Serviceberichte, Prüf- und Wartungsprotokolle, Lieferanten- und Materialwissen — und das Erfahrungswissen, das sonst mit einzelnen Personen den Betrieb verlässt.
Genau dafür ist RAG gemacht: Die KI beantwortet Fragen belegt aus den hinterlegten Dokumenten, statt zu raten — datenschutzsicher, weil alles im Haus bleibt. Wie man dieses Wissen strukturiert, auffindbar und dauerhaft macht, beschreibt unser Whitepaper „Wissenserhaltung mit KI". Die Hardware aus diesem Papier ist das Fundament, auf dem das läuft.
9. Ausblick
Kurzfristig für KMU: kleine Modelle werden erstaunlich gut
Der praktischste Trend ist nicht das nächste Riesenmodell, sondern wie brauchbar kleine Modelle werden. Die 3B-Klasse — Llama 3.2 3B, Phi-4 Mini, Gemma 3 — läuft heute bereits auf 8-GB-Hardware mit rund 10–25 Token pro Sekunde und erledigt viele Alltagsaufgaben erstaunlich gut: Zusammenfassen, Klassifizieren, einfache Auskünfte, Formulierhilfe. Selbst 1B-Modelle laufen auf nahezu jedem modernen Rechner. Für Handwerk und Produktion heißt das: Der Einstieg wird immer günstiger, und ein kompaktes Gerät kann mehrere kleine Fachmodelle gleichzeitig vorhalten.
Mittelfristig: der Transformer wird „ins Silizium geätzt"
Der grundlegendere Umbruch passiert eine Ebene tiefer — beim Chip selbst. Bisher läuft KI auf Allzweck-Grafikkarten. Ein neuer Ansatz gießt stattdessen die Transformer-Architektur direkt in einen Spezialchip (ASIC) — sie wird buchstäblich ins Silizium geätzt. Vorreiter ist das Startup Etched mit dem Chip Sohu:
- Sohu kann nur Transformer-Modelle, dafür extrem schnell und effizient. Referenz-Benchmark ist Llama 70B: Ein Server mit acht Chips soll über 500.000 Token pro Sekunde liefern — nach Herstellerangaben rund 20-mal so viel wie ein vergleichbarer Server mit acht NVIDIA-H100-GPUs.
- Technisch: 4-nm-Fertigung bei TSMC, 144 GB schneller Speicher (HBM3E) je Chip. Etched hat 2026 die Stealth-Phase verlassen.
- Noch radikaler geht der Wettbewerber Taalas: Dort wird gleich ein einzelnes, komplettes Modell fest in Silizium gegossen.
Ehrliche Einordnung: Das sind Herstellerangaben, unabhängige Benchmarks stehen noch aus — und es handelt sich um Rechenzentrums-Hardware, kein Gerät, das sich ein Handwerksbetrieb hinstellt.
Warum es KMU trotzdem angeht: Solche Spezialchips drücken Kosten und Energiebedarf pro Antwort drastisch. Mittelfristig bedeutet das günstigere, schnellere und sparsamere KI überall — bei gehosteten Diensten ebenso wie in künftigen, kompakten Geräten für den eigenen Betrieb. Die Richtung ist eindeutig: weg vom teuren Allzweck-Rechenzentrum, hin zu spezialisierter, effizienter KI-Hardware. Und damit sinkt die Einstiegshürde für den Mittelstand weiter.
Die Leitlinie für KMU-KI-Hardware: Genug Speicher · leise und sparsam · wartungsarm · im eigenen Haus.