Lokale KI in Home Assistant

Ja, du kannst Home Assistant mit einer KI steuern, die komplett bei dir zu Hause läuft. Auf einem Raspberry Pi oder einem klassischen Mini-PC, wie er typischerweise für Home Assistant genutzt wird, stoßen Sprachmodelle allerdings schnell an ihre Grenzen. Zudem gilt die Gerätesteuerung per lokalem Sprachmodell laut offizieller Dokumentation weiterhin als experimentell.

Der Anlass für diesen Beitrag: Mit Home Assistant 2026.8 sind zwei neue Integrationen für lokale Sprachmodelle hinzugekommen – llama.cpp und LiteLLM. Zusammen mit der Ollama-Integration gibt es nun drei offizielle Wege.

Wichtig vorab: Dies ist eine Einordnung, kein Praxistest. Jedes Setup ist individuell und die Bedürfnisse sind verschieden. Deshalb spreche ich hier bewusst keine pauschale Empfehlung für bestimmte Hardware oder Modelle aus. Stattdessen zeige ich dir, welche Möglichkeiten du hast, was du realistisch erwarten kannst und wo die Grenzen liegen. (Stand: Home Assistant 2026.10)

Was bedeutet „lokale KI“ in Home Assistant?

Lokale KI bedeutet ganz einfach: Ein großes Sprachmodell (LLM) läuft auf deiner eigenen Hardware und nicht auf den Servern eines Anbieters wie OpenAI oder Google. Home Assistant nutzt dieses Modell als sogenannten Conversation Agent.

Dieser Conversation Agent ist ein Teil von „Assist“, dem Sprachassistenten von Home Assistant. Er ist dafür zuständig, deinen Satz zu verstehen und zu entscheiden, was passieren soll. Ein typischer Sprachbefehl läuft dabei in vier Schritten ab:

1. Das Aktivierungswort startet die Aufnahme.
2. Die Spracherkennung macht aus deiner Stimme Text.
3. Der Conversation Agent versteht den Text und schaltet beispielsweise das Licht.
4. Die Sprachausgabe liest dir die Antwort vor.

Die Spracherkennung und Sprachausgabe lassen sich über das offene Wyoming-Protokoll lokal anbinden. Der Conversation Agent ist jedoch der Baustein, um den es in diesem Beitrag geht.

Wichtig zu wissen: Du brauchst nicht zwingend ein Sprachmodell, um Home Assistant lokal per Sprache zu steuern. Der eingebaute Agent von Assist erkennt bereits feste Satzmuster (wie „Schalte das Licht im Wohnzimmer ein“) und läuft ohnehin lokal. Ein komplexes Sprachmodell lohnt sich für dich erst dann, wenn du völlig frei formulieren oder Fragen stellen möchtest, für die es kein festes Muster gibt.

Nicht verwechseln: Die AI Policy der Open Home Foundation

Im Juli 2026 hat die Open Home Foundation eine sogenannte „AI Policy“ veröffentlicht. Diese regelt, wie KI-Tools bei Beiträgen zum Quellcode – also bei Pull Requests und Issues – genutzt werden dürfen. Mit den KI-Funktionen in Home Assistant selbst hat diese Richtlinie allerdings nichts zu tun.

Kurz gesagt: KI ist als Hilfsmittel bei der Entwicklung erlaubt, aber die Verantwortung bleibt immer beim Menschen. Autonome Agents dürfen selbstständig keinen Code einreichen. Jeder, der etwas beiträgt, muss seine Änderungen selbst erklären können.

Ollama, llama.cpp oder LiteLLM: Welcher Weg passt zu dir?

Für die meisten Nutzer ist Ollama der einfachste Einstieg. Die beiden neuen Integrationen aus der Version 2026.8 richten sich eher an Leute mit speziellen Anforderungen.

Integration	In Home Assistant seit	Was sie macht	Passt für
Ollama	2024.4 (Gerätesteuerung seit 2024.8)	Verbindet einen eigenen Ollama-Server. Modelle wählst du per Name aus, sie werden automatisch geladen.	Den Einstieg und die meisten klassischen Setups.
llama.cpp	2026.8	Verbindet einen eigenen llama.cpp-Server oder jeden OpenAI-kompatiblen Endpunkt. Du kannst mehrere Agents mit eigenem Modell und eigenen Anweisungen anlegen.	Alle, die ihren Server komplett selbst im Griff haben wollen.
LiteLLM	2026.8	Dient als Proxy mit einer Schnittstelle vor vielen Modell-Anbietern (gehostet oder selbst betrieben). Home Assistant legt pro Modell einen Agent an.	Nutzer, die lokale Modelle und Cloud-Modelle mischen wollen.

Ein Hinweis zu LiteLLM: Diese Integration ist immer nur so lokal wie das Modell dahinter. Wenn an deinem Proxy ein Cloud-Anbieter hängt, gehen deine Anfragen natürlich auch dorthin. Ist dir der Datenschutz bei deinen Sprachbefehlen wichtig, prüfe also genau, welches Modell du hier einbindest.

Ollama oder llama.cpp?

Ollama nimmt dir viele Entscheidungen ab und macht den Einstieg leicht. Laut einem ausführlich dokumentierten Community-Setup (NickM-27/VoiceAssistant auf GitHub) kosten diese Standardeinstellungen aber Reaktionszeit und Effizienz.

Dort läuft deshalb llama.cpp mit einer bewusst gewählten Quantisierung. Eine Quantisierung ist im Grunde die komprimierte Fassung eines Modells. Dabei gilt: Je weniger stark komprimiert wird, desto genauer ist das Modell – aber desto mehr Speicher braucht es auch.

Kurz gesagt: Ollama für den Einstieg, llama.cpp fürs Feintuning.

Daneben gibt es auch noch Community-Lösungen über HACS. Für den Einstieg reichen dir die offiziellen Integrationen aber völlig aus.

Reicht ein Raspberry Pi oder Mini-PC für lokale KI?

Für den Betrieb von Home Assistant selbst: ja. Für das Sprachmodell in der Regel nicht. Laut Dokumentation braucht Ollama einen eigenen Server unter macOS, Linux oder Windows. In der Praxis läuft das Sprachmodell deshalb sehr oft auf einem zweiten, leistungsstärkeren Rechner, der parallel zu deinem Home Assistant betrieben wird.

„Lokale KI“ bedeutet in diesem Kontext also nicht zwangsläufig „auf demselben Gerät wie Home Assistant“. Es bedeutet lediglich: „in deinem eigenen Netzwerk statt in der Cloud“.

Wie viel Leistung du konkret brauchst, hängt stark von deiner Modellauswahl und deinen eigenen Ansprüchen ab. Größere Modelle machen weniger Fehler, benötigen aber auch deutlich mehr Arbeitsspeicher und Rechenleistung. Auch das sogenannte Kontextfenster spielt eine Rolle: Home Assistant nutzt standardmäßig 8.000 Token, während Ollama von sich aus nur 2.000 nutzt. Ein größeres Kontextfenster hilft enorm, wenn du viele Entitäten hast, kostet laut Doku aber eben auch mehr Arbeitsspeicher auf dem Ollama-Server.

Wie so etwas aussehen kann, zeigt das oben erwähnte Community-Setup: Dort läuft das Sprachmodell auf einem Mini-PC mit externer Grafikkarte und 24 GB Grafikspeicher. Ein Mini-PC kann also durchaus reichen – dann aber eher mit zusätzlicher GPU. Kleinere Grafikkarten funktionieren laut Repo mit kleineren Modellen, die Antworten dauern dann länger und ich kann dies aus meiner eigenen Erfahrung nicht wirklich empfehlen 😉

So läuft die Einrichtung mit Ollama ab

Die Einrichtung an sich ist schnell erledigt. Der wirkliche Aufwand liegt im Betrieb des Ollama-Servers und in der Auswahl des passenden Modells. So gehst du vor:

1. Ollama installieren: Richte Ollama auf deinem zweiten Rechner ein. Stelle sicher, dass der Server im Netzwerk erreichbar ist, denn standardmäßig reagiert er nur auf lokale Anfragen des eigenen Rechners.
2. Integration hinzufügen: Gehe in Home Assistant auf Einstellungen → Geräte & Dienste → Integration hinzufügen und wähle Ollama aus.
3. Server verknüpfen: Trage die Adresse deines Servers ein (zum Beispiel http://192.168.1.50:11434). Ein API-Schlüssel ist nur dann nötig, wenn dein Server diesen explizit verlangt.
4. Modell wählen: Wähle ein Modell aus; dieses wird dann automatisch heruntergeladen. Achte zwingend darauf, dass das Modell sogenannte „Tools“ unterstützt, da nur solche Modelle Home Assistant auch wirklich steuern können.
5. Steuerung erlauben: Aktiviere die Option, dass das Modell Home Assistant steuern darf.
6. Agent einstellen: Stelle abschließend in den Einstellungen deines Sprachassistenten Ollama als Konversationsagent ein.

Ein Tipp aus der offiziellen Dokumentation: Lege dir am besten zwei Ollama-Einträge mit exakt demselben Modell an. Einen Eintrag richtest du ohne Steuerung zum reinen Plaudern ein, den anderen mit Steuerung für deine Smart-Home-Befehle. Kleinere Modelle kommen sonst bei längeren Gesprächen mit aktiver Steuerung schnell durcheinander.

Ein zweiter Tipp betrifft das Feld für Anweisungen. Ohne klare Vorgaben antworten Sprachmodelle gern ausschweifend – und bei der Sprachausgabe spürst du jedes überflüssige Wort als lästige Wartezeit.

Das Community-Setup setzt deshalb auf kurze Regeln im Befehlston statt auf Fließtext. Zum Beispiel:

• „Führe Befehle zuerst aus und nenne dann den neuen Zustand.“
• „Bestätige eine Gerätesteuerung in höchstens fünf Wörtern.“
• „Beantworte nur, was gefragt wurde.“

Weitere Beispiele und einen Baukasten für eigene Anweisungen findest du im Prompt Builder des Repos. Die Vorlagen dort sind zwar auf Englisch, das Prinzip lässt sich aber direkt übertragen.

Welche Entitäten solltest du freigeben?

Ganz klar: So wenige wie möglich. Die offizielle Doku empfiehlt, gerade beim Experimentieren mit lokalen Modellen anfangs weniger als 25 Entitäten freizugeben. Das hat gleich zwei Vorteile auf einmal:

• Zuverlässigkeit: Je weniger Entitäten das Modell kennt, desto seltener verwechselt es sie.
• Datenschutz: Das Modell sieht und steuert wirklich nur das, was du auch freigibst. Das ist schon bei einem lokalen Modell eine gute Angewohnheit – bei einem Cloud-Modell natürlich erst recht.

Die Freigabe steuerst du direkt in den Einstellungen der Sprachassistenten auf der Seite für freigegebene Entitäten. Ein pragmatischer Ansatz für den Start: Gib erst einmal nur einen einzigen Raum frei, teste ausgiebig und erweitere dein Setup dann Schritt für Schritt.

Noch ein Tipp aus dem Community-Setup: Fasse Geräte zu Gruppen zusammen – zum Beispiel über einen Gruppen-Helfer – und gib nur die Gruppe frei. So bleibt die Liste kurz, ohne dass du auf Geräte verzichten musst.

Wo liegen die Grenzen von lokaler KI in Home Assistant?

Die wichtigste Grenze steht direkt in der Dokumentation: Die Steuerung von Home Assistant per Ollama ist ein experimentelles Feature. Darüber hinaus gibt es ein paar wichtige Punkte, die du vor dem Start kennen solltest:

• Tool-Unterstützung ist Pflicht: Nur Modelle, die aktiv Werkzeuge aufrufen können, schalten auch tatsächlich etwas. Ein Modell, das einfach nur gut plaudert, ist dafür nicht automatisch geeignet.
• Kleine Modelle machen mehr Fehler: Das betont auch die offizielle Doku. „Lokal“ heißt also nicht automatisch „besser“. Ein schwaches lokales Modell kann bei der Steuerung deutlich schlechter abschneiden als ein Cloud-Modell.
• Satz-Auslöser funktionieren nicht: Die Ollama-Integration arbeitet nicht mit Satz-Auslösern zusammen. Wenn du deine Automationen per Sprachbefehl startest, solltest du das vorher bedenken und prüfen.
• Eigene Prompts brauchen ein Update: Seit dem Update auf Home Assistant 2026.9 tragen die Werkzeug-Namen ein Präfix. Aus HassTurnOn wird dann zum Beispiel intent__HassTurnOn. Wenn du Werkzeuge in deinen eigenen Anweisungen beim Namen nennst, musst du das entsprechend anpassen.
• Ein zweiter Rechner will gepflegt werden: Dieser PC braucht Strom, Updates und regelmäßige Aufmerksamkeit – genau wie dein Home Assistant selbst.

Fazit: Für wen lohnt sich lokale KI in Home Assistant jetzt?

Lokale KI in Home Assistant funktioniert, ist im Moment aber noch eher ein Projekt für Neugierige und kein echter Ersatz für eine hundertprozentig zuverlässige Alltagssteuerung. Ob es für dich passt, hängt ganz von deinem Setup und deinem individuellen Bedarf ab. Deshalb gibt es hier auch keine pauschale Empfehlung, sondern ein paar Anhaltspunkte.

Das Setup kann sich für dich lohnen, wenn…

• du ohnehin einen Rechner mit genügend Leistung in deinem Netzwerk betreibst.
• es dir wichtig ist, dass deine Sprachbefehle das Haus niemals verlassen.
• du Spaß am Ausprobieren hast und mit gelegentlichen Fehlern gut leben kannst.

Es ist eher noch nichts für dich, wenn…

• dein Home Assistant auf einem klassischen Raspberry Pi oder Mini-PC läuft und du keinen zusätzlichen Rechner anschaffen möchtest.
• du dich im Alltag fest und fehlerfrei auf die Sprachsteuerung verlassen willst.
• dir einfache Befehle wie „Licht an“ völlig reichen. Das erledigt Assist nämlich auch ohne komplexes Sprachmodell rein lokal.

Die Richtung stimmt auf jeden Fall: Mit llama.cpp und LiteLLM gibt es seit Version 2026.8 deutlich mehr Auswahl als je zuvor. Ob sich diese lokalen Modelle im Smart-Home-Alltag bewähren, entscheidet am Ende jedoch nicht die bloße Zahl der Integrationen, sondern wie zuverlässig sie am Ende wirklich deine Geräte schalten.

Quellen:

• Ollama-Integration, offizielle Doku
• Release 2024.4: Ollama-Integration
• Release 2024.8: Steuerung per Ollama
• Release 2026.8: llama.cpp und LiteLLM
• Release 2026.9: Präfix für LLM-Werkzeuge
• Open Home Foundation AI Policy
• NickM-27/VoiceAssistant: Community-Setup mit Konfiguration und Prompts