Needle: ein 14-MB-Modell, das Befehle auf dem Raspberry Pi in Aktionen umsetzt

Wenn von LLMs die Rede ist, denkt man sofort an Chatbots, doch Needle geht einen anderen Weg. Es ist ein kleines KI-Modell mit gerade einmal 14 MB, entwickelt von Cactus Compute, und hat genau eine Aufgabe: Eine Anfrage in natürlicher Sprache in den Aufruf einer Python-Funktion übersetzen. Es ist nicht zum Plaudern gedacht, sondern zum Steuern von Anwendungen, Geräten und Automatisierungen.

Was mich neugierig gemacht hat: Es läuft lokal auf einem Raspberry Pi 5, nur mit der CPU, ohne Cloud und ohne eigene KI-Hardware. Statt accendi_led() zu schreiben, reicht es, „LED 1 einschalten“ zu sagen, und das Modell wählt die passende Funktion. Es funktioniert auch mit italienischen Befehlen, und auf der Projektseite gibt es Online-Demos (Smart Home, Saugroboter, Smartwatch, AR-Brille) zum Ausprobieren.

Das Tutorial von RaspberryItaly baut einen kleinen lokalen Assistenten, der Notizen in einer Datei speichert, die Temperatur des Raspberry Pi ausliest, eine LED ein- und ausschaltet und auf Italienisch geschriebene Befehle versteht. Benötigt werden ein Raspberry Pi (am besten ein Modell 5), ein aktuelles Raspberry Pi OS, Python 3, eine LED mit einem Vorwiderstand von 220 oder 330 Ohm und ein paar Jumperkabel. Die Installation läuft über eine virtuelle Umgebung und das Paket cactus-needle; eine Internetverbindung braucht man nur für den ersten Download.

Ein Hinweis des Autors sollte man sich merken: Am besten gibt man immer nur einen Befehl auf einmal. Ein Satz wie „Schalte das Küchenlicht aus und fahr die Jalousie herunter“ wird womöglich nicht richtig verstanden, zwei getrennte Befehle funktionieren dagegen.

Als Projektidee finde ich das sehr praxisnah: Kombiniert mit lokaler Spracherkennung lässt sich damit ein Roboter oder eine kleine Automatisierung steuern, ohne auf einen Netzwerkdienst angewiesen zu sein.

Quelle: RaspberryItaly