Needle: een model van 14 MB dat opdrachten omzet in acties op de Raspberry Pi
Als het over LLM's gaat, denkt iedereen meteen aan chatbots, maar Needle kiest een andere weg. Het is een klein AI-model van nauwelijks 14 MB, ontwikkeld door Cactus Compute, met één taak: een verzoek in natuurlijke taal omzetten in een aanroep van een Python-functie. Het is er niet voor om een gesprek te voeren, maar om apps, apparaten en automatiseringen aan te sturen.
Wat mij intrigeerde, is dat het lokaal draait op een Raspberry Pi 5 met alleen de CPU, zonder cloud en zonder aparte AI-hardware. In plaats van accendi_led() te schrijven, zeg je gewoon „Zet LED 1 aan“ en het model kiest de juiste functie. Het werkt ook met Italiaanse opdrachten, en op de projectsite staan online demo's (domotica, robotstofzuiger, smartwatch, AR-bril) die je kunt uitproberen.
De tutorial van RaspberryItaly bouwt een kleine lokale assistent die notities in een bestand opslaat, de temperatuur van de Raspberry Pi uitleest, een LED aan- en uitzet en opdrachten in het Italiaans begrijpt. Je hebt een Raspberry Pi nodig (bij voorkeur een 5), een actuele Raspberry Pi OS, Python 3, een LED met een weerstand van 220 of 330 ohm en een paar jumperkabels. De installatie verloopt via een virtuele omgeving en het pakket cactus-needle; internet is alleen nodig voor de eerste download.
Een tip van de auteur om te onthouden: geef liever één opdracht tegelijk. Een zin als „zet het keukenlicht uit en laat het rolgordijn zakken“ wordt misschien niet goed begrepen, terwijl de twee opdrachten apart wel werken.
Als projectidee vind ik het erg concreet: gecombineerd met lokale spraakherkenning kun je er een robot of een kleine automatisering mee aansturen, zonder afhankelijk te zijn van een netwerkdienst.
Bron: RaspberryItaly
Wat mij intrigeerde, is dat het lokaal draait op een Raspberry Pi 5 met alleen de CPU, zonder cloud en zonder aparte AI-hardware. In plaats van accendi_led() te schrijven, zeg je gewoon „Zet LED 1 aan“ en het model kiest de juiste functie. Het werkt ook met Italiaanse opdrachten, en op de projectsite staan online demo's (domotica, robotstofzuiger, smartwatch, AR-bril) die je kunt uitproberen.
De tutorial van RaspberryItaly bouwt een kleine lokale assistent die notities in een bestand opslaat, de temperatuur van de Raspberry Pi uitleest, een LED aan- en uitzet en opdrachten in het Italiaans begrijpt. Je hebt een Raspberry Pi nodig (bij voorkeur een 5), een actuele Raspberry Pi OS, Python 3, een LED met een weerstand van 220 of 330 ohm en een paar jumperkabels. De installatie verloopt via een virtuele omgeving en het pakket cactus-needle; internet is alleen nodig voor de eerste download.
Een tip van de auteur om te onthouden: geef liever één opdracht tegelijk. Een zin als „zet het keukenlicht uit en laat het rolgordijn zakken“ wordt misschien niet goed begrepen, terwijl de twee opdrachten apart wel werken.
Als projectidee vind ik het erg concreet: gecombineerd met lokale spraakherkenning kun je er een robot of een kleine automatisering mee aansturen, zonder afhankelijk te zijn van een netwerkdienst.
Bron: RaspberryItaly
Reacties 0
Plaats de eerste reactie, in elke taal.
Log in om te reageren