Needle: en modell på 14 MB som omvandlar kommandon till handlingar på Raspberry Pi

När man pratar om LLM:er tänker man genast på chattbottar, men Needle går en annan väg. Det är en liten AI-modell på bara 14 MB, utvecklad av Cactus Compute, med en enda uppgift: att omvandla en förfrågan på naturligt språk till ett anrop av en Python-funktion. Den är inte till för att samtala, utan för att styra appar, enheter och automatiseringar.

Det som väckte min nyfikenhet är att den körs lokalt på en Raspberry Pi 5 med enbart processorn, utan moln och utan dedicerad AI-hårdvara. I stället för att skriva accendi_led() räcker det att säga ”Tänd LED 1”, och modellen väljer rätt funktion. Den klarar även italienska kommandon, och projektets webbplats har onlinedemos (smarta hem, robotdammsugare, smartklocka, AR-glasögon) som man kan prova.

RaspberryItalys handledning bygger en liten lokal assistent som sparar anteckningar i en fil, läser av temperaturen på Raspberry Pi, tänder och släcker en lysdiod och förstår kommandon skrivna på italienska. Du behöver en Raspberry Pi (helst en 5:a), uppdaterad Raspberry Pi OS, Python 3, en lysdiod med ett motstånd på 220 eller 330 ohm och några jumperkablar. Installationen går via en virtuell miljö och paketet cactus-needle; internetanslutning behövs bara för den första nedladdningen.

Ett råd från författaren är värt att komma ihåg: ge helst ett kommando i taget. En mening som ”släck köksljuset och sänk persiennen” kanske inte tolkas rätt, medan de två kommandona fungerar när de ges separat.

Som projektidé tycker jag att den är mycket konkret: i kombination med lokal röstigenkänning går det att styra en robot eller en liten automatisering utan att vara beroende av någon nättjänst.

Källa: RaspberryItaly