Needle: model o rozmiarze 14 MB, który zamienia polecenia w działania na Raspberry Pi

Gdy mowa o LLM-ach, od razu myślimy o chatbotach, ale Needle idzie inną drogą. To mały model sztucznej inteligencji, zaledwie 14 MB, stworzony przez Cactus Compute, z jednym zadaniem: zamianą żądania w języku naturalnym na wywołanie funkcji w Pythonie. Nie służy do rozmowy, tylko do sterowania aplikacjami, urządzeniami i automatyzacjami.

Zaciekawiło mnie to, że działa lokalnie na Raspberry Pi 5, korzystając wyłącznie z procesora, bez chmury i bez dedykowanego sprzętu do AI. Zamiast pisać accendi_led(), wystarczy powiedzieć „Włącz diodę 1”, a model wybiera właściwą funkcję. Rozumie też polecenia po włosku, a na stronie projektu są internetowe dema (dom inteligentny, odkurzacz robot, smartwatch, okulary AR) do wypróbowania.

Samouczek RaspberryItaly buduje niewielkiego lokalnego asystenta, który zapisuje notatki w pliku, odczytuje temperaturę Raspberry Pi, włącza i wyłącza diodę LED i rozumie polecenia napisane po włosku. Potrzebne są: Raspberry Pi (najlepiej 5), aktualny Raspberry Pi OS, Python 3, dioda LED z rezystorem 220 lub 330 omów i kilka przewodów połączeniowych. Instalacja odbywa się w środowisku wirtualnym z pakietem cactus-needle; połączenie z internetem jest potrzebne tylko przy pierwszym pobieraniu.

Warto zapamiętać radę autora: lepiej wydawać jedno polecenie naraz. Zdanie w stylu „zgaś światło w kuchni i opuść roletę” może zostać źle zrozumiane, a dwa osobne polecenia działają poprawnie.

Jako pomysł na projekt uważam to za bardzo praktyczne: w połączeniu z lokalnym rozpoznawaniem mowy pozwala sterować robotem lub prostą automatyką bez zależności od jakiejkolwiek usługi sieciowej.

Źródło: RaspberryItaly