Needle: модель на 14 МБ, що перетворює команди на дії на Raspberry Pi

Коли йдеться про LLM, одразу уявляються чат-боти, але Needle іде іншим шляхом. Це невелика модель штучного інтелекту, лише 14 МБ, створена Cactus Compute, і в неї одне завдання: перетворити запит природною мовою на виклик функції Python. Вона призначена не для розмов, а для керування застосунками, пристроями та автоматизацією.

Мене зацікавило, що вона працює локально на Raspberry Pi 5, використовуючи лише процесор, без хмари та без окремого апаратного забезпечення для ШІ. Замість того щоб писати accendi_led(), достатньо сказати «Увімкни світлодіод 1», і модель обере потрібну функцію. Вона розуміє й італійські команди, а на сайті проєкту є онлайн-демо (розумний дім, робот-пилосос, смарт-годинник, AR-окуляри), які можна спробувати.

Підручник від RaspberryItaly будує невеликого локального помічника: він зберігає нотатки у файл, зчитує температуру Raspberry Pi, вмикає й вимикає світлодіод і розуміє команди, написані італійською. Знадобиться Raspberry Pi (краще 5-та модель), актуальна Raspberry Pi OS, Python 3, світлодіод з резистором 220 або 330 Ом і кілька перемичок. Встановлення відбувається через віртуальне середовище та пакет cactus-needle; інтернет потрібен лише для першого завантаження.

Варто запам'ятати пораду автора: краще давати по одній команді за раз. Фраза на кшталт «вимкни світло на кухні і опусти жалюзі» може бути зрозуміла неправильно, а дві окремі команди працюють.

Як ідея для проєкту мені це здається дуже практичним: у поєднанні з локальним розпізнаванням мовлення воно дає змогу керувати роботом чи невеликою автоматикою, не залежачи від жодного мережевого сервісу.

Джерело: RaspberryItaly