Needle: модель на 14 МБ, которая превращает команды в действия на Raspberry Pi

Когда речь заходит о LLM, сразу вспоминаются чат-боты, но Needle идёт другим путём. Это небольшая модель искусственного интеллекта размером всего 14 МБ, разработанная Cactus Compute, и у неё одна задача: превратить запрос на естественном языке в вызов функции Python. Она нужна не для разговоров, а для управления приложениями, устройствами и автоматизацией.

Меня заинтересовало, что она работает локально на Raspberry Pi 5, используя только процессор, без облака и без специального ИИ-железа. Вместо того чтобы писать accendi_led(), достаточно сказать «Включи светодиод 1», и модель выберет нужную функцию. Она понимает и команды на итальянском, а на сайте проекта есть онлайн-демо (умный дом, робот-пылесос, смарт-часы, AR-очки), которые можно попробовать.

Учебник от RaspberryItaly строит небольшого локального помощника: он сохраняет заметки в файл, читает температуру Raspberry Pi, включает и выключает светодиод и понимает команды, написанные по-итальянски. Понадобятся Raspberry Pi (лучше 5-я модель), актуальная Raspberry Pi OS, Python 3, светодиод с резистором 220 или 330 Ом и несколько перемычек. Установка идёт через виртуальное окружение и пакет cactus-needle; интернет нужен только для первой загрузки.

Стоит запомнить совет автора: лучше давать по одной команде за раз. Фраза вроде «выключи свет на кухне и опусти жалюзи» может быть понята неправильно, а две команды по отдельности работают.

Как идея для проекта она мне кажется очень практичной: в связке с локальным распознаванием речи она позволяет управлять роботом или небольшой автоматикой, не завися ни от одного сетевого сервиса.

Источник: RaspberryItaly