Needle: 명령을 라즈베리 파이의 동작으로 바꾸는 14MB 모델

LLM 하면 보통 챗봇부터 떠오르지만, Needle은 다른 길을 간다. Cactus Compute가 만든 작은 인공지능 모델로, 크기는 겨우 14MB다. 하나의 일만 한다. 자연어 요청을 Python 함수 호출로 바꾸는 것이다. 대화를 위한 것이 아니라 앱, 기기, 자동화를 제어하기 위한 모델이다.

흥미로웠던 부분은 클라우드도 AI 전용 하드웨어도 없이, 라즈베리 파이 5에서 CPU만으로 로컬에서 돌아간다는 점이다. accendi_led() 같은 함수를 직접 쓸 필요 없이 "LED 1 켜줘"라고 말하면 모델이 알맞은 함수를 고른다. 이탈리아어 명령도 알아듣고, 프로젝트 사이트에는 홈 자동화, 로봇청소기, 스마트워치, AR 안경 데모가 있어서 직접 해 볼 수 있다.

RaspberryItaly 튜토리얼은 작은 로컬 비서를 만든다. 메모를 파일에 저장하고, 라즈베리 파이의 온도를 읽고, LED를 켜고 끄며, 이탈리아어로 쓴 명령을 이해한다. 필요한 것은 라즈베리 파이(5 권장), 최신 Raspberry Pi OS, Python 3, 220 또는 330옴 저항을 단 LED와 점퍼선 몇 개다. 설치는 가상 환경과 cactus-needle 패키지로 진행하며, 인터넷은 처음 내려받을 때만 필요하다.

저자가 남긴 조언도 기억해 둘 만하다. 명령은 한 번에 하나씩 주는 편이 낫다. "부엌 불 끄고 블라인드 내려" 같은 문장은 제대로 해석되지 않을 수 있지만, 두 명령을 나눠 주면 잘 동작한다.

프로젝트 아이디어로는 아주 구체적이라고 본다. 로컬 음성 인식과 결합하면, 어떤 네트워크 서비스에도 의존하지 않고 로봇이나 작은 자동화를 음성으로 조종할 수 있다.

출처: RaspberryItaly