Needle：命令をRaspberry Piの動作に変える14MBのモデル

LLMと聞くとまずチャットボットを思い浮かべますが、Needleは別の道を行きます。Cactus Computeが開発した小さなAIモデルで、サイズはわずか14MBです。役割は一つ、自然言語の依頼をPython関数の呼び出しに変換することだけです。会話のためのものではなく、アプリや機器、自動化を操作するためのモデルです。

興味を引かれたのは、クラウドもAI専用ハードウェアも使わず、Raspberry Pi 5上でCPUだけを使ってローカルに動く点です。accendi_led()のような関数をわざわざ書く必要はなく、「LED 1をつけて」と言えば、モデルが適切な関数を選びます。イタリア語の命令にも対応しており、プロジェクトのサイトにはホームオートメーション、ロボット掃除機、スマートウォッチ、ARグラスのオンラインデモがあって試せます。

RaspberryItalyのチュートリアルでは、メモをファイルに保存し、Raspberry Piの温度を読み取り、LEDのオンとオフを切り替え、イタリア語で書かれた命令を理解する小さなローカルアシスタントを作ります。必要なのはRaspberry Pi（5が望ましい）、最新のRaspberry Pi OS、Python 3、220または330オームの抵抗を付けたLEDと、数本のジャンパーワイヤーです。インストールは仮想環境とcactus-needleパッケージを使い、インターネット接続が必要なのは最初のダウンロード時だけです。

著者の助言も覚えておく価値があります。命令は一度に一つずつ出す方がよいそうです。「台所の電気を消してブラインドを下ろして」のような一文は正しく解釈されないことがありますが、二つの命令に分ければうまく動きます。

プロジェクトのアイデアとしては、とても実用的だと感じます。ローカルの音声認識と組み合わせれば、ネットワーク上のどんなサービスにも頼らずに、ロボットや小さな自動化を声で操作できます。

出典：RaspberryItaly