Needle: model 14 MB yang mengubah perintah menjadi aksi di Raspberry Pi

Ketika orang membicarakan LLM, yang langsung terbayang adalah chatbot, tetapi Needle menempuh jalan yang berbeda. Ini adalah model kecil kecerdasan buatan, hanya 14 MB, dikembangkan oleh Cactus Compute, dengan satu tugas: mengubah permintaan dalam bahasa alami menjadi pemanggilan fungsi Python. Ia tidak dibuat untuk mengobrol, melainkan untuk mengendalikan aplikasi, perangkat, dan otomatisasi.

Yang menarik perhatian saya adalah ia berjalan secara lokal di Raspberry Pi 5 hanya dengan CPU, tanpa cloud dan tanpa perangkat keras AI khusus. Alih-alih menulis accendi_led(), cukup katakan "Nyalakan LED 1" dan model akan memilih fungsi yang tepat. Ia juga memahami perintah dalam bahasa Italia, dan situs proyeknya menyediakan demo daring (rumah pintar, robot penyedot debu, jam tangan pintar, kacamata AR) yang bisa dicoba.

Tutorial dari RaspberryItaly membangun asisten lokal kecil yang menyimpan catatan ke sebuah berkas, membaca suhu Raspberry Pi, menyalakan dan mematikan LED, serta memahami perintah yang ditulis dalam bahasa Italia. Dibutuhkan Raspberry Pi (sebaiknya versi 5), Raspberry Pi OS yang sudah diperbarui, Python 3, LED dengan resistor 220 atau 330 ohm, dan beberapa kabel jumper. Instalasinya lewat lingkungan virtual dan paket cactus-needle; koneksi internet hanya diperlukan untuk unduhan pertama.

Satu saran dari penulis perlu diingat: lebih baik memberi satu perintah setiap kali. Kalimat seperti "matikan lampu dapur dan turunkan tirai" mungkin tidak ditafsirkan dengan benar, sedangkan dua perintah yang dipisah berfungsi dengan baik.

Sebagai ide proyek, menurut saya ini sangat praktis: dipadukan dengan pengenalan suara lokal, ia memungkinkan kita mengendalikan robot atau otomatisasi kecil tanpa bergantung pada layanan jaringan apa pun.

Sumber: RaspberryItaly