Needle: model 14 MB yang menukar arahan kepada tindakan pada Raspberry Pi

Apabila orang bercakap tentang LLM, yang terlintas dahulu ialah chatbot, tetapi Needle mengambil jalan yang lain. Ia ialah model kecerdasan buatan yang kecil, hanya 14 MB, dibangunkan oleh Cactus Compute, dengan satu tugas sahaja: menukar permintaan dalam bahasa semula jadi kepada panggilan fungsi Python. Ia bukan untuk berbual, sebaliknya untuk mengawal aplikasi, peranti dan automasi.

Perkara yang menarik perhatian saya ialah ia berjalan secara tempatan pada Raspberry Pi 5 hanya menggunakan CPU, tanpa awan dan tanpa perkakasan AI khusus. Daripada menulis accendi_led(), cukup sekadar berkata "Hidupkan LED 1" dan model akan memilih fungsi yang betul. Ia juga memahami arahan dalam bahasa Itali, dan laman projek menyediakan demo dalam talian (rumah pintar, robot vakum, jam tangan pintar, cermin mata AR) untuk dicuba.

Tutorial RaspberryItaly membina pembantu tempatan kecil yang menyimpan nota dalam fail, membaca suhu Raspberry Pi, menghidupkan dan mematikan LED, serta memahami arahan yang ditulis dalam bahasa Itali. Anda memerlukan Raspberry Pi (lebih baik model 5), Raspberry Pi OS yang dikemas kini, Python 3, LED dengan perintang 220 atau 330 ohm dan beberapa wayar jumper. Pemasangan dibuat melalui persekitaran maya dan pakej cactus-needle; sambungan internet hanya diperlukan untuk muat turun pertama.

Satu nasihat daripada penulis patut diingat: lebih baik memberi satu arahan pada satu masa. Ayat seperti "matikan lampu dapur dan turunkan tirai" mungkin tidak ditafsirkan dengan betul, manakala dua arahan yang diberi berasingan berfungsi dengan baik.

Sebagai idea projek, saya rasa ia sangat praktikal: digabungkan dengan pengecaman suara tempatan, ia membolehkan kita mengawal robot atau automasi kecil tanpa bergantung pada mana-mana perkhidmatan rangkaian.

Sumber: RaspberryItaly