Needle: mô hình 14 MB biến lệnh thành hành động trên Raspberry Pi

Nhắc đến LLM, người ta thường nghĩ ngay đến chatbot, nhưng Needle đi theo hướng khác. Đây là một mô hình trí tuệ nhân tạo nhỏ, chỉ 14 MB, do Cactus Compute phát triển, và chỉ có một nhiệm vụ: biến yêu cầu bằng ngôn ngữ tự nhiên thành lệnh gọi một hàm Python. Nó không dùng để trò chuyện, mà để điều khiển ứng dụng, thiết bị và tự động hóa.

Điều khiến tôi thú vị là nó chạy cục bộ trên Raspberry Pi 5 chỉ bằng CPU, không cần đám mây hay phần cứng AI chuyên dụng. Thay vì viết accendi_led(), chỉ cần nói "Bật đèn LED 1" và mô hình sẽ chọn đúng hàm. Nó cũng hiểu lệnh tiếng Ý, và trang web của dự án có các bản demo trực tuyến (nhà thông minh, robot hút bụi, đồng hồ thông minh, kính AR) để thử.

Hướng dẫn của RaspberryItaly xây dựng một trợ lý cục bộ nhỏ, có thể lưu ghi chú vào tệp, đọc nhiệt độ của Raspberry Pi, bật tắt đèn LED và hiểu các lệnh viết bằng tiếng Ý. Bạn cần một Raspberry Pi (tốt nhất là đời 5), Raspberry Pi OS đã cập nhật, Python 3, một đèn LED kèm điện trở 220 hoặc 330 ohm và vài dây jumper. Cài đặt đi qua môi trường ảo và gói cactus-needle; kết nối internet chỉ cần cho lần tải đầu tiên.

Có một lời khuyên của tác giả nên ghi nhớ: tốt hơn là mỗi lần chỉ đưa một lệnh. Một câu như "tắt đèn bếp và hạ rèm xuống" có thể không được hiểu đúng, trong khi hai lệnh riêng biệt thì hoạt động tốt.

Về ý tưởng dự án, tôi thấy nó rất thiết thực: kết hợp với nhận dạng giọng nói cục bộ, bạn có thể điều khiển robot hay một hệ thống tự động nhỏ bằng giọng nói mà không phụ thuộc vào bất kỳ dịch vụ mạng nào.

Nguồn: RaspberryItaly