JetBrains ra mắt Mellum2.1, mô hình AI lập trình tập trung vào lập trình theo tác tử
Theo IT之家, ngày 8 tháng 10 JetBrains đã công bố mô hình AI lập trình Mellum2.1 trong một bài đăng blog, với trọng tâm là tăng cường khả năng lập trình theo tác tử. Là một lập trình viên, tôi vẫn theo dõi những mô hình mở kiểu này có thể chạy cục bộ, nên tôi tóm tắt các điểm chính ở đây.
Mô hình giữ nguyên kiến trúc của Mellum2: đây là mô hình chuyên gia hỗn hợp (MoE) 12B tham số, trong đó 2,5B tham số hoạt động, và vẫn được phát hành theo giấy phép Apache 2.0. Thay đổi lớn nhất trong huấn luyện là giai đoạn học tăng cường sau tiền huấn luyện, vốn chỉ là một bước hoàn thiện ngắn, nay đã trở thành phần cốt lõi của quá trình huấn luyện. Dữ liệu về toán học, cuộc thi thuật toán, khoa học, sử dụng công cụ và kỹ thuật phần mềm được bổ sung, các môi trường học tăng cường nội bộ được xây dựng, và trong quá trình huấn luyện đã khởi chạy hàng triệu sandbox trên hàng nghìn môi trường. Trước khi huấn luyện, các tác vụ có kiểm thử lỗi, đáp án không thể kiểm chứng hoặc độ khó không phù hợp sẽ bị loại bỏ.
Theo mô tả chính thức, mô hình có thể khám phá mã nguồn, chỉnh sửa tệp và kiểm tra lại các thay đổi của chính nó. Cải tiến lớn nhất nằm ở lập trình theo tác tử: mô hình có thể xác định nguyên nhân gốc của các kiểm thử thất bại, soạn bản sửa lỗi và kiểm chứng kết quả. Về tốc độ, kiến trúc không đổi, nhưng dự đoán đa token (MTP) giúp việc sinh văn bản cho một yêu cầu nhanh hơn khoảng 1,6 lần. So với Mellum2, Qwen3.5-9B và Gemma 4 E4B trong cùng điều kiện đánh giá, thông lượng đầu ra của Mellum2.1 trên một H200 khi tải cao gần gấp đôi Qwen3.5-9B.
Mô hình đã có trên Hugging Face và có thể triển khai cục bộ hoặc trên hạ tầng riêng, nhờ đó doanh nghiệp có thể giữ mã nguồn và dữ liệu trong môi trường của mình. JetBrains có kế hoạch phát hành phiên bản GGUF cho llama.cpp, Ollama và LM Studio, cùng một thành phần giải mã suy đoán MTP cho vLLM.
Tôi đang mong chờ phiên bản GGUF, vì khi đó các lập trình viên thông thường cũng có thể thử trên máy của mình. Với một mô hình lập trình, bạn coi trọng điều gì hơn: độ chính xác hay chi phí triển khai?
Nguồn: IT之家
Mô hình giữ nguyên kiến trúc của Mellum2: đây là mô hình chuyên gia hỗn hợp (MoE) 12B tham số, trong đó 2,5B tham số hoạt động, và vẫn được phát hành theo giấy phép Apache 2.0. Thay đổi lớn nhất trong huấn luyện là giai đoạn học tăng cường sau tiền huấn luyện, vốn chỉ là một bước hoàn thiện ngắn, nay đã trở thành phần cốt lõi của quá trình huấn luyện. Dữ liệu về toán học, cuộc thi thuật toán, khoa học, sử dụng công cụ và kỹ thuật phần mềm được bổ sung, các môi trường học tăng cường nội bộ được xây dựng, và trong quá trình huấn luyện đã khởi chạy hàng triệu sandbox trên hàng nghìn môi trường. Trước khi huấn luyện, các tác vụ có kiểm thử lỗi, đáp án không thể kiểm chứng hoặc độ khó không phù hợp sẽ bị loại bỏ.
Theo mô tả chính thức, mô hình có thể khám phá mã nguồn, chỉnh sửa tệp và kiểm tra lại các thay đổi của chính nó. Cải tiến lớn nhất nằm ở lập trình theo tác tử: mô hình có thể xác định nguyên nhân gốc của các kiểm thử thất bại, soạn bản sửa lỗi và kiểm chứng kết quả. Về tốc độ, kiến trúc không đổi, nhưng dự đoán đa token (MTP) giúp việc sinh văn bản cho một yêu cầu nhanh hơn khoảng 1,6 lần. So với Mellum2, Qwen3.5-9B và Gemma 4 E4B trong cùng điều kiện đánh giá, thông lượng đầu ra của Mellum2.1 trên một H200 khi tải cao gần gấp đôi Qwen3.5-9B.
Mô hình đã có trên Hugging Face và có thể triển khai cục bộ hoặc trên hạ tầng riêng, nhờ đó doanh nghiệp có thể giữ mã nguồn và dữ liệu trong môi trường của mình. JetBrains có kế hoạch phát hành phiên bản GGUF cho llama.cpp, Ollama và LM Studio, cùng một thành phần giải mã suy đoán MTP cho vLLM.
Tôi đang mong chờ phiên bản GGUF, vì khi đó các lập trình viên thông thường cũng có thể thử trên máy của mình. Với một mô hình lập trình, bạn coi trọng điều gì hơn: độ chính xác hay chi phí triển khai?
Nguồn: IT之家
Bình luận 0
Hãy là người bình luận đầu tiên, bằng bất kỳ ngôn ngữ nào.
Đăng nhập để bình luận