Ranking
Bảng xếp hạng LLM coding — model cho việc repo thật
Bảng này xếp hạng LLM đa năng cho hỗ trợ coding trong repository thật, không phải quiz trivia hay toy một hàm. Điểm phản ánh dùng thực tế với IDE hoặc agent harness: sửa multi-file, tuân project rule, và tạo diff người review được. Claim marketing của vendor bị bỏ qua.
Minh họa nhanh
Tiêu chí chấm điểm LLM cho coding.
Ảnh chụp bảng xếp hạng cho việc code trên repo thật.
Dấu hiệu nên đổi model.
Tiêu chí (tường minh)
Mỗi model được chấm 1–5 trên:
| Tiêu chí | Ý nghĩa |
|---|---|
| Tuân instruction | Tôn trọng giới hạn path, “đừng làm X,” và skills/rules dự án mà không cần nhắc liên tục |
| Nhất quán multi-file | Đổi file liên quan thống nhất; tránh type/API mâu thuẫn trong cùng patch |
| Kỷ luật diff | Ít churn không liên quan; hạn chế rename và nhiễu format dư thừa |
| Vòng debug | Dùng lỗi/output test để hội tụ thay vì sửa lung tung |
| Manners repo | Tôn trọng pattern, dependency và biên kiến trúc hiện có |
Trọng số tổng (thang 10): tuân instruction ×2, multi-file ×2, kỷ luật diff ×2, vòng debug ×2, manners repo ×2 — mỗi điểm thô 1–5 được chia đôi để bảng nằm trên thang 10 (tối đa 10).
Ngoài phạm vi bảng này: chất lượng viết chat thuần, sinh ảnh, cuộc đua latency không kèm chất lượng, và tính năng admin doanh nghiệp.
Ghi chú phương pháp: Xếp hạng kết hợp session agent tay trên repo web TypeScript/Python với failure mode thấy lặp (scope creep, tự tin giả, bỏ qua pattern local). Đây là scorecard biên tập, không phải lab benchmark có dataset leaderboard công khai.
Bảng xếp hạng (2026-11-09)
| Hạng | Model (bề mặt sản phẩm điển hình) | Điểm /10 | Hợp nhất khi | Cần để ý |
|---|---|---|---|---|
| 1 | Claude Opus-class (IDE/agent) | 8.6 | Refactor multi-file phức tạp kèm rule chặt | Hay giải thích dài; vẫn cần ràng buộc path |
| 2 | GPT-5-class (IDE/agent) | 8.2 | Fluency stack rộng, tooling, fix lặp | Thỉnh thoảng bịa file nếu scope mơ hồ |
| 3 | Claude Sonnet-class | 7.8 | Việc PR-sized hàng ngày, tuân rule tốt | Yếu hơn Opus-class trên refactor mơ hồ lan rộng |
| 4 | Gemini Pro-class (IDE/agent) | 7.2 | Khám phá context lớn, task trộn doc+code | Nhiễu diff và trượt biên thường hơn |
| 5 | DeepSeek / open-weight coding mạnh | 6.8 | Iterate nhạy chi phí, job bulk local hoặc API | Cần harness chặt hơn cho manners kiến trúc |
| 6 | Model “fast” mid-tier | 5.5 | Sửa nhỏ, boilerplate, hỗ trợ comment/doc | Không đáng tin khi sở hữu task multi-step trong repo |
Coi “-class” là tầng flagship hiện tại của mỗi họ tại ngày cập nhật. Tên SKU đổi nhanh hơn workflow; xem lại changelog khi provider đổi tên tier.
Cách dùng bảng này
- Daily driver mặc định: Sonnet-class hoặc GPT-5-class cho task cỡ PR kèm bộ ràng buộc viết sẵn.
- Việc kiến trúc khó: Opus-class khi chi phí phá biên cao.
- Làn ngân sách: open-weight hoặc mid-tier cho edit máy móc sau khi model mạnh hơn đã lên approach.
- Không bao giờ: chọn model chỉ vì một post mạng khoe một file demo ấn tượng.
Ghép model top với workflow trong guide lập trình cặp với AI: ràng buộc trước, lát mỏng, cổng review trên danh sách file và import.
Anti-tiêu chí (không thưởng)
- Tự tin dài dòng mà không chạy check
- Rewrite module đang chạy thành abstraction mới không được hỏi
- Bịa dependency “cho sạch”
- Pass unit test bằng cách làm yếu assertion
Changelog
- 2026-11-09 — Bảng công khai đầu tiên. Tiêu chí khóa như trên. Dùng nhãn tier để chịu churn SKU; lần cập nhật tới nên ghim ID API/model cụ thể dùng khi retest.