Inkling 2 Small mở weights Apache 2.0: MoE 594B giờ tải về tự host được — nhưng ai chạy nổi?

Bài toán thật: muốn model mở mạnh, nhưng model mạnh thì đóng

Tuần trước mình dùng coding agent trên một model mở cỡ vừa để tách module xác thực ra khỏi monolith. Nửa đầu suôn sẻ, rồi agent quên interface đã thống nhất, gọi tool sai tham số, trả về bản sửa “trông thì đúng” nhưng phá hai test cũ.

Model mạnh cho coding agent thường đóng — code gửi ra ngoài, không fine-tune được; model mở chạy vừa PC lại yếu đúng chỗ cần nhất: reasoning dài, tool-use, context đủ lớn.

Inkling 2 Small của TML rơi đúng vào khoảng trống đó: ngày 12/11/2026, TML công bố weights trên Hugging Face dưới giấy phép Apache 2.0 — MoE 594B, cao nhất trong nhóm open-weights ngoài Trung Quốc theo AA Index, context 1M token. Nhưng weights mở không đồng nghĩa ai cũng chạy được — bài này trả lời ba câu hỏi: nó là gì, ai chạy nổi, và không chạy nổi thì dùng thế nào cho rẻ.

Inkling 2 Small là gì?

Ra mắt 5/11/2026, ban đầu chỉ dùng được qua Tinker — API hosted của chính TML — với lời hứa mở weights “tuần sau, sau external safety testing và red-teaming”. Đúng hẹn, tối 12/11/2026 (khoảng 20:50 UTC), weights lên Hugging Face tại repo thinkingmachines/Inkling-2-Small, giấy phép Apache 2.0, 25 file safetensors, checkpoint chính NVFP4 và một repo MXFP8 riêng.

Apache 2.0 cho phép tự host, fine-tune và dùng thương mại không phí bản quyền — rào cản còn lại nằm ở phần cứng, không ở giấy phép.

Benchmark trên model card — toàn bộ là số do TML tự báo cáo

Chưa có đo lường độc lập nào xác minh các số trên — đọc như chỉ báo định hướng.

Ai nên dùng: đội có cụm GPU H200/B300, nhà cung cấp inference, AI builder cần model mở để tự host vì compliance hoặc fine-tune. Ai không nên: homelab 1–2 GPU gaming, người chỉ cần chatbot hay RAG nhẹ, đội cần model chạy offline — trường hợp đó BotPsy 0.8B chạy trực tiếp trên máy hợp lý hơn.

Kiến trúc: MoE 594B, 17B active, context 1M token

MoE decoder-only 48 layer: 594B tổng, 17B active mỗi token (router chọn 8/384 experts), attention hybrid local + global; nhận text và ảnh qua vision encoder, trả ra text, không audio.

Điểm mấu chốt: chi phí suy luận tính theo 17B active, nhưng lưu trữ và nạp weights tính theo 594B tổng — mỗi lần suy luận vẫn stream toàn bộ weights qua VRAM, nên bottleneck là bộ nhớ, không phải FLOPs.

NVFP4 và MXFP8: chọn bản nào

Sơ đồ kiến trúc: luồng suy luận và 3 đường triển khai

flowchart TD
    A["User / Coding agent<br/>Prompt + tool definitions"] --> B["API Gateway / vLLM<br/>OpenAI-compatible endpoint"]
    B --> C["Router MoE<br/>48-layer decoder"]
    C --> D["Hybrid attention<br/>local + global"]
    C --> E["Vision encoder<br/>ảnh → embedding"]
    C --> F["17B active<br/>8/384 experts mỗi token"]
    F --> G["DSpark speculative decoding<br/>7 token, acceptance ~3.5"]
    G --> H["Reasoning parser inkling"]
    H --> I["Tool-call parser inkling<br/>+ auto-tool-choice"]
    I -->|Cần tool| J["Tool execution<br/>shell / API / MCP"]
    J --> C
    I -->|Không cần tool| K["Text output"]
    B --> L["A. Self-host vLLM / TokenSpeed<br/>NVFP4 ≥500GB VRAM, TP8 = 1M ctx"]
    B --> M["B. API — Tinker $0.30/$1.00 per 1M tok<br/>reasoning_effort"]
    B --> N["C. Chờ quant cộng đồng<br/>GGUF / Unsloth — chưa ghi nhận bản chính thức (13/11)"]

Giới hạn cần biết trước

• VRAM tối thiểu 500GB (NVFP4) là rào cản cứng. Không có mẹo cấu hình nào giảm được, trừ khi chờ quant cộng đồng — tính đến 13/11 chưa ghi nhận bản GGUF chính thức nào được xác minh.
• Context 1M token không tự động có trên mọi cấu hình. Theo cấu hình vLLM đã verify trên GB200: TP4 tối đa 262K token, TP8 mới đủ 1M.
• Fine-tune bị giới hạn. LoRA hỗ trợ trên attention projections và routed experts, nhưng checkpoint NVFP4/MXFP8 chỉ dùng được attention-only adapter.

Tự host: cần GPU nào, triển khai bằng vLLM / TokenSpeed

Nói thẳng: gần như không độc giả homelab nào đủ điều kiện — đây là cụm GPU cấp datacenter, không phải PC.

Một tháng 100M input + 50M output token qua Tinker tốn $80 — lấy làm mốc so với báo giá thuê cụm 4x H200.

vLLM — hỗ trợ day-0

vLLM hỗ trợ Inkling 2 Small ngay từ ngày weights ra mắt — nhưng cho tới khi support vào bản release chính thức, phải dùng image chuyên biệt vllm/vllm-openai:inkling-2-small. Tải weights từ repo chính thức:

pip install -U "huggingface_hub[cli]"
huggingface-cli download thinkingmachines/Inkling-2-Small

Lệnh serve đã verify từ blog vLLM ngày 12/11/2026:

vllm serve thinkingmachines/Inkling-2-Small \
  --tensor-parallel-size 8 \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

--reasoning-parser inkling và --tool-call-parser inkling là bắt buộc — thiếu hai flag này, agent gọi tool lỗi hoặc reasoning rò rỉ ra output.

TokenSpeed trên 4x B300

TRITON_USE_SLP_VECTORIZER=1 ts serve thinkingmachines/Inkling-2-Small \
  --tp 4 --ep-size 4 --mm-encoder-tp-mode data \
  --max-model-len 1048552 --sampling-backend triton \
  --kv-cache-dtype mxfp8 --speculative-algorithm DSPARK

Lần khởi động đầu autotune kernel khoảng 10 phút trên 4x B300 — không phải treo máy, đừng kill process.

Kiểm chứng sau triển khai

Đừng dùng GET /health làm readiness check: vLLM trả 200 ngay khi server lên, trước cả khi weights nạp xong, và chỉ trả 503 khi engine chết. Dùng GET /v1/models — trả 503 cho tới khi model sẵn sàng — hoặc gửi luôn một chat completion thử.

curl -s http://localhost:8000/v1/models

Sau đó gửi request thử tới /v1/chat/completions với model thinkingmachines/Inkling-2-Small, yêu cầu reasoning và một tool-call mẫu — kỳ vọng trường reasoning tách riêng, tool-call parse đúng schema, context đúng TP đã cấu hình (262K ở TP4, 1M ở TP8).

Lỗi thường gặp

• OOM / VRAM không đủ, hoặc context bị cắt dưới 1M: MXFP8 cần 800GB — đổi sang NVFP4; kiểm tra tensor-parallel size và KV cache dtype; đang chạy TP4 (giới hạn 262K) thay vì TP8, hoặc chưa đặt max-model-len.
• Reasoning/tool-call sai định dạng: thiếu --reasoning-parser inkling hoặc --tool-call-parser inkling.

Các engine khác theo model card gồm SGLang, Unsloth và Hugging Face — bài này không đưa lệnh cho họ vì chưa verify.

Không tự host được thì dùng qua API

Tinker API — cách dùng nhanh nhất

Tinker là API chính chủ của TML. Cài đặt từ PyPI chính thức:

uv pip install tinker-cookbook

Cấu hình cần model_name="thinkingmachines/Inkling-2-Small" và TINKER_API_KEY từ Tinker console — đặt qua biến môi trường, đừng hardcode key. Tinker hỗ trợ điều chỉnh reasoning_effort.

Lưu ý: context 1M token chỉ có khi tự host. Trên Tinker, model chỉ phục vụ 64K chuẩn hoặc 256K mở rộng (model ID có hậu tố :peft:262144) — đừng thiết kế workflow RAG quanh 1M token nếu dùng API.

Giá Tinker: $0,30/$1,00 cho mỗi 1M token input/output; Together cùng mức giá. Các provider còn lại — NVIDIA, Fireworks, Baseten, Nebius, Modal, Cloudflare — chỉ liệt kê theo model card, không bịa giá.

Chi phí thực tế: reasoning token mới là khoản tiền lớn

Output token đắt gấp khoảng 3,3 lần input, và với coding agent phần lớn chi phí nằm ở reasoning token — tính theo giá output. Đặt reasoning_effort theo độ khó từng task — thấp cho task thường, cao chỉ cho task khó.

Đánh giá: ưu điểm, nhược điểm và rủi ro

Ưu điểm: weights mở Apache 2.0 thật sự — tự host, fine-tune trong giới hạn LoRA, dùng thương mại không rào cản license; mạnh ở coding agent theo benchmark vendor (SWE-bench Pro v2 Hard 86,3%, BrowseComp 90,2% with compaction); hệ sinh thái day-0 đầy đủ. Nhược điểm: 500GB VRAM tối thiểu — “mở” về license nhưng đóng về hạ tầng với đa số người dùng; MXFP8 tốn thêm 300GB VRAM đổi lấy 1–2 điểm eval; fine-tune bị giới hạn (attention-only LoRA); không audio; benchmark vendor-reported; kết quả safety/red-teaming chi tiết chưa được công bố.

Bảo mật và vận hành khi tự host

Weights Apache 2.0 không đồng nghĩa an toàn mặc định — tự host nghĩa là tự chịu trách nhiệm guardrail, lọc input/output, rate limit và log audit. Model card ghi model đã qua safety eval và external red-teaming, kết luận không tạo “uplift vật chất” vượt ngoài hệ sinh thái open-weight hiện có — không phải “an toàn tuyệt đối”.

Ba rủi ro cụ thể: endpoint OpenAI-compatible lộ ra ngoài mà không có auth sẽ bị lạm dụng để đào token — đặt sau reverse proxy kèm API key và rate limit; prompt injection qua tool-call — instruction độc hại có thể khiến agent gọi tool ngoài ý muốn, nên giới hạn quyền tool, whitelist lệnh shell, log mọi tool-call; supply chain — chỉ tải weights từ repo Hugging Face chính thức, cảnh giác mirror hay quant chưa verify checksum.

Rollback: giữ checkpoint cũ và image vLLM cũ khi nâng cấp; deploy API trước, self-host sau; chuẩn bị sẵn provider API dự phòng (Together hoặc Fireworks). Hiệu năng đã verify: khoảng 630 token/giây/người dùng ở TP4 trên GB200 với DSpark (acceptance length 3,5), theo vLLM.

So sánh với các lựa chọn cùng tầm

Inkling 2 Small thắng ở “mạnh + mở”, thua ở “ai cũng chạy được” — Colibri là đối chiếu trực tiếp nhất: cùng MoE mở, một bên chạy được trên máy cá nhân, một bên cần nửa terabyte VRAM. Bối cảnh frontier: Claude Fable và Mythos 5.2.

Use case thực tế

Doanh nghiệp / đội SRE: self-host trong VPC để code không ra ngoài, context 1M token nuốt cả repo — use case hợp lý nhất cho self-host, với điều kiện đội đã có cụm GPU hoặc ngân sách thuê cloud.

Homelab có cụm GPU: “cụm GPU” ở đây nghĩa là từ 4x H200 hoặc 2x B300 trở lên.

AI builder / lập trình viên: cài Tinker cookbook, đặt reasoning_effort theo độ khó task, chạy thử trên task thật và đo hóa đơn; chuyển sang self-host khi chi phí API tháng vượt chi phí thuê cụm.

DevOps / IT admin: giám sát VRAM, token/s, acceptance length và tỉ lệ tool-call lỗi.

Kết luận

Phù hợp: đội có cụm GPU datacenter, nhà cung cấp inference, AI builder cần model mở mạnh và sẵn sàng trả giá API $0,30/$1,00. Không phù hợp: homelab GPU gaming, người cần chạy offline trên PC, đội cần fine-tune sâu, người cần audio input.

Bước tiếp theo: (1) thử ngay qua Tinker API với reasoning_effort thấp để đo chi phí thật trên task của mình; (2) nếu có cụm GPU, chạy thử recipe vLLM TP8; (3) chưa đủ GPU thì theo dõi quant cộng đồng (Unsloth, llama.cpp) thay vì cố nhồi weights full.

Bài học rút ra

1. Weights mở không đồng nghĩa ai cũng chạy được. Apache 2.0 mở về mặt pháp lý, nhưng 500GB VRAM tối thiểu mới là rào cản thật — người hưởng lợi ngay là các nhà cung cấp inference có sẵn cụm B300/H200.
2. Với MoE, bottleneck là bộ nhớ, không phải FLOPs. Mỗi token vẫn phải stream 594B weights — đó là lý do TML khuyến nghị NVFP4 và vLLM dùng DSpark.
3. “1M context” có điều kiện. TP4 chỉ cho 262K token, TP8 mới đủ 1M — đọc kỹ cấu hình trước khi thiết kế RAG quanh 1M.
4. Núm chỉnh chi phí hiệu quả nhất qua API là reasoning_effort. Output token đắt gấp 3,3 lần input, reasoning token tính theo giá output — đặt effort theo độ khó từng task.
5. Đừng tin số benchmark mà chưa đo thử. AA Index trên bài ra mắt ghi 31, trên model card ghi 30,6 — mọi số đều vendor-reported; đo thử trên task thật qua API trước khi đầu tư cụm GPU.

Phạm vi kiểm chứng

Ngày kiểm chứng: 13/11/2026. Đã đối chiếu với model card Hugging Face của thinkingmachines/Inkling-2-Small, blog và recipes chính thức của vLLM (12/11/2026), recipes của TokenSpeed, trang PyPI của tinker-cookbook và trang pricing của Tinker và Together. Readiness check dùng GET /v1/models — /health trả 200 ngay khi server lên, trước khi model load xong. Benchmark là số do TML tự báo cáo, chưa có đo độc lập; hiệu năng 630 token/s và acceptance length 3,5 là số vendor công bố kèm điều kiện GB200/TP4. Giá API $0,30/$1,00 và giới hạn context 64K/256K của Tinker đã verify từ trang pricing chính thức của Tinker; các provider còn lại chưa verify giá. Phần tự host chưa chạy thử thực tế. Kết quả safety testing và red-teaming chi tiết chưa được TML công bố.

Tham khảo

• Model card: https://huggingface.co/thinkingmachines/Inkling-2-Small
• vLLM blog: https://vllm.ai/blog/2026-11-12-inkling2-small
• vLLM Recipes: https://recipes.vllm.ai/thinkingmachines/Inkling-2-Small
• TokenSpeed: https://lightseek.org/tokenspeed/recipes/models
• PyPI tinker-cookbook: https://pypi.org/project/tinker-cookbook/
• Tinker pricing: https://thinkingmachines.ai/tinker/pricing/
• Together pricing: https://together.ai/pricing