10 phút đọc—
Inkling 2 Small: MoE 594B mở weights Apache 2.0
Inkling 2 Small vừa mở weights Apache 2.0: MoE 594B, 17B active, context 1M token. Phân tích kiến trúc, GPU tối thiểu để tự host và cách dùng qua API.
Chủ đề: vLLM
Các bài viết thuộc chủ đề "vLLM".