Gemini Decisions API — Google ra mắt API quyết định nhanh cho AI agent, chạy bằng model Gemini Decision 1

Cuối giờ chiều thứ Ba, hệ thống hỗ trợ khách hàng nhận một ticket mới: ảnh chụp màn hình lỗi kèm vài dòng mô tả. Trước khi làm được việc gì hữu ích, agent phải trả lời hàng loạt câu hỏi nhỏ — phân loại, mức độ nghiêm trọng, gọi tool nào. Mỗi câu hỏi là một lần gọi LLM lớn, và bạn không biết lần nào model đang đoán mò.

Nhân lên hàng nghìn ticket mỗi ngày, bạn có một hệ thống vừa chậm, vừa đắt, vừa sai âm thầm. Gemini Decisions API, ra mắt ngày 11/11/2026, tách việc “quyết định” khỏi việc “sinh văn bản” — nhanh, rẻ, và trả về độ tin cậy đo được.

Gemini Decisions API là gì?

Decision model khác LLM sinh text như thế nào?

LLM sinh text trả lời bằng văn bản tự do: bạn hỏi mở, nó viết ra một đoạn, rồi code phải parse đoạn đó để trích ra quyết định — vừa chậm, vừa đắt, vừa mong manh.

Decision model làm ngược lại: không sinh văn bản, nó chấm điểm một tập lựa chọn đã định sẵn và trả về xác suất cùng confidence 0–1. Hầu hết quyết định trong agent đều là closed-set — không cần cả một mô hình sinh text.

Gemini Decision 1 — model đứng sau API

Gemini Decision 1 (gemini-decision-1) của Google DeepMind ra mắt cùng API ngày 11/11/2026, truy cập qua Gemini API trong AI Studio, endpoint v1beta. Một request chứa tối đa 1.000 câu hỏi độc lập trên một input đa phương thức chung tối đa 256K token.

Giá công bố: $0.10/1M input token, $0 output token. Input chung chỉ tính phí một lần mỗi request. AI Studio có no-cost tier để prototype.

Ba loại câu hỏi: noul, choice, score

• noul (yes/no): ước lượng xác suất một điều kiện đúng hay sai. Dùng cho kiểm tra policy, phát hiện lỗi.
• choice (2–255 lựa chọn): trả về lựa chọn thắng cùng xác suất chuẩn hóa cho mọi ứng viên. Dùng cho model routing, tool selection.
• score (rubric có thứ tự, bắt đầu từ 0): trả về điểm liên tục có trọng số cùng xác suất từng mức. Dùng cho chấm điểm chất lượng, đánh giá đầu ra agent.

Confidence biến API này thành “một lớp điều khiển”: code đặt ngưỡng — từ 0,8 trở lên chạy tự động, thấp hơn chuyển sang LLM lớn hơn hoặc người review.

API này dành cho dev xây AI agent, DevOps/SRE vận hành agent production, và IT manager quản chi phí AI. Không dành cho người cần văn bản tự do hay reasoning nhiều bước.

Kiến trúc và cơ chế hoạt động

flowchart TD
    A["Input chung đa phương thức<br/>text / ảnh / audio / video / PDF<br/>256K token — tính phí 1 lần"] --> B["client.decisions.create<br/>model gemini-decision-1<br/>tối đa 1.000 câu hỏi<br/>noul / choice / score"]
    B --> C["Gemini Decision 1<br/>một forward pass duy nhất<br/>không sinh token tự do"]
    C --> D["Đầu ra có cấu trúc<br/>đáp án + xác suất<br/>+ confidence 0–1 / câu hỏi"]
    D --> E{"Lớp định tuyến trong code<br/>ngưỡng confidence ≥ 0,8"}
    E -->|Confidence cao| F["Nhánh tự động<br/>route tới model / tool / hành động"]
    E -->|Confidence thấp| G["Nhánh fallback<br/>LLM lớn hơn / người review"]
    F --> H["Log quyết định + confidence<br/>hiệu chỉnh ngưỡng"]
    G --> H

Latency công bố (theo Google): 150–250 ms end-to-end, 50–100 ms median model compute với input tới 16K token, gần như không đổi từ 1 tới 100 câu hỏi/request.

Vì sao nó nhanh và rẻ?

Input chung được encode một lần, mọi câu hỏi chia sẻ input đó. Mỗi câu hỏi chỉ cộng thêm token instruction và criteria của nó.

Theo mình, điểm quan trọng nhất nằm ở cách tính phí: chi phí routing trước đây tăng theo số quyết định, còn với Decisions API thì tăng theo input — nên hỏi mọi quyết định có thể cần ngay từ đầu trong một request.

Nhưng điều đó chỉ đúng khi ba điều kiện thỏa: các câu hỏi chia sẻ cùng một input, confidence được hiệu chuẩn trên dữ liệu của chính bạn, và batch chia theo đơn vị lỗi độc lập. Giá trị thật nằm ở lớp ngưỡng và fallback phía client.

Confidence score — thành phần quan trọng nhất

Confidence 0–1 là xác suất đã hiệu chuẩn của đáp án. Google cho biết Decision 1 dẫn đầu bộ benchmark của họ với calibration error thấp nhất, so với Jev, OpenAI GPT-6 Luna và Gemini 3.5 Flash-Lite — nhưng đây là benchmark do chính Google công bố, không có số accuracy độc lập, nên chỉ đọc như hướng tham khảo.

Giới hạn kỹ thuật

Luồng làm việc: AI Studio (lấy API key, no-cost tier) → Gemini API endpoint v1beta → SDK google-genai / REST / JS → lớp định tuyến trong code của bạn. Google Cloud “coming soon” — chưa có.

Giới hạn: tối đa 1.000 câu hỏi/request, input tối đa 256K token, choice tối đa 255 lựa chọn, chỉ quyết định closed-set, endpoint còn v1beta nên schema có thể đổi.

Hướng dẫn dùng Gemini Decisions API

Bạn cần tài khoản Google AI Studio và API key, Python 3.x cùng SDK google-genai 3.2 trở lên (theo docs chính thức), và hiểu cơ bản về gọi API LLM và xử lý JSON. Phần này mình chưa chạy thử API thật — hướng dẫn đối chiếu theo tài liệu chính thức.

Bước 1: tạo API key trong Google AI Studio (no-cost tier). Bước 2: cài SDK (pip install -U google-genai). Bước 3: đặt API key vào biến môi trường, không hardcode hay commit lên repo:

export GEMINI_API_KEY="..."

Code mẫu Python chính thức

Ví dụ từ bài công bố của Google: một ảnh quầy bếp kèm ghi chú text, đánh giá cùng lúc bằng cả ba loại câu hỏi trong một request:

from google import genai

client = genai.Client(http_options={"api_version": "v1beta"})

result = client.decisions.create(
    model="gemini-decision-1",
    input=[
        {
            "type": "image",
            "uri": "https://storage.googleapis.com/generativeai-downloads/images/spill.jpg",
            "mime_type": "image/jpeg",
        },
        {
            "type": "text",
            "text": "Breakroom counter check before the 9 AM client meeting.",
        },
    ],
    questions={
        "has_spill": {
            "type": "noul",
            "instructions": "Is there an uncleaned liquid spill on the counter?",
        },
        "next_action": {
            "type": "choice",
            "instructions": "Which cleanup action fits the scene?",
            "criteria": {
                "wipe_with_cloth": "Small counter spill with a cloth or towel already nearby.",
                "dispatch_janitorial": "Large floor hazard, broken glass, or active leak.",
                "ready_for_meeting": "Counter is clean and ready.",
            },
        },
        "severity": {
            "type": "score",
            "instructions": "Rate the severity of the counter mess.",
            "criteria": [
                "Clean and ready.",
                "Minor localized spill.",
                "Major spill or safety hazard.",
            ],
        },
    },
)

Ý nghĩa từng tham số: model chọn gemini-decision-1; input là nội dung đa phương thức chung; questions định nghĩa từng câu hỏi với instructions và criteria.

Bài tập để bạn tự thử: giữ nguyên pattern, chỉ đổi câu hỏi — thay ảnh quầy bếp bằng nội dung ticket hỗ trợ, và ba câu hỏi thành: vi phạm policy không (noul), route cho đội nào (choice), mức ưu tiên mấy điểm (score).

Xác minh kết quả và lỗi thường gặp

Sau khi gọi, kiểm tra: response có đủ đáp án, xác suất và confidence cho mọi câu hỏi không; confidence có phân bố hợp lý không.

Lỗi thường gặp: sai api_version (phải là v1beta); vượt 1.000 câu hỏi hoặc 256K token; choice ngoài khoảng 2–255 lựa chọn; rubric score không bắt đầu từ 0; API key lộ hoặc hết hạn.

Đánh giá kỹ thuật

Ưu điểm. Nhanh: 150–250 ms end-to-end theo công bố của Google, gần như không đổi khi tăng số câu hỏi. Rẻ: $0.10/1M input token, $0 output, input chung tính phí một lần; Google cho biết rẻ gần 5 lần so với Gemini 3.5 Flash-Lite qua Interactions API trên cùng bộ benchmark của họ — claim của nhà cung cấp, chưa kiểm chứng độc lập. Đầu ra có cấu trúc kèm confidence giúp code route tự động và fallback có ngưỡng rõ ràng.

Nhược điểm và giới hạn. Chỉ làm quyết định closed-set: không sinh văn bản, không giải thích dài, không reasoning sâu. Endpoint v1beta và Google Cloud “coming soon” nghĩa là chưa ổn định cho production nghiêm ngặt. Benchmark là của Google, chưa kiểm chứng độc lập, không có số accuracy công bố.

Bảo mật và vận hành. API key chỉ dùng qua biến môi trường hoặc secret manager, không commit lên repo; key prototype nên giới hạn quota. Dữ liệu gửi lên API — kể cả ảnh, video, PDF nội bộ — rời khỏi hạ tầng của bạn, nên cần rà soát dữ liệu nhạy cảm và PII trước khi gửi. Không dùng Decisions API làm lớp bảo mật duy nhất: nó chỉ lọc và phân loại, không thay thế kiểm soát truy cập hay review con người.

Hiệu năng và khả năng mở rộng. Số có nguồn, theo công bố của Google: latency 150–250 ms end-to-end, 50–100 ms median model compute với input tới 16K token, gần như không đổi từ 1 tới 100 câu hỏi; Gemini Notebook giảm tới 40% latency khi dùng Decisions API làm router. Không có số liệu độc lập, không claim throughput hay RPS.

So sánh với OpenAI Decisions API và Jev

Bảng này chỉ so sánh trên các tiêu chí có nguồn đối chiếu được; ô nào chưa có số liệu mình để trống. Chọn Gemini khi bạn đã dùng hệ sinh thái Google và cần giá thấp cho quyết định lặp lại; chọn OpenAI hoặc Jev khi bạn cần pattern cascade — xem bài phân tích Jev. Quyết định xong thì agent vẫn cần hạ tầng để chạy: bài Claude Code trên Bedrock AgentCore mô tả một cách triển khai agent production trên AWS.

Use case thực tế

Cho AI agent: model routing — chọn model tier phù hợp cho từng request, như Gemini Notebook dùng nội bộ. Chạy nhiều agent cùng lúc cũng cần routing để giao việc đúng chỗ — xem bài Orca — chạy nhiều AI coding agent song song. Tool selection: chọn 1 trong N tool trước khi gọi. Kiểm tra policy trước khi gọi tool: Google Search dùng Decisions API làm lớp an toàn phát hiện hành vi adversarial với MCP tools.

Cho doanh nghiệp và IT admin: route ticket hỗ trợ — phân loại, ưu tiên và chọn đội xử lý trong một request duy nhất. Quản chi phí AI: thay các lần gọi LLM lớn cho quyết định nhỏ bằng decision model, dùng confidence để chỉ gọi LLM đắt khi thật sự cần. Muốn kiểm chứng độc lập hành vi agent thì xem bài iFixAi — kiểm toán độc lập AI agent.

Cho DevOps / SRE: triage alert và log — trên cùng một payload log, hỏi noul (có phải sự cố thật không?), choice (mức ưu tiên nào?), score (mức nghiêm trọng mấy điểm?).

Google cũng giới thiệu ba demo app — Doorstep Parcels, Speed Sketch, Find the Zoo Keeper.

Khi nào KHÔNG nên dùng Gemini Decisions API?

Quyết định mở, cần giải thích dài hoặc reasoning nhiều bước — đó vẫn là việc của LLM sinh text. Quyết định rủi ro cao (y tế, pháp lý, tài chính) cần độ chính xác đã kiểm chứng độc lập — hiện chưa có. Môi trường yêu cầu on-prem hoặc Google Cloud — Cloud còn “coming soon”.

Kết luận

Nên thử ngay trên no-cost tier: dev xây agent có nhiều micro-quyết định lặp lại, đội muốn cắt chi phí và latency ở bước routing. Nên chờ: đội cần Google Cloud, SLA production, hoặc benchmark độc lập.

Bước tiếp theo: prototype một use case nhỏ — route ticket hoặc chấm điểm đầu ra — với cả ba loại câu hỏi, đo tỉ lệ fallback và chi phí thực tế rồi mới mở rộng. Giữ sẵn đường rollback: feature flag tắt Decisions API để quay về gọi LLM trực tiếp.

Bài học rút ra

1. Tách quyết định khỏi sinh văn bản: phần lớn quyết định trong agent là closed-set.
2. Confidence là tính năng, không phải metadata: không có ngưỡng và fallback thì decision model chỉ là classifier nhanh hơn.
3. Gom quyết định vào một request rẻ hơn gọi lẻ — nhưng một input lỗi sẽ lệch cả batch, nên chia batch theo đơn vị lỗi độc lập.
4. Benchmark của nhà cung cấp không phải kết quả độc lập: dùng để tham khảo hướng, không dùng để claim chính xác nhất.
5. Endpoint v1beta và Cloud “coming soon”: prototype ngay được, nhưng production cần lớp fallback qua feature flag.

Phạm vi kiểm chứng

Ngày kiểm tra: 12/11/2026. Đã xác minh với bài công bố chính thức của Google ngày 11/11/2026 và các báo độc lập đưa tin khớp nhau (InfoWorld, SiliconANGLE, Economic Times). Đã xác minh: ngày ra mắt, model, endpoint v1beta, ba loại câu hỏi, giới hạn 1.000 câu hỏi và 256K token, latency và giá theo công bố của Google, code mẫu Python chính thức, yêu cầu SDK google-genai 3.2+. Các claim “dẫn đầu benchmark”, “rẻ gần 5 lần”, “giảm tới 40% latency” là số liệu do Google công bố, chưa kiểm chứng độc lập. Chưa chạy thật API: bài viết hướng dẫn theo tài liệu chính thức, không claim đã cài đặt hay đo latency, chi phí thực tế.

Tài liệu tham khảo

• Google — Gemini Decisions API (11/11/2026): https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/
• Google AI Studio — Decisions API documentation: https://aistudio.google.com/docs/decisions-api
• InfoWorld — Gemini Decisions API handles up to 1,000 questions per request: https://www.infoworld.com/article/4247774/googles-gemini-decisions-api-to-handle-up-to-1000-questions-per-request.html
• SiliconANGLE — Google enters the decision-model market: https://siliconangle.com/2026/11/11/google-enters-the-decision-model-market-with-gemini-decisions-api/
• Economic Times — Why Google and OpenAI want AI agents to decide faster: https://economictimes.indiatimes.com/ai/ai-insights/why-google-and-openai-want-ai-agents-to-decide-faster/articleshow/135760675.cms
• Pivot News — Google launches Gemini Decisions API: https://pivotnews.ai/five/google-launches-gemini-decisions-api-for-fast-bounded
• AI Weekly — Gemini Decisions API at $0.10 per 1M tokens: https://aiweekly.co/alerts/google-launches-gemini-decisions-api-at-010-per-1m-tokens