Gemini Decisions API上线:单次前向打分,延迟150毫秒
告别冗长文本!谷歌发布 Gemini Decisions API:单次前向传递打分,端到端延迟压至 150 毫秒
人工智能的走向正从单纯“生成内容”转向“高效决策”。谷歌近日上线
Gemini Decisions API,这个新端点由底层 Gemini Decision1 模型驱动,目标是让人工智能智能体在日常运行中快速完成预设判断,不再走生成冗长文本回复那条老路。
核心机制上,Gemini Decision1 与传统大模型有本质差异。它不逐个 Token 生成回复,而是在一次前向传递中直接给预设选项打分,返回对应的概率和置信度分数。
靠这套设计,接口端到端延迟被压到 150 到 250 毫秒,智能体在高频交互场景下的实时响应需求可以满足。
输入与调用形态方面,Gemini Decisions API 的多模态处理能力表现突出。围绕文本、图像、音频、视频和 PDF 等共享多模态输入,开发人员单次 API 调用最多可评估 1000 个独立问题。调用形式包括:
快捷的“是或否”检查。
最多 255 个选项的多选题。
按预设评分标准发起的打分请求。
定价上,谷歌给出的标准是每百万输入 Token 收费 0.10 美元。
业内分析人士指出,大模型在各行各业嵌入越来越深,智能体在后台跑复杂工作流时,常常要做大量轻量级判断和路线选择。Gemini Decisions API 跳过文本生成的中间环节,计算成本和响应延迟都由此下降,也为构建更流畅、反应更快的复杂 AI 智能体应用提供了底层基础设施。