LLM gateway

• LLM gateway网关服务（大模型网关）
• AI 网关服务项目的核心作用是让企业 AI 调用从 “直连供应商、无法统一归因和分摊” 变为 “统一入口、统一身份、统一计量、可按组织归属分摊成本
• 简单来说：通过LLM的大模型网关统一模型的接入层，从各业务系统直接调用不同模型供应商，变成统一入口，统一路由、统一计算、统一管理的方式

网关能力

• 统一入口：业务只调用 Gateway，不直接对接各个模型供应商。
• 统一身份：识别是谁在调用，例如用户、团队、部门、项目、Agent。
• 统一模型路由：根据模型、成本、可用性等路由到不同供应商。
• 统一计量：统计请求次数、Input/Output Token、模型、延迟、费用等。
• 成本归因与分摊：知道“谁用了多少 AI”，按用户 → 项目 → 团队 → 部门进行成本统计和分摊。
• 配额与限流：例如研发部每月 $5,000，某个项目每天最多 100 万 Token。
• 可观测性：统一记录调用日志、错误率、延迟、Token 和成本。
• 安全治理：API Key 集中管理、权限控制、敏感数据过滤、审计等。