随着国家“人工智能+”行动深入推进，大模型正从技术突破期进入产业深耕期。在实际应用中，海量用户请求访问大模型，不可避免地会遇到请求失败、调用超时、结果无法返回等稳定性问题。基于此类问题解决方案，中国信通院探索编制《边缘大模型网关技术能力要求》标准，并依托此标准开展评估工作，火山引擎首批圆满通过此评估。

当前，业界针对调用大模型反应时延高、超时等常见问题，提出了多种类解决方案，其中，利用边缘节点实现就近接入、调用，提升响应速度起到有效积极作用。中国信通院聚焦此方向，规范相关产品服务的功能、性能及安全性，为产品质量与适用性提供规范化参考。

边缘大模型网关技术能力要求评估简介

《边缘大模型网关技术能力要求》是由中国信通院牵头，联合产业内多家企业、专家共同研讨制定的标准，规定了边缘大模型网关提供服务时，在边缘接入、模型和智能体调用支持、AI服务调用配置、密钥管理、运维与监控、技术支持等方面应具备的能力要求，适用于边缘计算服务商在提供边缘大模型网关服务和解决方案时的能力匹配。

中国信通院依托此标准开展首批边缘大模型网关能力评估工作，聚焦面向大模型网关的功能和性能多个维度。火山引擎深入参与了标准内容制定，并圆满完成首批评估工作。

全维度能力合格，火山引擎边缘大模型网关能力获认可

本次评估圆满完成，标志着火山引擎边缘大模型网关在边缘接入、模型和智能体支持、调用配置、密钥管理、运维与监控、技术支持等方面全维度符合能力标准。

火山引擎边缘大模型网关支持通过一个 API 接口访问多家大模型提供商的模型与智能体，在端侧基于遍布全球的边缘计算节点就近调用。利用边缘云基础架构优势，提高模型访问速度，为终端用户提供更快速、可靠的 AI 服务体验。

·  边缘接入：边缘大模型网关提供标准化接口，网关访问密钥与 OpenAI 的 API 和 SDK 完全兼容，面对多样化的端侧调用场景，方便集成，降低适配成本。同时，边缘大模型网关利用缓存机制对请求就近存储，并在相同请求发出时就近调用，减少模型调用请求的回源次数，降低成本，为终端用户提供更快速、更可靠的 AI 服务体验。

·  模型和智能体支持：边缘大模型网关支持调用国内主要的模型提供商与多种大模型、智能体。面向多样化的终端调用场景，支持多模态与大语言模型，满足调用多模型和多智能体的智能需求。同时，通过预置多领域 AI 智能体，涵盖语音对话、文字识别、目标检测、工业质检等 AI 能力，支持一键调用，助力快速构建场景化解决方案，

·  调用配置：边缘大模型网关具备配置调用顺序、调用次数、超时时长等策略的能力，通过配置调用顺序、自动重试、请求超时等能力，实现模型调用失败自动请求备用模型、单次请求失败自动重试、单次调用响应超时配置。

·  密钥管理：边缘大模型网关具备管理访问密钥的能力，可直接使用平台预置模型并对其创建网关访问密钥，也可以将第三方模型平台的密钥纳管至边缘大模型网关，通过边缘大模型网关签发的网关访问密钥，进行对应模型的访问与调用。

·  运维与监控：边缘大模型网关具备统一监控和基础运维能力，边缘大模型网关可根据您通过网关向模型发出的请求以及模型的响应来统计您的用量。不同模型提供商对模型用量的计量方式有所不同，根据模型调用计量方式，您的调用详情可以在用量统计中进行查看。同时，通过云监控-大模型网关模块，可以查询以网关访问密钥为维度的总用量（已消耗的 tokens 总量）与用量速率（每秒消耗的 tokens 额度）。

·  技术支持：边缘大模型网关具备全局技术支持，支持提供故障的处理时间、及时响应率、及时解决率；支持提供异常事件的解决时间、及时响应率、及时解决率以及事件的报告机制；支持提供变更的受理时间、变更的通知机制以及重大变更的监管报送机制。

火山引擎边缘大模型网关紧跟模型迭代，全面支持豆包 1.5・深度思考模型、接入主流 DeepSeek 模型提供商，同时发布端智能实例以及助力自部署模型公网调用与全链路管控，满足了多模型和多智能体调用的设备智能需求，并在 AI 芯片、智能玩具、具身智能等多个行业场景落地。

中国信通院正持续开展开展边缘计算、边缘AI系列评估工作，欢迎业界参与!

联系人：

王蕴婷 18612060302 wangyunting1@caict.ac.cn

李　昂 13651208710 liang3@caict.ac.cn

来源：CAICT可信数字化