★广州英码信息科技有限公司 李甘来 

摘要： 随着细分场景视觉算法需求的不断挖掘，边缘计算设备作为细分场景AI 应用落地的最佳载体，也逐步展现出高速成长的趋势。而不同品牌的AI芯片平台 都有独立的开发架构，算法厂商的移植工作不能普遍适用于不同品牌的算力芯 片，这就大大限制了算法厂商对边缘算力的选型，造成资源的浪费。本方案基于 英码科技AIoT中台，结合跨品牌的涵盖高中低算力的软硬一体边缘计算设备，通 过“N个硬件平台+1套管理中台+N种场景算法”的方式，在日益碎片化的边缘场 景，为用户提供算法能力快速落地的全套解决方案。 

关键词：边缘计算；长尾算法；算力自定义；跨芯片平台 

1　目标和概述 

1.1　行业需求分析 

随着物联网（IOT）技术和人工智能（AI）技术的 不断发展，视觉识别技术开始广泛应用于越来越多的 细分领域，这也让视频技术的发展经历模拟化、数字 化、网络化的过程后，进入了全面智能化阶段。当各类 细分场景的算法需求不断被攻克，视频技术将会迎来场 景定义算法、场景定义产品的场景化时代。在场景化的 时代，把所有视频上传到云端统一运算的传统模式显然 已经不适应需求，算力下移到边缘侧或端侧，与云端协 同，共同来形成更合理的运算架构，是场景化时代的必 然趋势。 

基于庞大的细分场景需求，以及在国产化的发展 大潮下，各类适用于边缘端的国产算力芯片不断发展， 但各芯片平台都有独立的开发架构，算法厂商的移植工 作不能普遍适用于不同品牌的算力芯片，例如基于寒武 纪芯片的移植成果不能直接应用于算能的芯片，如果选 择了其他芯片则需要重新移植，这大大限制了算法厂商 对边缘算力的选型，造成资源浪费。对于市场侧，细分 场景多如牛毛，虽然国内计算机视觉厂商有90%都集中 于做人脸识别、车辆识别、OCR等算法，其他细分场景 长尾算法的厂商仅有10%左右，但是人脸识别、车辆识 别、OCR等算法仅仅是海量需求里的冰山一角，大量的 长尾算法需求超过了一万种，这些需求正在逐步被挖掘 出来。然而长尾算法碎片化、国产化移植周期长、试错 成本高等问题，极大限制了边缘计算的广泛应用落地。 因此，只有突破这个局限，才能真正让边缘计算应用迎 来更大的爆发性发展。

 1.2　主要目标 

（1）解决跨芯片平台快速移植的问题，降低算法 厂商的移植成本和试错成本； 

（2）降低系统集成商对算法应用的难度，提升项 目部署落地的效果和效率；

（3）提升长尾算法从开发到边缘设备移植，以及 项目应用部署的效率，完善算法精确度在边缘设备上的 持续迭代问题； 

（4）提供完整的，包含多层次算力、可灵活搭配组 合的边缘计算硬件设备及云边协同平台的整体解决方案。 

1.3　应用创新 

以AIoT中台为基础，打造3种核心能力： 

（1）自动训练能力：打造自动化训练平台具备算 法自动训练、模型自动移植的功能，提供场景数据-算 法模型-指定硬件平台算法插件的一站式生成服务。自 动化训练平台可实现快速生成算法插件，结合嵌入式AI 推理平台，实现边缘场景算法能力的快速落地，最快一 周内产出算法模型。 

（2）多平台算法移植能力：基于自动化训练平台 实现的场景算法，目前已支持包括VIT在内的20多种 常见算法模型，涵盖目标检测、旋转检测、关键点检 测、文字识别、目标分割、实例分割、动作识别等多 种算法类别，均可在多种芯片平台的边缘算力硬件上 运行。 

（3）嵌入式AI推理系统：一套提供AI算法服务能 力的软件，可以运行于边缘算力硬件平台之上，采用服 务与算法分离的方式，服务软件主要适配各种硬件平台 差异，实现视频/图像分析的通用业务/管理功能，算法 则采用插件式编程方式，通过服务软件+算法插件的方 式，对外提供统一服务接口，实现算法能力的按需切换 与快速落地。 

通过以上3个核心能力，让各类细分场景算法满足 快速定制，以及快速适配多种芯片平台的边缘计算设备 的目的，达成算法与硬件解耦的效果，为集成商提供更 多灵活搭配的算力设备组合，最终实现硬件算力的自定 义。通过AIoT中台的管理，可让不同厂家的算法与不 同AI芯片平台的设备连接起来，实现算法、算力设备的 自定义，最终达成场景定义产品的目标。同时，通过标 准接口协议实现AIoT平台与集成商应用平台的快速对 接，提升项目部署效率和降低成本。

 2　方案介绍 

2.1　总体技术介绍 

英码“深元”产品体系是在英码科技多层次边缘算 力硬件产品布局的基础上，基于自主研发的边缘AIoT中 台软件，结合不同细分场景应用算法和嵌入式软件的软 硬一体解决方案，通过“N个硬件平台+1套管理中台+N 种场景算法”的方式，在日益碎片化的边缘场景，为用 户提供算法能力快速落地的完整解决方案。 

产品核心组成部分——AI赋能平台，是一款集智 能硬件管理和AI算法应用管理的产品，产品旨在解决视 频AI算法应用由“云”侧下沉到“边”侧的成本、效率 和算力的问题，降低用户的试错成本，缩短客户研发周 期，提供一套同等算力指标，且易维护、易部署，可靠 性强，使用简单的轻量级解决方案，“撕掉”AI算法在 传统认知里的“落地难”、“部署复杂”、“维护成本 高”三大标签，引领边缘计算在各行各业的场景创新， 促成视频应用技术的第五次迭代，进入场景为王的时 代，高效应用海量视频数据，解决当前业务痛点。

该平台的核心功能，解决的是如何通过我们这套 方案，将AI算法和硬件解耦，实现x86的大量AI算法模 型下沉到边端arm智能硬件上去，让AI算法赋能千行百 业。而整个方案从AI算法模型下发、量化、SDK打包， 到边侧智能硬件的任务部署、可视化应用，支持离线对 接，一站式自动交付，全程不接触客户的数据集和模型 文件，此模式的设计，也是为了解除客户对数据隐私安 全这最后一道“心锁”。其次，英码依托供应链上游的 支持，自主设计和研发了覆盖海思、瑞芯微、寒武纪、 算能、爱芯、灵汐、平头哥等国内主流AI芯片平台的智 能工作站，算力从2T~38T实现了业务场景的全覆盖， 供客户灵活选择，任意搭配。

同时丰富的场景算法与各系列平台工作站的组合， 打磨出了智慧工厂、智慧工地、智慧城管、智慧交通、 智慧加油站和明厨亮灶等10+种场景解决方案，让各行 业场景都能适配到最佳的AI智能解决方案，满足客户在 其应用场景、部署环境下达到满意的应用效果，使AI视 觉算法真正落到千行百业。

2.2　总体技术架构 

AI赋能管理平台的系统架构向开放式的架构演 进，整体上分为：硬件平台部分、管理平台部分、推理 引擎部分、基础服务部分、业务服务部分、公共服务部 分、平台规范部分及对外接口部分，其具体架构如图1 所示。 

图1 总体技术架构 

2.3　平台业务逻辑 

英码AI赋能管理平台围绕边缘设备管理和算法模 型两大功能模块进行设计，可对场景应用中不同地理位 置的多个边缘设备进行统一管理；对不同设备的性能实 时监测，了解设备运行状态和故障问题；实现算法模型 统一配置，通过可视化界面一键远程运维，对告警事件 实时查看和响应。平台可向上赋能业务系统，向下统管 边缘计算终端，是一套高效、便捷的一体化管理系统； 平台业务逻辑覆盖云边端三层结构，如图2所示：

 图2 平台业务逻辑

云侧：平台通过统一接口，上报边侧数据信息， 向上赋能业务应用平台，广泛应用于智慧工厂、智慧工 地、智慧城管、智慧交通、智慧加油站等场景。

 边侧：支持多平台算力识别及适配；算法模型插件 化，跨平台可用；统一下发模型以及配置任务，告警信 息及时响应；算法与边缘设备在线升级，一键操作。 

端侧：视频采集到边缘计算工作站集中处理，算力 池化将资源最大化利用。

 2.4　系统部署架构 

图3 系统部署架构 

2.5　平台特点 

AI赋能平台是一套提供AI算法服务能力的软件，可 以运行于边缘算力硬件平台之上，采用服务与算法分离 的方式，服务软件主要适配各种硬件平台差异，实现视 频/图像分析的通用业务/管理功能，算法则采用插件式编 程方式，通过服务软件+算法插件的方式，对外提供统一 服务接口，实现算法能力的按需切换与快速落地。 

算法移植快，周期短，拥有丰富的平台移植经验， 对移植需求可以做出快速响应，并且移植后精度损失 小，效果理想； 

统一AI服务能力接口开放技术，支持不同平台、 不同算法（包括自研算法、生态厂商算法)。通过统一 的开放接口，对外提供算法能力，代替原有服务器方 案，性能消耗小，成本也大大缩小； 

支持docker方式私有化部署，部署简单方便，支 持离线对接，一站式自动交付，使算法部署到任务运行 最快仅需0.5小时； 

多平台的算力识别及适配技术，可兼容平台最多可 达到7+种：实现多种硬件平台的能力识别，支持不同场 景不同算法的算力按需分配，实现算力协同。 

3　代表性及推广价值 

本方案提供了完整的“平台+硬件+算法”的自定 义服务，其中边缘计算设备涵盖了多家主流的国产边缘 计算芯片，算力从2T~38T不等，提供了最小颗粒度的 算力组合。通过AIoT平台把这些设备、算法有效地结 合起来，实现了算法快速定义、算法在设备的快速移 植、持续迭代更新等问题。基于这样的模式，可以让集 成商对各类细分场景有快速的响应能力，也可实现算力 设备的灵活搭配，并提升了项目的落地效率，因而可推 动行业市场往场景化时代发展，具备很好的推广价值。 

3.1　应用案例：某厂区智慧工厂建设项目 

3.1.1　项目背景 

为了减少工作流程中的冗余环节，减少机器设备的 故障，规范技术工人操作标准，提高企业处置生产突发事 件的应急指挥能力，最大限度减少员工人数需要，提升员 工工作效率，提升企业产品质量，众多的制造型企业纷 纷采取了一系列的信息化措施，“智慧工厂”“智慧生 产”“智能制造”等建设也发展火热。借助边缘智能技术 提升生产管理水平是智慧生产建设的重要组成部分，是实 现智慧工厂生产安全管控智能化工作的重要手段之一。 

3.1.2　总体架构 

对厂区综合安防管理系统的建设，绝不应该是对各 个子系统进行简单堆砌，而是在满足各子系统功能的基 础上，寻求内部各子系统之间、与外部其它智能化系统 之间的完美结合。系统主要依托于企业综合管理平台， 来实现对众多安防子系统的统一管理和控制，通过企业 综合管理平台建设，实现统一数据库、统一管理界面、 统一授权、统一权限卡、统一安防管理业务流程等，同 时考虑将各安防系统资源作为信息化基础数据，满足部 分生产运营管理的业务需求，辅助业务流程优化。 

图4 AIoT综合管理系统总体架构图 

AIoT综合管理系统总体架构如图4所示。

 前端数据接入：负责前端设备及第三方系统接入， 实现数据的采集，分为视频类设备、平台的联网共享和 物联类联网共享；

 数据分析及存储：负责智能化数据分析（人脸、车 辆、结构化、行为等）和各类数据存储及数据融合管控； 

智能化应用：实现各类数据融合后提供智能化的应 用，为项目管理者提供全方位智慧安防服务。 

3.1.3　应用效果

1、厂区人车分流管控：为提高厂区作业安全性， 防止车辆、人员交叉作业引发安全事故，本案例通过AI 技术规范厂区内室外人员、车辆安全行走区域，严格进 行厂区人员通行监督，实现厂区室外作业安全的智能化 管控。 

图5 人车分流应用效果示意图 

2、区域作业规范管控：为提高厂区作业安全性， 防止车辆、人员交叉作业引发安全事故，本案例通过AI 技术规范厂区室内装卸货区域人/车作业流程，实现厂 区室内作业安全的智能化管控。 

图6 区域作业规范管控效果示意图 

3、区域着装规范管控：为保障工厂生产产品品质， 维持良好的生产车间洁净度，配合精细管理的要求；本案 例采用AI技术针对工厂不同区域进行着装规范智能监控 （含头罩/口罩/工服/工鞋等着装）。 

图7 区域着装规范管控效果示意图 

3.1.4　经济价值 

本案例的建设，改变了工厂原有的线下巡查模式， 大大节约人力成本、时间成本，减少重复工作，提升监 管效率；充分利用边缘智能与视频监控技术，全面覆盖 工厂内部日常作业，确保无安全隐患，避免安全事故的 发生；同时事前自动报警，对于杜绝重大安全事故的发 生发挥重要作用，并为企业创造更大的边际效益。

 · 监管模式智能化转型，降低监管人力成本 

通过边缘智能识别分析，改变原有线下人工巡查的 模式，降低监督成本，一旦发现违规违法现象立即进行 报警，有效降低厂区监管人力成本投入；

 · 重点区域全时段智能监管，提高监管部门监督效能 

通过智能识别分析的方式，对重点区域进行7*24 小时全时段智能监管，大幅提升监管效率，解决了当前 监管人员已无法满足工厂日趋精细化管理的需求，增加 了工厂运营效益； 

· 变事后追责为事前预警，减少工厂损失发生 

通过识别一旦发现疑似不符合规定、不符合规定的 操作，实时自动告警，并且进行抓拍截图录制视频，改变 原有“事后处置”的模式，依靠“事前预警”尽早对违规 违法现象进行劝阻及处置，减少因事故造成的损失。

 3.1.5　社会效益 

通过边缘智能技术，实现工厂智能化转型，有助于 推动区域经济加速发展。 

在万物互联时代，本案例旨在构建基于边缘智能应 用的智慧工厂AIOT综合管理平台，符合党的二十大方 针及《智能制造2025》政策发展的需要，顺应国际化趋 势，将智能化技术与工厂生产工作紧密结合起来，可作 为安全管理的科技支撑。 

系统打通业务系统与上层决策系统的信息通道，解 决了人工处理下工作效率的瓶颈，可全面提升工厂的整 体生产管理水平；系统按需定制、柔性开发、各功能模 块采用松耦合方式开发，可复制性强，具有良好的经济 和社会效益。

摘自《自动化博览》2023年第2期暨《边缘计算2023专辑》