今日头条
官方微信
官方抖音
资讯频道近日，此芯科技与百度联合发布基于此芯P1处理器和百度ERNIE4.5的Edge AI端到端解决方案，实现国产高性能SoC与大模型的深度协同。该方案以此芯自研P1处理器（6nm制程/12核Armv9 CPU/30TOPS算力NPU/45TOPS综合算力)为异构计算基座，深度融合百度ERNIE4.5技术生态，成功构建从芯片层到模型层以及应用层的全栈闭环，为边缘端侧AI的落地树立全新标杆。
ERNIE 4.5开源即落地，端侧性能卓越领先
在ERNIE 4.5开源首日，此芯科技率先完成多个模型端侧适配，实测性能实现两大突破：
· 百亿级模型流畅运行：
ERNIE-4.5-21B-A3B（210亿参数）在此芯P1处理器上推理速度近20tokens/s，可支撑复杂语义理解与多轮对话场景；实时生成100字文本仅需5秒。
· 超轻量化模型极致效能：
ERNIE-4.5-0.3B（3亿参数） 推理速度飙升至122tokens/s，为移动/IoT设备提供“无感级”AI交互体验。
此外，依托NPU的异构加速，PaddleOCR经量化后，可以有效识别多语种文本，在端侧AI的部署实现数据零外传、响应超低延迟，可以为金融、医疗、政务等高敏场景提供安全智能基座。
加码ERNIE 4.5应用引擎，重构终端AI体验
基于此芯P1处理器与ERNIE 4.5，双方构建端侧AI全栈解决方案：
图：Chatbot
此芯科技和百度文心、飞桨的“硬件+模型”协同优化，融合了异构计算架构、量化压缩技术、端云协同推理，实现动态分配计算任务，提高复杂场景的响应速度。
此芯产品介绍
此芯P1处理器是此芯科技推出的首款SoC芯片，异构集成Armv9.2指令集的12核心CPU、10核心Immortalis G720 GPU和30TOPS（INT8）算力NPU。此芯P1处理器制程工艺为6nm，综合算力45TOPS（INT8），支持最大64GB共享内存，提供高带宽IO，可满足端侧AI方案的高性能和扩展性要求。此芯科技聚焦于高性能桌面PC产品、智能座舱、具身智能、边缘计算等通用智能解决方案
未来已来，共筑端云协同智能体
此芯科技与百度将持续深化合作，包括ERNIE 4.5更多模型在此芯P1处理器上的轻量化适配、联合举办开发者大赛，共建大模型端侧开源社区，赋能广大开发者，并推动AI产业的普惠化进程。
此芯产品采购渠道：
https://radxa.com/products/orion/o6/#buy
ERNIE 4.5下载地址：
https://github.com/PaddlePaddle/ERNIE
直播预告
来源：飞桨PaddlePaddle
北京市公安局海淀分局备案号：11010802023656号