★ 李致远（南京科技职业学院，江苏 南京 210000）

关键词：知识库增强；RAG模型；边缘计算；增量更新

目前，智能化客服系统从规则匹配、FAQ检索的传统模式向以深度学习为驱动、更深刻理解用户意思的新一代智能客服方向发展。尤其是近几年大语言模型发展快速， RAG（Retrieval-Augmented Generation）模型通过组合语言，生成大模型和外部知识库进行实时检索，在改善客服系统对复杂问题理解与答问能力方面取得了不错成效[1]。但RAG模型也面临实践问题：第一，大模型训练对硬件资源要求较高，在大规模并发的情况下，会出现通信等待时间过长及模型推理瓶颈现象；第二，知识库更新机制无法灵活转换，很容易出现老化及答问失当现象；第三，没有有效发挥终端设备作为整体端到端架构中预处理节点和边缘计算节点的巨大潜力。

张丽静等人[2]针对中邮网院客服存在着在学习高峰期回复不及时、全天候接待能力不足等问题，设计并实现了基于大语言模型、LangChain框架、pgVector向量数据库以及表示学习等技术的智能客服系统。该系统利用大模型理解用户复杂的自然语言输入，能够随时随地以更高效、准确的方式回答用户所遇到的问题，在降低中邮网院客服人工成本的同时，提升了用户体验感和满意度，并经测试验证了该系统的可行性，为中邮网院后续进行智能客服系统建设和选型提供了参考。

本文设计了一种基于知识库增强的RAG智能客服系统，其通过优化硬件架构和软件算法，为用户提供了更优质的客服服务，推动了智能客服领域的进一步发展。

1   RAG智能客服系统硬件设计

1.1   设计网络通信电路

RAG智能客服系统需要满足极低的响应时延，还要具有高带宽、多线程异步通信的通信电路。整个系统采用STM32H7系列千兆以太网PHY芯片，实现了高带宽通信电路。系统核心通信模块实现了基于DMA模式的全直通通信链路，数据从网口流入内存的过程中不需要CPU介入，就可以实现高效处理。同时配合硬件中断优先级调度，保证了RAG推理请求的优先级在通信层级优先处理。

为了降低延迟，设计时使用双通道DMA并行处理发送与接收；引入QoS策略[3] ，优先处理模型查询数据包；网络堆栈使用轻量化协议配合轮询机制，提高实时性。网络通信电路原理图如图1所示。

图1 网络通信电路原理图

通信电路的设计保障了客服系统在高并发条件下的稳定运行，为RAG实时检索与推理结果返回提供了可靠支撑。

1.2   设计客服终端设备

终端的智能客服不仅作为和用户交互的接口，还要完成数据预处理、本地存储、知识库更新等边缘侧的计算。终端以基于树莓派4B或者国产RK3568平台为基础，加载NPU（Neural Processing Unit，神经网络处理器）完成预处理。

终端设备中预设本地缓存组件，支持对常用数据的快速检索；由设备端定期或者实时触发分布式缓存同步协议，从中心知识库同步更新部分内容并对常见问题进行索引排序处理。另外，本地对维护向量索引，辅助RAG进行相似度的初步检索，减轻了云端的负载[4]。客服终端设备结构框图如图2所示。

图2 客服终端设备结构框图

图2的端-云结合设计优化了系统整体架构，减少了网络负担，提升了响应速度与鲁棒性。

2.1   知识库增强设计

为实现数据的高效分布与访问，引入数据分片机制[5]。设知识库总数据量为D，将其划分为"个数据分片，每个分片大小为Di，满足公式（1）：

            （1）

同时，采用副本机制保障数据可靠性。为了更全面地描述副本分布情况，设Ri  j为一个二元变量，当节点j存储分片i的副本时， Ri  j = ，否则 Ri  j = 0。在考虑副本分布的均匀性时，不仅要保证每个数据分片在不同节点保存个副本，还需确保副本在节点间的分布尽量均衡。假设系统中有个节点， 对于任意一个数据分片 ,其副本分布需满足公式（2）：

为衡量副本分布的均匀程度，引入均匀度指标ui，其计算公式为式（3）：

ui的取值范围为[0,1]，当ui越接近1时，表示数据分片的副本在节点间的分布越均匀。在实际系统中，通过不断调整副本存储策略，使得各个数据分片的ui值尽可能接近1，从而保障整个知识库数据可靠性的均衡性。

终端对新获取的数据先进行预处理，通过边缘计算节点的NPU进行特征提取和价值评估[6]。设新数据为dnew，其价值评估函数如公式（4）：

其中，s(dn.)为数据与现有知识的相似度， 为相似度权重，F(d.)为数据的新鲜度， β为新鲜度权重，且a + B = 1。

当v(dn .)>0  ( θ为预设阈值）时，终端利用公式（5）将数据上传至云端进行更新，即：

分布式存储以及增量更新，在提升数据读写灵活度和实时性的同时，能够实现基于知识库高效管理和及时的更新。在某一台节点完成对数据分片进行更新的操作之后，需要使用分布式共识算法保证存储有相同副本的其他节点能够完成更新，以保证数据的一致性。针对上述更新操作的频率，将单位时间t内数据分片i所更新的次数称为Npdati, t)， 当监控该指标时， 就可以灵活调整相关系统的更新策略，避免更新过于频繁或者更新不足而影响到系统性能以及数据的实时性。

2   RAG智能客服系统软件设计

2.2   RAG模型工作流程

实时检索优化充分利用硬件加速计算能力，终端设备的NPU可快速完成文本向量化处理[7]。设用户输入文本为，代表用户向智能客服系统提出的问题，以自然语言文本形式呈现。经终端NPU处理生成向量VT，如公式（6）：

公式（6）表明，通过终端的神经网络加速器NPU对用户输入文本T进行处理，输出对应的向量VT能够在后续计算中更高效地衡量文本与知识库中内容的相似度。

终端本地维护向量索引库Ilocal，计算VT与索引库中向量的相似度，得到初步检索结果Rlocal。相似度计算如公式（7）：

公式（7）中，vi表示本地向量索引库local 中的某一个向量，local是终端设备本地存储的用于快速检索的向量集合，存储着与常见问题、高频访问知识相关的向量。sim(VT , vi )代表用户输入文本向量VT与本地向量索引库中向量vi 的余弦相似度，通过该公式计算二者相似度，相似度越高，表明用户问题与本地索引库中对应知识越相关。最终基于这些相似度计算结果得到初步检索结果Rlcal ，Rlcal是一个包含与用户问题具有较高相似度的本地知识索引集合。

将Rlocal 中相似度较高的结果上传至云端， 云端结合全局知识库进行二次检索，利用高速通信电路的QoS策略优先传输检索请求和结果。

终端-云端协同推理依托网络电路的QoS保障，实现高效协作[8]。终端完成初步检索后，将相关信息Inf。传输至云端，传输延迟Delay满足公式（8）：

其中，为预设最大延迟阈值。云端基于接收的信息进行深度推理，生成最终回答Answer，如公式（9）：

这种终端-云端协同的工作流程，充分发挥了终端的边缘计算能力和云端的强大处理能力，在保障响应速度的同时提升了回答质量。

3   系统测试

3.1   系统开发工具与环境

系统采用PyCharm开发工具作为主要的集成开发环境， 并基于Python语言进行编程；选用TensorFlow和PyTorch作为深度学习框架， 来训练和推理RAG模型；采用MongoDB对数据库进行分布式存储，采用Socket编程实现网络通信。

测试环境为：服务器采用Intel Xeon E5-2680 v4处理器，内存64GB，硬盘1TB SSD；客服终端设备采用Intel Core i5处理器，内存8GB，硬盘256GB SSD；网络环境为千兆以太网，延迟控制在10ms以内。

3.2   功能测试

功能测试主要针对系统的核心功能进行验证。测试用例如表1所示。

表1 功能测试结果

通过表1的测试用例，验证了系统的各项功能均能正常实现，并满足设计要求。

3.3   性能测试

性能测试主要从响应速度、知识更新及时性和用户满意度三个方面进行，并与基于LLM和RAG的客服系统作对比，结果如表2所示。

表2 性能测试结果

根据表2的结果可知，采用文中客服系统时，1000并发下响应下的时间为1.2秒，失败率为0，原因是系统的本地预处理、缓存机制和硬件加速， 缩短了系统的响应时间；知识更新平均耗时只有10分钟，原因是该系统采用增量更新策略实现高效同步；用户满意度达到了9.1分，主要因响应快、回答准、知识新。综合来看，文中系统在响应速度、并发性能、知识更新和用户满意度上显著优于基于LLM和RAG的客服系统，为智能客服提供了高效可靠支持。

4   结束语

本文提出了一种基于知识库增强的RAG智能客服设计，其在硬件方面，高并发低时延的通信电路设计结合边缘计算能力的终端硬件，能保证较低的响应时间；在软件方面，通过分布式的知识库结构以及增量更新，保证了知识的时效性，并利用RAG的高效工作流程达到了终端-云端高效协同。实验结果显示，该系统在响应时间、知识更新效率及用户满意度方面均优于传统系统，且在并发的场景下获得突出表现。

未来，可进一步探索轻量化模型部署与多模态交互能力，以适配更复杂的应用场景。本研究为智能客服系统的性能优化提供了新思路，对推动行业技术升级具有参考价值。

★2025年教育部中国高校产学研创新基金项目“面向高校科技成果转化效能提升的大模型研究”，项目编号: 2025ZJ012

作者简介：

李致远（1996-），男，江苏连云港人，助教，硕士，现就职于南京科技职业学院，研究方向为人工智能。

参考文献：

[1] 鞠炜刚, 汪鹏, 王佳. 基于大语言模型和RAG的持续交付智能问答系统[J]. 计算机技术与发展, 2025, 35 (2) : 107 - 114.

[2] 张丽静, 杜冬梅, 刘庆芳, 等. 基于LLM和RAG的中邮网院智能客服系统研究[J]. 邮政研究, 2024, 40 (4) : 66 - 72.

[3] 吴斌峰, 董海杰, 孙恪成, 等. 基于模型微调融合RAG的FPSO生产流程智能问答系统[J]. 现代信息科技, 2025, 9 (10) : 170 - 175.

[4] 郝世博, 史东昊, 唐裕晨. 基于开源RAG架构的校企专利技术合作问答应用研究[J]. 技术与市场, 2024, 31 (5) : 1 - 11.

[5] 高雅奇. 基于大语言模型和RAG技术的高校知识库智能问答系统构建与评价[J]. 电脑知识与技术, 2024, 20 (29) : 18 - 20.

[6] 陈滨, 游强华. 基于LLM与RAG的图书馆智能问答系统设计[J]. 计算机应用文摘, 2025, 41 (6) : 164 - 166.

[7] 赵耕, 涂一雄, 杨嘉驰, 等. 基于领域数据增强的大模型RAG招生问答系统设计与实现[J]. 软件, 2025, 46 (1) : 175 - 177.

[8] 马钰. 基于大语言模型和RAG的舆情知识交互及推荐研究[J]. 人文与社会科学学刊, 2025, 5 (1) : 311 - 314.

摘自《自动化博览》2026年4月刊