今日头条
官方微信
官方抖音
资讯频道Mistral AI 最近推出了两款新的 AI 模型，Ministral 3B 和 Ministral 8B。这些模型专为边缘设备和本地计算设计，适合在智能手机、平板电脑和物联网设备上使用，目标是实现低延迟和高效的 AI 推理。
1.设计与应用
这两款模型被称为 "les Ministraux"，由于它们体积小，非常适合本地部署，可以满足对隐私保护的需求。例如，用户可以在设备上进行翻译，使用无需网络的智能助手，或者进行本地的数据分析。Ministral 3B 和 8B 都支持长达 128,000 个 token 的上下文长度，其中 Ministral 8B 还加入了特殊的滑动窗口注意力机制，进一步提升了速度和内存效率。
2.模型特点
高效的边缘计算：Ministral 3B 和 8B 针对低功耗和高效率进行了优化，特别适合在边缘设备上进行推理，如智能手机和物联网设备。
功能调用能力：这两款模型都具备强大的功能调用能力，能够在多步骤任务中充当代理，帮助管理任务分配和处理输入，从而降低整体计算成本。
Ministral 8B 的增强功能：Ministral 8B 具备“交错滑动窗口注意力机制”，显著提升了推理速度和内存利用效率，使其在处理大量上下文任务时更加高效。
可调量化支持：模型支持无损量化，可以根据具体使用场景进行优化，以确保在性能和效率之间实现平衡。
3.模型性能
在多任务语言理解评估中，Ministral 3B 和 8B 的表现超过了其他同类模型，如 Google 的 Gemma 2 和 Meta 的 Llama 3.2。它们的发布为那些需要本地推理和高效计算的用户提供了新的选择，尤其适合在移动和边缘设备上的应用场景。
来源：AI数智圈
北京市公安局海淀分局备案号：11010802023656号