边缘计算领域又传来喜讯!
以色列-特拉维夫,近日,边缘人工智能处理器的领先芯片制造商Hailo宣布C轮融资再获1.2亿美元投资。与此同时,Hailo还推出创新型Hailo-10高性能生成式人工智能(GenAI)加速器。这款加速器的问世,将开创一个新时代:用户无需注册任何基于云端的生成式人工智能服务,便能在本地轻松拥有并运行生成式人工智能应用,享受更为高效便捷的人工智能体验。
本轮新融资由现有及新投资者共同领投,其中包括Zisapel家族、Gil Agmon、Delek Motors、Alfred Akirov、DCLBA、Vasuki、OurCrowd、Talcar、Comasco以及Poalim Equity等众多机构与个人。至此,Hailo的总融资额超过了3.4亿美元。
Hailo由Orr Danon和Avi Baum于2017年共同创立,专注于为边缘设备设计运行AI工作负载的芯片。该公司表示,其在全球拥有超过300家客户,涵盖个人计算、汽车、安全和零售等多个领域。
Hailo首席执行官兼联合创始人Orr Danon表示:“新一轮融资的顺利完成,不仅为我们提供了重要发展机遇,更为公司的长期稳健发展奠定了坚实基础。随着Hailo-10 生成式人工智能加速器的问世,我们成功将传统与生成式人工智能技术引入边缘设备,这将大大拓展这项前沿技术的普及范围和应用场景。”他还进一步强调:“Hailo-10的设计理念是将生成式人工智能融入用户的日常生活中,摆脱云网络的束缚。这将保证灵活性和即时性,让用户充分利用聊天机器人、智能副驾驶等新兴内容生成工具,显著提升工作效率,丰富生活体验。”
Hailo-10:边缘生成式人工智能
全新的Hailo-10 生成式人工智能加速器支持一系列广泛的应用,进一步巩固了Hailo在性能成本比和性能功耗比方面的领先地位。借助与Hailo-8 人工智能加速器和Hailo-15 人工智能视觉处理器相同的综合软件套件,Hailo-10能够轻松实现人工智能功能在多个边缘设备和平台上的无缝集成,为用户带来更加流畅、高效的智能体验。
在边缘设备上启用生成式人工智能可确保用户随时访问生成式人工智能服务,无需担心网络连接限制。同时,它还能有效消除网络延迟问题。此外,生成式人工智能在边缘设备上的运行还能更好地保护用户隐私,因为个人信息在处理过程中始终保持匿名状态。最后,减少对云数据中心庞大处理能力的依赖,也有助于提高整体的可持续性。
Danon先生进一步阐述道:“随着边缘生成式人工智能技术的不断发展,我们的重点已经转向在极低功耗范围内处理大型大语言模型(LLM),基本上可以控制在5瓦以下。”
在当下热门的生成式人工智能平台中,Hailo-10展现出了令人瞩目的性能。它能够在功耗低于5W的情况下,以每秒生成10 个token(TPS)的速度流畅运行Llama2-7B模型。同时,在处理Stable Diffusion 2.1模型(该模型可根据文本提示生成图像)时,Hailo-10同样在超低功耗范围内实现了每张图像评级低于5秒的出色表现。
Hailo-10的性能高达每秒40万亿次(TOPS),这为边缘人工智能加速器树立了新的性能标杆。根据最新公布的基准测试数据,Hailo-10在性能上超越了集成神经处理单元(NPU)解决方案,同时在功耗方面表现更为出色。与Intel的Core Ultra NPU相比,Hailo-10在保持功耗减半的同时,实现了至少2倍的性能提升。
Hailo-10 生成式人工智能加速器的初步应用将瞄准个人计算机和汽车信息娱乐系统,以取代那些性能不足的上一代CPU。这些老旧CPU无法支持现在已成为标配的聊天机器人、智能副驾驶、个人助理以及语音操作系统。Hailo计划从2024年第二季度开始,向市场提供Hailo-10生成式人工智能加速器的样品。