手机端运行AI大模型?Meta和高通达成协议,2024年推出“手机版Llama 2”

 手机端运行AI大模型?Meta和高通达成协议,2024年推出“手机版Llama 2”

article.author.display_name
葛佳明


“不仅成本更低、性能更好、甚至可以在断网的情况下工作。”
就在Meta官宣将与微软携手发布开源AI模型可商用版本Llama 2后,高通发布公告称,将和Meta合作,2024年推出 “手机版Llama 2”。

Meta和高通的“野心”昭然若揭?

高通7月19日的最新公告显示,从2024年起,Llama 2将能在旗舰智能手机和PC上运行:

客户、合作伙伴和开发人员能构建智能虚拟助手、生产力应用、内容创建工具、娱乐等用例,AI功能可以在没有网络连接的地方,甚至在飞行模式下运行。

2024年在智能手机、PC、VR/AR头显和汽车等终端上运行Llama 2一类的生成式AI模型,将支持开发者节省云成本,并为用户提供更加私密、可靠和个性化的体验。

高通技术公司高级副总裁兼边缘云计算解决方案业务总经理Durga Malladi表示,为了有效地将生成式人工智能推广到主流市场,人工智能将需要同时在云端和边缘终端(如智能手机、笔记本电脑、汽车和物联网终端)上运行。

高通表示和基于云端的大语言模型相比,在智能手机等设备上运行Llama 2 等大型语言模型的边缘云计算具有许多优势,不仅成本更低、性能更好、可以在断网的情况下工作,而且可以提供更个性化、更安全的AI服务。

对于市场而言,高通并没有赶上本轮AI热潮,年内股价涨幅甚至不及英伟达的1/10。

在这种情况下,高通已将AI边缘计算定为未来发展方向。

高通公司高级副总裁Alex Katouzian5月曾明确表示,高通正在从一家通信公司过渡到一家智能边缘计算公司:

“随着连接设备和数据流量加速增长,叠加数据中心成本攀升,(我们)不可能将所有内容都发送到云端。”

不久前,高通已发布了全球首个在安卓手机上运行的Stable Diffusion终端侧演示,演示中,搭载骁龙芯片的手机可以直接运行参数规模超过10亿的Stable Diffusion,且只需要15秒左右就可以出图。

“混合AI”新未来已至?
“混合”,就意味着云端要和手机、PC、XR头显、汽车这些终端设备协同工作,而不是单打独斗,混合AI架构会根据大模型和查询需求的复杂度,将任务负载以不同方式分配到云端和终端上。

这种混合AI架构能带来的优势是很明显的,比如在成本、能耗、性能、隐私、安全和个性化等方面,本地化处理的融入都可以带来很多加分项。

国盛证券指出,在AI向实际场景落地时,边缘算力的重要性加速凸显,边缘算力在成本、时延、隐私上具有天然优势,也可以作为桥梁,预处理海量复杂需求,并将其导向大模型。

因此,AI应用将逐步从中心节点向更贴近数据源和业务现场的边缘侧拓展,边缘计算合理利用边缘侧算力和实时数据,使机器学习模型提供的智能服务更加便捷和贴近应用,有望打通行业细分、多元化场景落地瓶颈。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

版权声明:
作者:siwei
链接:https://www.techfm.club/p/60957.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>