手机端运行AI大模型？Meta和高通达成协议，2024年推出“手机版Llama 2”
手机端运行AI大模型？Meta和高通达成协议，2024年推出“手机版Llama 2”
article.author.display_name
葛佳明
“不仅成本更低、性能更好、甚至可以在断网的情况下工作。”
就在Meta官宣将与微软携手发布开源AI模型可商用版本Llama 2后，高通发布公告称，将和Meta合作，2024年推出 “手机版Llama 2”。
Meta和高通的“野心”昭然若揭？
高通7月19日的最新公告显示，从2024年起，Llama 2将能在旗舰智能手机和PC上运行：
客户、合作伙伴和开发人员能构建智能虚拟助手、生产力应用、内容创建工具、娱乐等用例，AI功能可以在没有网络连接的地方，甚至在飞行模式下运行。
2024年在智能手机、PC、VR/AR头显和汽车等终端上运行Llama 2一类的生成式AI模型，将支持开发者节省云成本，并为用户提供更加私密、可靠和个性化的体验。
高通技术公司高级副总裁兼边缘云计算解决方案业务总经理Durga Malladi表示，为了有效地将生成式人工智能推广到主流市场，人工智能将需要同时在云端和边缘终端（如智能手机、笔记本电脑、汽车和物联网终端）上运行。
高通表示和基于云端的大语言模型相比，在智能手机等设备上运行Llama 2 等大型语言模型的边缘云计算具有许多优势，不仅成本更低、性能更好、可以在断网的情况下工作，而且可以提供更个性化、更安全的AI服务。
对于市场而言，高通并没有赶上本轮AI热潮，年内股价涨幅甚至不及英伟达的1/10。
在这种情况下，高通已将AI边缘计算定为未来发展方向。
高通公司高级副总裁Alex Katouzian5月曾明确表示，高通正在从一家通信公司过渡到一家智能边缘计算公司：
“随着连接设备和数据流量加速增长，叠加数据中心成本攀升，（我们）不可能将所有内容都发送到云端。”
不久前，高通已发布了全球首个在安卓手机上运行的Stable Diffusion终端侧演示，演示中，搭载骁龙芯片的手机可以直接运行参数规模超过10亿的Stable Diffusion，且只需要15秒左右就可以出图。
“混合AI”新未来已至？
“混合”，就意味着云端要和手机、PC、XR头显、汽车这些终端设备协同工作，而不是单打独斗，混合AI架构会根据大模型和查询需求的复杂度，将任务负载以不同方式分配到云端和终端上。
这种混合AI架构能带来的优势是很明显的，比如在成本、能耗、性能、隐私、安全和个性化等方面，本地化处理的融入都可以带来很多加分项。
国盛证券指出，在AI向实际场景落地时，边缘算力的重要性加速凸显，边缘算力在成本、时延、隐私上具有天然优势，也可以作为桥梁，预处理海量复杂需求，并将其导向大模型。
因此，AI应用将逐步从中心节点向更贴近数据源和业务现场的边缘侧拓展，边缘计算合理利用边缘侧算力和实时数据，使机器学习模型提供的智能服务更加便捷和贴近应用，有望打通行业细分、多元化场景落地瓶颈。
风险提示及免责条款
共有 0 条评论