硬刚OpenAI！谷歌推出Gemini 2.0，全面转向Agent，多模态输入输出
硬刚OpenAI！谷歌推出Gemini 2.0，全面转向Agent，多模态输入输出
硬AI
为应对OpenAI此前推出的众多新产品，谷歌周三推出下一代重要人工智能模型Gemini 2.0 Flash，成为2.0家族第一个模型，主推原生多模态输入输出+Agent，速度比1.5 Pro快两倍，关键性能指标甚至超过了1.5 Pro，可以原生生成图像和音频，同时支持文本生成，还可以使用第三方应用程序和服务，使其能够访问谷歌搜索、执行代码等功能。谷歌周三还发布了其首个能够在网页上执行操作的AI代理Project Mariner，由Gemini驱动，能够接管用户的Chrome浏览器，移动屏幕上的光标，点击按钮，填写表单，从而像人类一样使用和浏览网站。
作者：赵雨荷
来源：硬AI
为应对OpenAI此前推出的众多新产品，谷歌周三推出下一代重要人工智能模型Gemini 2.0 Flash，可以原生生成图像和音频，同时支持文本生成。2.0 Flash还可以使用第三方应用程序和服务，使其能够访问谷歌搜索、执行代码等功能。
从周三起，2.0 Flash的实验版本将通过Gemini API和谷歌的AI开发平台（AI Studio和Vertex AI）提供。然而，音频和图像生成功能仅对“早期接入合作伙伴”开放，并计划在明年1月全面推出。
未来几个月内，谷歌表示将推出2.0 Flash的不同版本，用于Android Studio、Chrome DevTools、Firebase、Gemini Code Assist等产品。
Flash的升级
第一代Flash（1.5 Flash）只能生成文本，且并未设计用于特别高要求的工作负载。据谷歌称，新版本2.0 Flash模型更具多样性，部分原因是它能够调用工具（如搜索）并与外部API交互。
谷歌Gemini模型产品负责人Tulsee Doshi表示，
“我们知道，Flash因其在速度和性能上的良好平衡而备受开发者喜爱。在2.0 Flash中，它依然保持了速度的优势，但现在更加强大。”
谷歌声称，根据公司内部测试，2.0 Flash在某些基准测试中的运行速度是Gemini 1.5 Pro模型的两倍，并在编码和图像分析等领域“显著”改进。事实上，该公司表示，2.0 Flash凭借其更好的数学性能和“事实性”取代了1.5 Pro，成为Gemini的旗舰模型。
2.0 Flash可以生成并修改图像，同时支持文本生成。该模型还可以读取照片、视频以及音频录制内容，从而回答与这些内容相关的问题。
音频生成是2.0 Flash的另一个关键功能，Doshi将其描述为“可操控”和“可定制”。例如，该模型可以用八种针对不同口音和语言优化的声音来朗读文本。
不过，谷歌并未提供2.0 Flash生成的图像或音频样本，因此无法判断其输出质量与其他模型的比较。
谷歌表示，它正在使用其SynthID技术为2.0 Flash生成的所有音频和图像添加水印。在支持SynthID的软件和平台（即部分谷歌产品）上，该模型的输出将被标记为合成内容。
此举旨在缓解人们对滥用的担忧。事实上，“深度伪造”（deepfake）正成为日益严重的威胁。据身份验证服务Sumsub的数据，从2023年到2024年，全球检测到的深度伪造数量增长了四倍。
多模态API
2.0 Flash的生产力版本将于明年1月推出。但与此同时，谷歌推出了一个API，名为Multimodal Live API，以帮助开发者构建具有实时音频和视频流功能的应用程序。
通过Multimodal Live API，谷歌表示开发者可以创建具有来自摄像头或屏幕音频和视频输入的实时多模态应用程序。该API支持工具集成以完成任务，并能够处理“自然对话模式”，例如打断——与OpenAI的实时API功能类似。
Multimodal Live API已于周三上午全面开放使用。
AI代理操作网页
谷歌周三还发布了其首个能够在网页上执行操作的AI代理，这是由其DeepMind部门推出的研究模型，名为Project Mariner。该代理由Gemini驱动，能够接管用户的Chrome浏览器，移动屏幕上的光标，点击按钮，填写表单，从而像人类一样使用和浏览网站。
谷歌表示，从周三开始，这款AI代理将首先面向一小部分预先选定的测试者推出。
媒体报道，谷歌正在继续尝试新的方式，让Gemini能够读取、总结甚至使用网站。一位谷歌高管告诉媒体，这标志着一种“全新的用户体验范式转变”：用户不再直接与网站交互，而是通过生成式AI系统完成这些交互。
分析认为，这种转变可能会影响数百万家企业——从TechCrunch等出版商到沃尔玛等零售商——这些企业一直以来都依赖谷歌将真实用户引导到他们的网站。
在与科技媒体TechCrunch的演示中，谷歌实验室总监Jaclyn Konzelmann展示了Project Mariner的工作原理。
在Chrome浏览器中安装一个扩展程序后，浏览器右侧会弹出一个聊天窗口。用户可以指示代理完成诸如“根据这份清单在超市创建购物车”之类的任务。
接着，AI代理会导航到一家超市的网站，然后搜索并将商品添加到虚拟购物车中。一个显而易见的问题是代理运行速度较慢——每次光标移动之间约有5秒的延迟。有时，代理会中断任务并返回到聊天窗口，要求澄清某些物品（比如需要多少胡萝卜等）。
谷歌的代理无法完成结账，因为它不会填写信用卡号或账单信息。此外，Project Mariner也不会为用户接受cookies，或签署服务条款协议。谷歌表示，这是出于对用户更好控制的考虑，故意不允许代理执行这些操作。
在后台，谷歌的代理会截取用户浏览器窗口的截图（用户需在服务条款中同意这一点），并将其发送到云端的Gemini进行处理。然后，Gemini会将导航网页的指令发送回用户的电脑。
Project Mariner还可以用于搜索航班和酒店、购物家居用品、查找食谱以及其他目前需要用户点击网页才能完成的任务。
不过，Project Mariner仅能在Chrome浏览器的最前端活动标签页上工作，这意味着在代理后台运行时，用户无法用电脑做其他事情，而是需要观看Gemini慢慢地点击操作。谷歌DeepMind首席技术官Koray Kavukcuoglu表示，这是一个非常有意的决定，目的是让用户知道谷歌的AI代理正在做什么。
Konzelmann表示，
“[Project Mariner]标志着我们现在看到的一种根本性的新用户体验范式转变。我们需要探索一种正确的方法，让这一切改变用户与网页互动的方式，同时也改变出版商为用户以及代理创建体验的方式。”
AI代理做研究、写代码、熟悉游戏
除了Project Mariner，谷歌周三还推出了几款专门用于特定任务的新AI代理。
其中一个AI代理Deep Research旨在通过创建多步骤研究计划帮助用户研究复杂研究。它似乎是OpenAI的o1的竞争对手，后者也能够进行多步骤推理。然而，谷歌发言人指出，该代理并不用于解决数学和逻辑推理问题、编写代码或进行数据分析。Deep Research现已在Gemini Advanced中推出，并将在2025年登陆Gemini应用。
当收到一个困难或规模较大的问题时，Deep Research会创建一个多步骤的行动计划来回答问题。在用户批准计划后，Deep Research需要几分钟的时间来回答问题、搜索网页，然后生成一份详细的研究报告。
另一个新AI代理Jules旨在帮助开发者完成代码任务。它直接集成到GitHub工作流中，使Jules能够查看现有工作并直接在GitHub中进行更改。Jules现已向一小部分测试者推出，并将在2025年晚些时候发布。
最后，谷歌DeepMind表示正在开发一款用于帮助用户熟悉游戏的AI代理，这是基于其在创建游戏AI方面的长期经验。谷歌正在与Supercell等游戏开发商合作测试Gemini解释《部落冲突》等游戏世界的能力。
AI生成摘要
谷歌周三还发布了基于Gemini 2.0模型的AI生成摘要功能“AI Overviews”，为某些Google搜索查询提供的摘要内容，将很快能够处理“更复杂的话题”，以及“多模态”和“多步骤”的搜索内容。谷歌表示，这包括高级数学问题和编程问题。
新的AI Overviews功能将在本周开始进行有限测试，并将在明年初广泛推广。
不过，自今年春天推出以来，AI Overviews引发了许多争议，其提供的某些可疑陈述和建议（例如推荐在披萨上加胶水）曾在网上引发热议。根据SEO平台SE Ranking的一份最近报告，AI Overviews引用了“并不完全可靠或基于证据的”网站，包括过时的研究和付费产品列表。
分析认为，主要问题在于，AI Overviews有时难以辨别信息来源是事实、虚构、讽刺还是严肃内容。过去几个月里，谷歌改变了AI Overviews的工作方式，限制了与时事和健康话题相关的答案。但谷歌并不声称这一功能已经完美无缺。
尽管如此，谷歌表示，AI Overviews提升了搜索参与度，尤其是在18到24岁这一关键用户群体中——这是谷歌的重点目标人群。
最新AI加速器芯片Trillium 专供Gemini 2.0
谷歌周三发布了其第六代人工智能加速器芯片Trillium，声称这一芯片的性能改进可能从根本上改变AI开发的经济模式。
这款定制处理器用于训练谷歌最新发布的Gemini 2.0 AI模型，其训练性能是上一代的四倍，同时大幅降低了能耗。
谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）在一篇公告文章中解释道，谷歌已经将超过10万颗Trillium芯片连接在一个单一的网络结构中，形成了全球最强大的AI超级计算机之一。
Trillium在多个维度上实现了显著的进步。与其前代相比，这款芯片每颗芯片的峰值计算性能提升了4.7倍，同时高带宽内存容量和芯片间互联带宽均翻了一倍。更为重要的是，它的能效提升了67%，这是数据中心在应对AI训练巨大能耗需求时的一个关键指标。
Trillium的商业影响不仅限于性能指标。谷歌声称，与上一代芯片相比，该芯片在每美元的训练性能方面提升了2.5倍，这可能会重塑AI开发的经济模式。
分析认为，Trillium的发布加剧了AI硬件领域的竞争，而英伟达凭借其基于GPU的解决方案长期占据主导地位。虽然英伟达的芯片仍然是许多AI应用的行业标准，但谷歌的定制芯片方法可能在特定工作负载，特别是训练非常大的模型方面具有优势。
还有分析称，谷歌在定制芯片开发上的巨额投资反映了其对AI基础设施重要性的战略押注。谷歌决定将Trillium提供给云客户，这表明其希望在云AI市场上更具竞争力，与微软Azure和亚马逊AWS展开激烈竞争。对于整个科技行业而言，Trillium的发布表明AI硬件霸主之争正进入新阶段。
本文来自微信公众号“硬AI”，关注更多AI前沿资讯请移步这里
风险提示及免责条款
共有 0 条评论