互联网

·

专家评价谷歌Gemini:只是小进步,飞跃谈不上

锌媒体报道

“Gemini是这波生成式AI浪潮的顶峰,但并非下一个高峰的开端。”

图片

图片来源:由无界 AI生成

12月6日晚,谷歌DeepMind推出了其“迄今为止最强大、最通用的模型”Gemini。一位观察家表示,Gemini是一台“万能机器”,在各种性能上都是同类最佳的。谷歌及其母公司Alphabet的首席执行官桑达尔-皮查伊(SundarPichai)在接受采访时也表示:“这对我们来说是向前迈出的一大步。”

是的,对于谷歌而言,相比此前饱受诟病的Bard,Gemini是进步,但对整个AI领域来说未必是一个巨大的飞跃。

作为对OpenAIGPT-4的回应,谷歌DeepMind声称,Gemini在32项标准性能指标中,有30项指标都优于GPT-4。然而,它们之间的差距其实是微乎其微的。谷歌DeepMind所做的,其实只是将人工智能目前最好的能力整合到一个强大的软件包中。从演示来看,它在很多方面都做得很好,但很少有我们以前没见过的东西。

Gemini可能是一个迹象,表明我们已经达到了人工智能炒作的顶峰。至少现在是这样。

华盛顿大学专门研究在线搜索的教授ChiragShah把这次发布比作苹果公司近年推出的新款iPhone。他说:“也许我们现在只是上升到了一个不同的阈值,在这个阈值上,这并没有给我们留下那么深刻的印象,因为我们已经看过太多(类似的产品和功能了)。”

与GPT-4一样,Gemini也是多模态的,这意味着它经过训练可以处理多种输入:文本、图像、音频。它可以将这些不同的格式结合起来,回答从家务到大学数学到经济学等各种问题。

在昨天为记者进行的演示中,谷歌展示了Gemini的性能,它可以截取现有图表的截图,分析数百页的研究报告和新数据,然后根据新信息更新图表。在另一演示中,Gemini显示了在平底锅中烹饪蛋饼的图片,并询问(使用语音而非文字)蛋饼是否已经熟透。Gemini也能准确地答上来:“还没熟,因为蛋液还是流动的。”

目前,Gemini还未完全上线。今天推出的版本是谷歌基于文本的搜索聊天机器人Bard的后端。Gemini的全面发布将在未来几个月内分期进行。经过Gemini强化的新Bard最初将在170多个国家(不包括欧盟和英国)提供英语版本。负责Bard的谷歌副总裁SissieHsiao说,这是为了让公司与当地监管机构“接触”。

具体而言,Gemini有三种规格:Ultra、Pro和Nano。其中,Ultra是全功率版本;Pro和Nano则是为计算资源有限的应用程序量身定制的。Nano则专为在谷歌新款Pixel手机等设备上运行而设计。开发人员和企业将从12月13日开始访问GeminiPro。GeminiUltra是功能最强大的规格,将在“明年初经过”广泛的信任和安全检查“后推出。

“我认为大模型已经到了Gemini时代,”皮查伊表示。“这就是谷歌DeepMind在人工智能领域的构建和进步方式。它永远代表着我们在人工智能技术方面取得进展的前沿。”

更大、更好、更快、更强?

OpenAI最强大的模型GPT-4被视为业界的黄金标准。虽然谷歌夸口说Gemini比OpenAI之前的模型GPT3.5性能更强,但公司高管回避了关于该模型比GPT-4强多少的问题。

在与同类大模型相比时,谷歌特别强调了一个名为MMLU(大规模多任务语言理解)的基准。这是一套测试,旨在衡量模型在涉及文本和图像的任务中的表现,包括阅读理解、大学数学以及物理、经济和社会科学方面的多项选择测验。皮查伊说,在纯文本问题上,Gemni的得分率为90%,人类专家的得分率约为89%,而GPT-4在这类问题上的得分率为86%。在多模态问题上,Gemini的得分率为59%,而GPT-4的得分率为57%。皮查伊说:“这是第一个跨过这个门槛的模型。”

图片

的确,在数据上,Gemini的成绩好于GPT-4,但真的不多。

新墨西哥州圣达菲研究所(SantaFeInstitute)的人工智能研究员MelanieMitchell就表示,“很明显,Gemini是一个非常复杂的人工智能系统。”但“在我看来,Gemini的能力实际上并没有明显超过GPT-4,”她补充说。

此外,斯坦福大学基础模型研究中心主任PercyLiang也谈到,虽然该模型有很好的基准分数,但由于我们不知道训练数据的内容,因此很难解释这些数据。

Mitchell还指出,Gemini在不同基准上的表现也没那么稳定,语言和代码方面的表现要比在图像和视频方面好得多。她说:“多模态基础模型要想在许多任务中发挥普遍而强大的作用,还有很长的路要走。”

据悉,谷歌DeepMind利用人类测试者的反馈对Gemini进行了训练,使其能地反映事实,在被要求时给出归因,并在面对无法回答的问题时回避而不是胡言乱语。谷歌称,这可以减轻幻觉问题。但是,如果不对基础技术进行彻底改革,大型语言模型将继续胡编乱造。

专家表示,目前还不清楚谷歌用来衡量Gemini性能的基准是否能提供那么多的洞察力,而且在不透明的情况下,也很难核实谷歌的说法。

华盛顿大学计算语言学教授EmilyBender说:“谷歌宣传Gemini是一台万能机器--一个可用于多种不同用途的通用模型。”但是,该公司正在使用狭隘的基准来评估它期望用于这些不同用途的模型。“这意味着它实际上无法得到彻底评估,”她说。

Shah表示,最终,对于普通用户来说,与竞争模型相比的进步可能不会带来太大的影响。“这更多的是便利性、品牌认知度和现有集成,而不是人们真正认为‘哦,这个更好’,”他说。

漫长而缓慢的积累

Gemini的诞生由来已久。2023年4月,谷歌宣布将其人工智能研究部门GoogleBrain与Alphabet位于伦敦的人工智能研究实验室DeepMind合并。因此,谷歌花了近一年的时间来开发其应对OpenAI最先进的大型语言模型GPT-4的答案。

谷歌一直承受着巨大的压力,它必须向投资者展示自己在人工智能领域能够与竞争对手匹敌,甚至超越对手。虽然谷歌多年来一直在开发和使用功能强大的人工智能模型,但由于担心声誉受损和安全问题,它一直对推出公众可以使用的工具犹豫不决。

今年4月,杰弗里-辛顿(GeoffreyHinton)在离开谷歌时表示:“谷歌在向公众发布这些东西方面一直非常谨慎。”“可能发生的坏事太多了,谷歌不想毁了自己的声誉。”面对似乎不可信或无法销售的技术,谷歌采取了稳妥的做法--直到更大的风险变成了错失良机。

谷歌已经深刻认识到,推出有缺陷的产品可能会适得其反。今年2月,谷歌推出了ChatGPT的竞对巴德(Bard),但科学家们很快就发现该公司自己为聊天机器人所做的广告中存在事实错误,这一事件也导致谷歌市值蒸发了1000亿美元。

今年5月,谷歌宣布在从电子邮件到生产力软件的大部分产品中推出生成式人工智能。但结果并未给大伙儿留下深刻印象:例如,聊天机器人提到了并不存在的电子邮件。

这是大型语言模型一贯存在的问题。生成式人工智能系统虽然擅长生成听起来像是人类写的文字,但经常会胡编乱造。而且它们还容易被黑客攻击,并且充满偏见。

谷歌既没有解决这些问题,也没有解决幻觉问题。对于后一个问题,谷歌的解决方案是让人们使用谷歌搜索来重复检查聊天机器人的答案,但这依赖于在线搜索结果本身的准确性。

Gemini可能是这波生成式人工智能浪潮的顶峰。但建立在大型语言模型基础上的人工智能下一步将走向何方,目前还不清楚。一些研究人员认为,这可能只是一个平台期,而非下一个高峰的开端。

然而,对于未来,皮查伊并不悲观。他说:“展望未来,我们确实看到了很大的发展空间。”“我认为多模态将大有作为。当我们教会这些模型更多地进行推理时,将会有越来越大的突破。更深层次的突破还在后面。”“从整体上看,我真的觉得我们正处于起步阶段。”


向作者提问

  • 最新评论

游客
验证码: 点击我更换图片
全部评论