您好,请您登录 免费注册 2020年12月04日 星期五
行业新闻

聊鲜 | 据说将开启AI新阶段,最近全球走红的GPT-3到底是啥?

发布日期:2020-09-03    来源:技术交易平台

 

技术贸易促进365联盟

最近,著名人工智能科研公司OpenAI开发的文字生成人工智能GPT-3在外网走红。作为迄今为止最强大的语言模型,有人评价GPT-3“无所不能”。很多人对GPT-3寄予厚望,认为它能够拉开人工智能发展的新纪元。但同时,GPT-3的能力也遭到一些质疑。

 微信图片_20200916102435.jpg

1750亿个参数

 

 

GPT-3全名“GeneralPretrainedTransformer-3”,是OpenAI开发的一个自然语言处理的计算模型,于今年6月由OpenAI首次发布。根据OpenAI的官方解释,GPT是一种自动补全工具,是语言理解和建模的先驱之一,它通过无人监督预训练和监督微调实现文本的自动补全。

 

OpenAI去年发布的GPT-2GPT的直接扩展,具有超过10倍的参数,并接受超过10倍的数据量训练。GPT-2可以根据预设文本预测下一个单词,从而生成文本的连贯段落,无需经过特定的预训练就可以执行基本的阅读理解、机器翻译、问题回答和摘要概括,并具备初步的图像生成功能。

 

 微信图片_20200916102511.jpg

通俗的理解,可以认为GPT2能够写出与它的风格和主题相匹配的看似合理的段落。它能够在第一个句子的提示下,以不同的文风输出好几段符合逻辑的文本。

 

GPT-3拥有1750亿个参数,比其前身多100倍,比之前最大的同类NLP模型要多10倍。GPT-3的图像生成功能更成熟,无需微调就可以在不完整的图像样本基础上补全完整的图像。有分析指出,GPT-3意味着从一代到三代的跨越实现了两个转向:从语言到图像的转向,图像生成领域的无监督学习转向。

 

惊艳表现

 

 微信图片_20200916102535.jpg

OpenAI目前已开放商业API内测版。由于OpenAI这次一反之前死守基础研究的思路,将GPT-3做成了一个服务,提供可以调用的OpenAI API,并且开放了少量体验资格,使得拿到体验资格的业界人士或学者等开发出了一众惊人的演示,包括答题、翻译、写文章,甚至是数学计算和编写代码。

 

来自OpenAI、约翰霍普金斯大学的Dario Amodei等研究人员都证明了在GPT-3中,对于所有任务,模型无需进行任何梯度更新或微调,而仅通过与模型的文本交互指定任务和少量示例即可获得很好的效果。

 

国外知名科技媒体《连线》(WIRED)提及了一个富有创造性的实验:丹佛的企业家艾略特·特纳发现,GPT-3可以改变文本的语义色彩,例如将粗鲁的语词改写为有礼貌的语词。

 

此外,由GPT-3所写的文章几乎达到了以假乱真的地步。在OpenAI的测试中,人类评估员也很难判断出一篇新闻的真假,检测准确率仅为12%

 

质疑声起

 

GPT-3被大肆渲染的同时,也有冷静的声音陆续出现。例如有媒体用实验结果证实它的部分输出具有偏向性且会犯低级错误,输出的文本存在偏见,而这已经是AI领域长期存在的问题。

822日,纽约大学名誉教授、Robust.AI 创始人兼CEO加里?马库斯与纽约大学计算机系教授欧内斯特?戴维斯也联手撰文,公开发表了题为《傲慢自大的GPT-3:自己都不知道自己在说什么》的文章。

 

两人通过一系列对GPT-3的测试,对其背后的实现逻辑进行了尖锐、合理的质疑。

 

他们认为,GPT-3本身并不具有“革命性”的变化,GPT的根本缺陷仍然存在。GPT-3的表现非常不可靠,不能稳定地准确理解因果关系,上下文逻辑也总是不连贯。GPT-2在生物、生理、心理和社会推理方面都存在问题,并且经常不够连贯和不符合逻辑,GPT-3依然如是。

 

此外,GPT-3如何实现商业价值仍是个未知数。

 

官网显示,目前OpenAI已经与十几家公司合作,其中包括搜索服务提供商Algolia、精神健康平台KokoReplika以及社交媒体平台Reddit等。有观点认为,尽管从创建客服机器人到自动内容审核,人们已经尝试了GPT-3的多种用途,但是答案内容的错误可能会给商业公司带来严重后果。没有人愿意创建一个偶尔侮辱客户的客服机器人。如果没有办法知道答案是否可靠,谁都不敢拿GPT-3作为教育工具。

 

一位匿名的Google资深AI研究人员认为,GPT-3仅能自动完成一些琐碎任务,较小、更便宜的AI程序也可以做到,而且程序的绝对不可靠性最终会破坏其商用。这位研究人员指出,如果没有很多复杂的工程调试,GPT-3距离真正商用仍需时日。

 

启明创投合伙人周志峰指出,GPT-3最大的价值是在自然语言处理技术上证实了机器在无监督下的自我学习能力,以及验证了纯粹通过扩大规模可以实现性能提升。他强调,未来文本内容的自动生成(用机器进行新闻稿生成、文学创作)、新形态的搜索引擎(question-based)、自动代码生成、更好的机器翻译、客服机器人这些细分领域最可能率先拥抱这项技术。