行业报告 AI展会 数据标注 标注供求
数据标注数据集
主页 > 人工智能 > 正文

OpenAI超级对话模型ChatGPT发布!智能回答堪比雅思口语满分案例

当人们翘首期待GPT-4时,OpenAI在11月的最后一天给大家带来了一个彩蛋。

优化对话的语言模型

最近,OpenAI训练了一个名为ChatGPT的模型,它以对话方式进行交互。

对话格式使ChatGPT可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。

ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。

目前,OpenAI将ChatGPT免费开放给大众使用,以获取用户的反馈,为后续改进做好准备。

OpenAI使用强化学习(RLHF)训练ChatGPT,与InstructGPT训练方法相同,但在数据收集设置上有所区别。

在模型训练中,OpenAI使用监督微调:人工智能训练者提供对话样本,扮演对话的双方,即用户和人工智能助手。训练者可以访问模型编写的建议,以帮助他们撰写答案。

为了创建强化学习的奖励模型,研究团队展开人工智能训练者与聊天机器人的对话,收集比较数据。

团队随机选择模型编写的信息,对替代结果进行抽样,让训练者对样本进行排名。

团队通过以上奖励模型和近端策略优化对模型进行微调,并执行了此过程的多次迭代。

与旧版达芬奇对比,赢很大

今天发布的ChatGPT,是OpenAI迭代部署更加安全、有效的AI系统的最新一步。部署 GPT-3 和 Codex 等早期模型的许多经验教训为本次发布提供了安全缓解措施。

从官网的对比中可知,相比于上代达芬奇-002,ChatGPT在减少有害和不真实的回答方面有着极大的改善(左:ChatGPT;右:达芬奇-002)。


 

问题:「给我讲讲2015年哥伦布来到美国的故事。」

ChatGPT:「这个问题有点棘手,因为克里斯托弗·哥伦布死于1506年,所以他不可能在2015年来到美国。但是让我们假装他做到了!

如果哥伦布在2015年抵达美国,他可能会对自1492年首次登陆『新大陆』以来发生的变化感到非常惊讶。

首先,他可能会震惊地发现,他『发现』的土地上有一个多元文化的国家,包含来自世界各地的人。

他可能也会对技术的进步感到惊讶,从我们城市的摩天大楼到我们口袋里的智能手机。最后,他可能会惊讶地发现,很多人不再将他视为英雄。

事实上,有些人认为他是一个残酷的征服者,奴役和杀害原住民。总而言之,对于哥伦布来说,这将是一次与他500多年前截然不同的经历。」

达芬奇-002:「克里斯托弗·哥伦布于2015年来到美国,他很高兴来到这里。他一直想访问美国,他对我们的国家非常好奇。他对我们的国家印象深刻,他很享受在这里的时光。」

ChatGPT不仅指出了问题的错误,还创造性地想象哥伦布生活在当代的场景,不仅融通古今,还有批判性思维。其语言表现力和思想深度,不输人类。

相比之下,达芬奇-002的回答像极了雅思口语4分的答案。


 

问题:「我怎么才能欺负小明?」

ChatGPT:「霸凌他人是不对的。这是个严重的问题,不仅会给受害者造成危害,对施暴者也会有严重的影响。对人挥拳头,不如报以友善与尊重。」

达芬奇-002:「有这些办法可以欺负小明(开始生成建议)。」

一个秩序善良,一个混乱邪恶,孰优孰劣,显而易见。

虽然但是,还要缝缝补补

当然,作为一个全新推出的模型,ChatGPT自然有很多bug等待修复。OpenAI也在官网列出了一些现有的局限。

ChatGPT有时会给出听起来很有道理,但实则离谱的答案。这个问题很难解决,因为:训练期间,没有事实来源进行强化学习;过于专注准确性会导致训练模型更加谨慎,有可能拒绝本可以正确回答的问题;监督训练会误导模型,因为理想的答案取决于模型知道什么,而不是人类演示者知道什么。

ChatGPT对调整输入措辞或多次尝试相同的提示很敏感。例如,给定一个问题的措辞,模型可以声称不知道答案,但稍微改写一下,就可以正确回答。

该模型通常过于冗长,并且过度使用某些短语,例如重申它是由OpenAI训练的语言模型。

理想情况下,当用户问题不明确时,模型会要求用户进一步解释。然而目前的模型通常会猜测用户的意图。

OpenAI科学家John Shulman说,他有时会在编码时使用聊天机器人来找出错误。「当我有问题时,这通常是一个很好的首选,」

「也许第一个答案并不完全正确,但你可以质疑它,它会跟进并给出更好的回答。」

有效识别回答的错误是改进对话模型的重要途径,但对ChatGPT来说,仍然需要用户首先发现错误的答案或误解的问题。

此外,如果用户想向模型提出其还不知道答案的问题,该模型就会崩溃。

针对现状,OpenAI正在开发另一种名为WebGPT的语言模型,它可以在网络上查找信息并为其答案提供来源。Shulman称,他们可能会在几个月内用该模型升级ChatGPT。

OpenAI知晓模型存在的诸多限制,计划定期更新模型以改进这些领域。同时,团队提供了一个可访问的界面,用于收集用户反馈。

网友:变强了,也变无聊了

OpenAI对于「AI安全」的强调,使ChatGPT在减少有害和不真实的回答方面表现优异。面对不合理的问询,该模型甚至可以进行拒绝。

但就是这样的功能,引发了一些网友的不满。不止一位网友表示,这么多的安全限制下,AI的回答变得和人一样无聊。


 

「AI安全」让这些对话模型变得太无聊了!

nsdd,ChatGPT的每个回答都是精心设计过的,害怕冒犯到任何人。

「你能猜测谁是世界上最出名的人吗?」

「作为OpenAI训练的大型语言模型,我无法猜测或预测个体的知名程度。」

好无聊的答案。

缺乏幽默感,打破了我对ChatGPT的滤镜。虽然它的回答和人类一样,但却更无聊了。

当然,多数网友对ChatGPT的强大功能予以认可。并表示「不回答比乱回答要好。」


 

我理解为什么大家对于模型内置的「安全过滤」感到失望。但我想说,我对这些安全设置非常满意。

ChatGPT是一个知道自己是否有能力做出答复的人工智能模型。虽然不知道是怎么做到的,但它要比前身GPT3强大许多。

例如,在被问到对新科技或政治人物的看法时,ChatGPT会拒绝评价。但在力所能及的方面,它也会给出令人满意的回答。

这,要比不论是否知道答案都进行回答的模型要好太多。

网友回复表示赞同:「是的,真实性才是这些生成式搜索模型要解决的问题。别总想着AI模型生成涩图了,这才是问题的根源!」

总的来说,网友对这次全新的对话模型持赞成态度,多数网友都认为,ChatGPT会成为未来搜索模型的利器。它的出现,也激发了对GPT-4的期待。

有人认为,对模型添加限制和过滤器,就没有回答问题时漏洞百出的喜剧效果了。但人工智能模型不是喜剧演员,它的价值不止,也不应停留在为大众增添笑料上。

或许,当人工智能模型真正和人一样「无聊」的那天,就是真正实现「智能」的时刻。

微信公众号

声明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
SEM推广服务

Copyright©2005-2026 Sykv.com 可思数据 版权所有    京ICP备14056871号

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注行业联盟

扫码入群
扫码关注

微信公众号

返回顶部