首页 / 行业
度晓晓1秒1篇高考作文,都是因为预训练大模型
2022-06-10 00:02:00
6月7日,百度推出的数字人度晓晓作答了全国新高考Ⅰ卷题为《本手、妙手、俗手》议论文,40秒就根据题目创作了40多篇文章,平均1秒生成1篇,随机抽取其中一篇,其分数赶超约75%高考考生。
而这得益于文心大模型最新发布的融合任务相关知识的千亿大模型ERNIE 3.0 Zeus,该模型在学习海量数据和知识的基础上,进一步学习百余种不同形式的任务知识,增强了模型的效果,在各类NLP任务上表现出了更强的零样本和小样本学习能力。
基于文心大模型的智能创作
大模型是人工智能大基础设施的重要组成,“文心大模型”是百度近几年在花大力气投入研发的技术基础设施。自2019年开始,百度深耕预训练模型研发,并在该年3月率先发布中国首个正式开放的预训练模型ERNIE1.0。
去年12月,百度联合鹏城实验室发布了鹏城-百度·文心大模型,这是全球首个知识增强千亿大模型,也目前全球最大中文单体模型,参数规模达到2600亿。
在今年5月20日的WAVE SUMMIT 2022深度学习开发者峰会上,文心大模型一次性发布10个新的大模型,涵盖基础大模型、任务大模型和行业大模型三级体系,其中就包括融合任务相关知识的千亿NLP大模型ERNIE 3.0 Zeus。
千亿规模参数的NLP基础大模型ERNIE 3.0 Zeus在学习海量数据和知识的基础上,进一步学习百余种不同形式的任务知识,增强模型效果;融合层次化提示的预训练,更好地建模不同任务的共性与特性;将不同任务组织成统一的自然语言形式,统一建模增强模型的泛化能力,其相较于其他NLP大模型,在各类NLP任务上表现出了更强的零样本和小样本学习能力。
近年来,百度AI技术加速落地,新兴的AIGC更是引人注目。AIGC是继 UGC、PGC之后新型利用AI技术自动生成内容的生产方式。百度研究院预测,2022年AIGC技术将借助大模型的跨模态综合技术能力,可以激发创意,提升内容多样性,降低制作成本,实现大规模应用。
本次度晓晓写高考作文,就是基于飞桨文心大模型实现的AIGC创作,文心大模型具备“知识增强”的核心特点,能从大规模知识和海量数据中进行融合学习,学习效率更高、效果更好,具有通用性好、泛化性强的特点。
除了智能写作,在文心大模型的支持下,AI已经具备很强的理解和生成能力,能够实现创意作品的自动生成,包括AI作画、AI写歌、AI剪辑等,未来,基于大模型的AIGC将会开放赋能到更多的内容生产领域。除了在智能创作上外,文心大模型也已经在工业、能源、教育、金融、通信、媒体等诸多行业得到应用。
预训练大模型使AI通用性增强
大模型是AI领域最重要的前沿技术方向,自2018年OpenAI推出1.1亿参数的GPT以后,谷歌、微软、Facebook等相继推出自己的预训练模型,2020年OpenAI再次推出1750亿参数的GPT-3,更是引发科研机构和企业在大模型研究的竞赛,大模型的参数规模逐渐增加。
2021年大模型层出不穷,1月,谷歌发布首个万亿级模型Switch Transformer;3月,北京智源研究院发布悟道1.0,6月发布悟道2.0,参数规模超过百亿;4月,华为云发布盘古大模型,这是业界首个千亿参数中文语言预训练模型;9月,浪潮发布参数量达2457亿的巨量模型“源1.0”;11月,英伟达与微软联合发布5300亿参数的“MT-NLG”;同在11月,阿里达摩院宣布其多模态大模型M6最新参数从万亿跃迁至10万亿,超过谷歌、微软此前发布的万亿级模型,成为全球最大的AI预训练模型。
预训练大模型其实是机器学习的一种方式,类比人的学习来看,人的学习可以分成通识教育和专业教育两段,预训练大模型相当于解决机器学习的通识教育。此前,机器学习主要通过标注数据,告诉算法哪个数据是正负样本等进行学习。由于人工智能落地场景很多,每个场景都要采数据、标数据,因此在标注的数量和质量上存在很大的瓶颈。
为解决以上问题,自然语言处理领域迎来了一个新的突破:自监督学习,指的是不用人为标注数据,机器可以用一个方法把知识和规律学出来。比如,在模型训练中,如果我们把“中国的首都是北京”这句话中的“北京”盖住,让模型去猜中国的首都是哪里,模型可能会猜一个城市,再把盖的地方翻开,告诉模型是对了还是错了,模型也就得到了反馈。
通过设计类似的学习方式,让模型可以在海量的数据当中进行自监督学习。这个机制的好处就是,它可以把天然存在的大量数据利用起来,打破一定要精标数据才能学习的瓶颈,大模型的出现,实际上是为了大幅度降低了行业应用的门槛。
还有一个特别容易理解的解释,预训练大模型是在一个原始任务上预先训练一个初始模型,然后在目标任务上使用该模型,针对目标任务的特性,对该初始模型进行精调,从而达到提高目标任务的目的。在本质上,这是一种迁移学习的方法,在自己的目标任务上使用别人训练好的模型。
整体而言,预训练大模型的兴起,使得人工智能的通用性进一步增强,大模型具有效果好、泛化性强、研发流程标准化程度高等特点,正在成为人工智能技术及应用的新基座。
最新内容
手机 |
相关内容
智能传感器助力打造数字经济数字世
智能传感器助力打造数字经济数字世界,数字,经济,传感器,助力,智能,及时发现,PCM1801U智能传感器是一种能够感知环境并将感知结果转FPGA学习笔记:逻辑单元的基本结构
FPGA学习笔记:逻辑单元的基本结构,结构,单元,逻辑运算,数字,信号,结构单元,FPGA(Field-Programmable Gate Array)是一种可编程逻辑器件Efuse是什么?聊聊芯片级的eFuse
Efuse是什么?聊聊芯片级的eFuse,状态,编码器,故障,加密,芯片,配置信息,Efuse是一种可编程的电子熔断器,用于在芯片级别实现非易失性存所有遥不可及,终因AI触手可及
所有遥不可及,终因AI触手可及,出行,平台,无人驾驶汽车,导致,人工智能,学习,人类历史上,有许多事物曾被认为是遥不可及的,然而随着科技黑芝麻智能助力亿咖通科技旗下首款
黑芝麻智能助力亿咖通科技旗下首款智能驾驶计算平台成功量产交付,智能驾驶,计算,助力,首款,交付,智能,近年来,智能驾驶技术逐渐成为硅谷:设计师利用生成式 AI 辅助芯片
硅谷:设计师利用生成式 AI 辅助芯片设计,芯片,生成式,硅谷,优化,修改,方法,在硅谷,设计师们正在利用生成式人工智能(AI)来辅助芯片设计阅流智作:一种全新的生成式AI视频制
阅流智作:一种全新的生成式AI视频制作方式,或将颠覆专业视频生产,生成式,全新,视频制作,数据,学习,用户,阅流智作是一种全新的生成式A应用在智能空调中的数字温度传感芯
应用在智能空调中的数字温度传感芯片,数字,芯片,温度,智能,数据,实时,数字温度传感芯片是一种用于测量环境温度的MAX3243CAI集成电