首页 / 行业
文心一言即将问世,或将比ChatGPT更强!
2023-02-23 10:39:00
2月7日,百度官方公众号发布了一条极为简短的通告——《官宣:文心一言》。据了解,文心一言正是百度内部所研发的类ChatGPT聊天机器人,其英文名称则为ERNIE Bot。
据百度内部人员表示:文心一言由基于百度提出的知识增强大模型(Ernie)扩展而成的一系列高级大模型构成,可以执行广泛的任务,包括语言理解、语言生成(ERNIE 3.0 Titan)以及根据文本生成图像(ERNIE-ViLG)等。与其他语言模型相比,文心一言能够将广泛的知识与海量数据相结合,从而产生非凡的理解与生成能力。公司计划在3月完成文心一言的内部测试,然后向公众正式开放使用。
虽然对于文心一言的实际表现我们暂且不得而知,但通过百度此前所发布的名为《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》的论文,目前我们可以大致了解到一些有关其所应用的语言模型ERNIE 3.0 Titan的相关信息。
据论文显示:ERNIE 3.0 Titan是百度于PaddlePaddle平台上所训练的千亿参数模型,其中包含多达2600亿个参数(ChatGPT使用1750亿参数的GPT3.5模型)。此外,百度还设计了一个自我监督的对抗性损失和一个可控的语言建模损失,使ERNIE 3.0 Titan生成可信和可控的文本。
为了减少计算开销和碳排放,百度还为ERNIE 3.0 Titan提出了一个在线蒸馏框架,其中教师模型将同时教授学生和训练自己。ERNIE 3.0Titan是迄今为止最大的中国密集预训模型。相关实验结果表明,ERNIE 3.0 Titan在68个NLP数据集上的性能已优于现阶段最先进的语言模型,包括ChatGPT所应用的GPT3.5模型。
ERNIE 3.0 Titan模型架构图
据悉,目前文心一言已进入上线前的最接冲刺阶段,而相关消息的曝出,也使百度港股一度暴涨超17%,市值增长约700亿港元。据部分业内人士推测,百度文心一言项目或早在2022年9月便已启动研发,彼时百度CEO李彦宏在世界人工智能大会上就曾表示:无论在技术层面还是商业应用层面,人工智能都有了巨大的进展,有些甚至是方向性的改变。
考虑到目前由ChatGPT所带来的生成式AI的火爆,未来觊觎这一领域市场的国内企业,势必不止百度一家。就市场角度而言,目前类ChatGPT聊天机器人最明显的价值与落地场景,正是百度主营的搜索业务。如此看来,如果下一次科技革命真的爆发在该领域,那么百度无疑已拔得头筹。此外,不少业内人士认为,考虑到谷歌和微软的推进节奏,文心一言开放内测的进度还有可能继续提前。
审核编辑 :李倩
最新内容
手机 |
相关内容
光耦仿真器简介和优势
光耦仿真器简介和优势,仿真器,参数,接收器,设计方案,耦合,器件,光耦仿真器是一种用于模拟光耦合器件的工具,它可以帮助工程师在设计清华大学研发光电融合芯片,算力超商
清华大学研发光电融合芯片,算力超商用芯片三千余倍,芯片,研发,商用,测试,计算,科学研究,近日,清华大学发布了一项重要科研成果,他们成英伟达芯片开发过程引入聊天机器人
英伟达芯片开发过程引入聊天机器人,扩展更多AI应用,聊天机器人,扩展,芯片,英伟达,开发过程,调试,英伟达是一家全球领先的半导体公司,电源滤波器的设计原则和参数选择
电源滤波器的设计原则和参数选择,设计原则,参数,选择,滤波器,噪声,高频,AM26LV32CDR电源滤波器是用来净化电源信号的装置,能够阻止高可穿戴传感器能够实现准确的实时检
可穿戴传感器能够实现准确的实时检测,检测,实时,传感器,可穿戴,高精度,数据传输,可穿戴传感器(Wearable Sensors)是一种集成在人体上直播回顾 | 宽禁带半导体材料及功
直播回顾 | 宽禁带半导体材料及功率半导体器件测试,测试,性能测试,常见,参数,可靠性,器件,宽禁带半导体材料及功率半导体器件是现代探秘英伟达显卡的制造之路 | 英伟
探秘英伟达显卡的制造之路 | 英伟达断供GPU,中国大模型何去何从?,英伟达,模型,中国大,显卡,方案,能力,英伟达(NVIDIA)是全球领先的图形MTK天玑9300重磅发布:全大核时代到
MTK天玑9300重磅发布:全大核时代到来,330亿参数AI大模型装入手机,装入,模型,参数,时代,支持,处理器,近日,联发科技(MediaTek)正式发布了