ChatGPT等大型模型的发展对GPGPU的性能要求如何？

在AZ431LANTR-E1硬件方面，国内GPGPU有自己的特点，甚至在某些领域比NVIDIA更有优势，在ChatGPT或相关大型模型方面也有优势。王平认为，近十年来，AI的再次崛起，以及今天ChatGPT的流行，以及未来AI产业的发展，如果没有GPGPU，就不太可能完成。

最近，在ChatGPT火了之后，国内互联网科技界不时传来计划或正在研究ChatGPT大模型的消息。

然而，在相关技术真正出现之前，OpenAI最近发布了新消息。该公司正式开放了ChatGPT的API接口，开发者可以将ChatGPT模型集成到他们的应用和产品中。这意味着ChatGPT将以更快的速度占领市场，因此国内公司应该在大型模型研究中提高效率。

国内在大模型发展中具备哪些条件？

在ChatGPT及其大型模型的发展中，中国有没有相应的标准？登陆科技创始人王平日前接受电子爱好者采访时，提到了以下几点:

他认为，中国在这方面有一定的要求。首先是数据，这是大型模型技术中非常重要的生产要素，在中国积累了一定的数据。其次是人才。中国在这方面有很多优秀的算法人才，在大模型层面有一定的知识基础和经验；此外，中国还有相当好的AI架构平台和具有完全自主开发关键技术能力的GPGPU制造商。总的来说，整套生产要素有一定的基础，但与OpenAI相比，成熟度还是有一定差异的。

具体而言，在AI架构层面，OpenAI能够发布如此强大的ChatGPT，它应该有自己特殊的框架。现在各种商业架构，包括国产飞桨paddlepaddle，以及Tensorflow或Pytorch，实际上更多地用于常规模型，而非大型模型调度。所以在ChatGPT类大型模型的发展中，仍然存在一些挑战，需要不断创新。

在人才层面，虽然中国目前有一些算法相关的人才，但总体来说还是供不应求。此外，算法工程师在大模型的练习中应该有丰富的经验积累。因为模型太大，中间涉及很多技术，短时间内烧钱是做不到的。

在硬件方面，国内GPGPU有自己的特点，甚至在某些领域比NVIDIA更有优势，在ChatGPT或相关大型模型方面也有优势。但总的来说，还是有差距的。我们应该不断创新和迭代，不断前进。

大型发展对GPGPU提出了什么要求？

随着ChatGPT的普及，我们可以清楚地看到，中国大型AI模型的发展可能会加快。这对中国的GPGPU意味着什么？随着大型模型的发展，GPGPU是不可避免的。对于大型模型，GPGPU相当于对车辆的发动机。王平认为，近十年来，AI的再次崛起，以及今天ChatGPT的流行，以及未来AI产业的发展，如果没有GPGPU，就不太可能完成。

由于每一个大模型的训练和部署背后，都有数以万计的GPGPU得到支持。显然，未来随着这一领域的发展和应用的兴起，GPGPU市场需求可能再次迎来爆发式增长。

以电力为例，我们可以清楚地看到这个市场未来可能发生的变化。几十年前，电力只用于一些小用量的场景。随着电力的提供越来越多，电器也越来越多，电力最终成为一种基本设备。可以说，计算率也在朝着基础设施的方向发展。在王平看来，GPGPU还远没有达到爆炸性需求的阶段。

当然，在ChatGPT或其他大型模型的训练和部署中，对GPGPU或计算率的要求也会更高。王平提到了几个方面：

首先从单卡层面来看，我们先来看一组数据。1月份，ChatGPT用户数突破1亿，日浏览量达到几千万。在这种情况下，它的运营成本会非常高，每天的电费会达到几十万人民币的数量级。这个时候，计算效率非常重要。如果计算架构比传统GPGPU更有优势，比如一些计算密度更高的产品在计算效率上更有优势。

其次，除了单卡，卡片之间的互联也很重要。毕竟在用户端工作其实是一个超级计算机系统。在训练过程中，带宽、片间和服务器之间的信息传递非常重要，这就需要在整个服务器集群的调度和协调工作中升级和升级大模型的练习架构。

再者，在软件层面，一般来说，在软硬件协同系统中，软件的重要性不容忽视，因为硬件通常无法充分发挥其能力，因为一些软件栈或软件协同调度的问题。因此，我们经常可以看到，在一些场景中，如果软件稍微优化一下，整体应用特性会有几十%甚至100%的提升。

从硬件公司的角度来看，GPGPU是一个通用平台，整个行业都有商品异构化的趋势。一般来说，GPGPU存在一些性能瓶颈。登陆科技是一家专注于芯片研发和技术创新的高性能通用计算平台的企业。登陆自主研发的GPU+架构，正式使用了软件定义的片内异构系统。目前，基于GPU+的第一个系列产品——Goldwasser已经在云至边缘的每一个应用领域完成了产业化。据王平介绍，登陆科技希望利用异构，从点到点，在一些足够大的市场。

带着这样的出发点，在大型语言模型层面，登陆科技将更加关注如何更好地提高产品的能效比。简单来说，在相同的功耗下，登陆科技可以提供1.5到2倍的计算率，在计算率相同的情况下，从计算的整体性能上实现英伟达同类产品的能效比3倍的优势。这样，上面提到的电费和运维成本就会大大节省。

总结

由此可见，以ChatGPT为代表的大语言模型的开发和应用对人们的生产活动极其重要。随着其技术和应用的逐步完善，其对GPGPU等计算率硬件的要求将继续提高，就像本文提到的电力发展路径一样。自然大模型对GPGPU和计算率集群系统也有更高的要求，比如更高效的计算，可以节省电费和运维成本。显然，对于硬件公司来说，谁能在这方面更有优势，谁就能在未来大模型落地的时候更有优势。

性能模型系统算法中国计算

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。