以致几百T几千Tops/Watt？在夙昔几年里深圳神秘顾客公司

发布日期：2024-01-15 09:10    点击次数：62

以下本色来自知乎AI先驱沙龙实录

神秘顾客公司_赛优市场调研

演讲东谈主：

清华大学电子工程系长聘汲引兼系主任 汪玉

至极庆幸，能够在这里共享我我方关于大模子这个行业目下的一些意识。当先说一下我，我是清华大学电子工程系的汲引，今天在座诸君可能作念算法和利用比拟多。但我是一位作念硬件、芯片和基础软件更多的学者，以及有过一定的创业资格，是以从我的角度来给大家去讲一讲我若何去看东谈主工智能，至极是这一波大模子的发展。

大模子这一次出来以后关于AIGC、自动驾驶、科学狡计，至极是我最感酷好的机器东谈主见解有着至极大的促进作用，当作电子系的系主任，每年9月份我皆会在更生的迎新行为上语言。在跟这200多名更生去分析将来从事行业的时代，其中有一个见解就会去讲机器东谈主这个方面。这几年的高考东谈主数还比拟多，竞争是比拟热烈的，因为当年是1800万的出身东谈主口，到了去年和去年简略是800万掌握的出身东谈主口。我每次问他们说，同学们你们看一看我本年40多岁了，为故国可以健康职责到50岁，以致更多，等我到了七八十岁，也便是30年以后谁来护理我是一个问题。阿谁时代东谈主不够了，2050年奉侍老东谈主的压力是很大的，因为咱们的GDP要发展，GDP等于什么？GDP=东谈主数×东谈主均GDP。目下中国经济发展的基本特征由高速增长转向高质地发展，那就提妙手均GDP，关联词若是东谈主口降了，光提妙手均GDP可能也赶不上，是以咱们如故要自便鼓舞机器东谈主这个行业。

咱们可以看见中国办事机器东谈主的产量如故在进一步升迁，天然目下如故完成一些相对浅近的任务，但如故开动深远千门万户。我以这个例如子，咱们可以看到在通用机器东谈主，包括东谈主形机器东谈主界限，一方面需要许多有野心算法，咱们可以看到景况空间束缚地增大，用更大的算力和更好的算法能够处置更复杂的问题。另外一个层面，感知的能力在束缚升级。可以看到咱们这几年包括像Google、特斯拉这样的企业，本质过程中皆是把感知、有野心和适度聚拢在一齐了，这是一个很大的系统。

在这样大的系统内部，要用端到端的大模子，在其中及时进行操作，这关于狡计量、反应速率、婉曲量皆有很高的条件，是以这一类利用场景就给咱们提议了“硬件若何样能够跟上软件的发展”，以致是“撑执软件的发展”的更高条件。

从我的角度来看，我以为主要有三个方面的挑战：

第一，天然这亦然面向中国大陆至极进犯的挑战，从2022年到2023年两次的法案对算力的终端、对芯片的终端。

第二，目下推理和包括测验的资本瑕瑜常高的，在座的诸君作念创业也好、大公司也好，皆会濒临这样的一个挑战。

第三，咱们中国其实是比拟独到的一类算法和芯片的生态，若何样能够去更好地鼓舞这样一个生态的发展，其实亦然目下边临的一个很进犯的挑战。

当先，芯片和算力。

芯片是我最了解的东西，从遐想、制造，到测试封装，终末造出来，这内部中国的产业链并不是完全自主可控的，有许多门径需要入口，比如说EDA的软件最大的几家皆是好意思国的，制造坐褥过程中的一些关节的材料、成立，其实中国皆还在奋勉追逐的过程中。

芯片的制造，包括刚才说了1017法案终端了咱们芯片算力的密度，中国正在盘问1Tops/Watt的遐想（便是每瓦能够提供1T次运算）。东谈主脑的功耗简略是20瓦，在有一些任务上咱们类比了一下则需要1000Tops/Watt这样的目的，那若何样通过芯片作念到Tops，以致几百T几千Tops/Watt？在夙昔几年里，狡计芯片从简略1G次Tops/Watt作念到了10Tops、以致100Tops，通过尺寸微缩的红利，竣事了多样万般的专用处理器。目下咱们开动柔柔作念近存储狡计和存内狡计，因为数据搬运比数据狡计更费电了，搬数（带宽）愈加复杂；再进一步，咱们也在看有莫得无须硅基芯片，无须微电子，而用光电子去作念的芯片，这是咱们所柔柔的一系列谋划见解。PPT右侧是讲机器东谈主界限，机器东谈主是异构的，这里咱们不张开。总的来说，咱们有多样万般的旅途，比如说通过遐想新的芯片架构，能够提高每瓦特的算力。

另外一个方面，其实大模子的发展需要很高的互联的带宽。从推导出的数据中，我但愿大家能够看到许多信息，比如说通讯量，阐述实验室表面狡计，GPT-3所需要的互联带宽是1380TB/s，一个英伟达的卡它自带的600GB/s互联带宽与这一需求之间的差距是很大的，这亦然为什么需要把许多许多块卡联在一齐，才能把这个模子测验出来。目下狡计性能的升迁比带宽的增速要大，目下在中国的互联利用场景里，若何样把机器连起来瑕瑜常辛勤的。

算力受限之后，比如测验GPT-4是用到2.4万张A100 GPU（当咱们入口的单卡能力受限了，而且咱们我方的芯片能力自身不如A100的话），那么我可能需要10万块算力卡才能完成这些狡计职责。但这10万块卡若何互联在一齐作念测验，这件事自身是对中国的AI系统能力提议的一个更高的、更难的需求，需要在系统层面进行冲破。

大家浅近算一下，哪怕每一个卡或者每一台机器出错的概率是万分之一，但连成十万次的出错概率，一定广宽于连成一万次。出错的概率如斯大，神秘顾客项目这是一个至极难的课题。

本届比赛采用赛会制，设U15组别，来自全国各省、区、市的32支队伍在江西省青少年体育后备人才训练基地展开角逐，领队、运动员、教练员和裁判员总人数近900人。比赛为期12天，分两阶段进行，第一阶段为小组赛；第二阶段，每小组前2名进入淘汰赛，直至决出1-8名。比赛还设置了足球未来之星奖、优秀教练员奖、优秀人才输送、优秀竞赛组织奖等奖项。除此之外，组委会安排了专业技术服务机构，使用StatsportsAPEX运动表现监测系统和PlayerMaker足球智能技战术分析系统采集比赛数据。

多特CEO瓦茨克在声明中表示：“我们一直在说，如果俱乐部在不是自己犯错的情况下遇到了无法克服的困难，我们将表现出团结一致。多特现正通过多项措施对社会产生重大影响。如果最终是为了缓冲新冠的财务影响，我们准备帮助其他职业足球俱乐部。”

其次，便是资本。

目下咱们也看到了许多厂商皆在作念我方的模子，不论是作念基础模子，如故训一个我方的垂类模子，资本皆瑕瑜常不友好的。是以我也很期待看一看张拳石憨厚（下一位演讲者），望望他们是若何在学校内部作念大模子的谋划的。同期咱们更需要跟工业界讨好，因为测验的资本如实是一个至极严肃的问题。

那么推答理好一些吗？咱们发现也不会。咱们看到一些数据：按不同模子的类型、用户数来算，算力用度=日活用户×平均token使用数×单元token算力用度，自建算力集群的情况下，每天的用度是690万。若是你要调用现存API来运营，用度会更高。是以若是GPT-4 Turbo每天办事10亿的活跃用户，每年算力资本是两千多个亿，诚然这个数今天不一定准确，关联词数目级在这。我坚信绝大大皆中国的公司，收入是在亿这个量级，详情不是在千亿这个量级，是以若何样去打平这个资本瑕瑜常难的一件事情。相同，关于一个个体来说，若是一个用户平均每天浏览10篇著述，一年的资本可能便是5000块钱，试想谁风物花5000块钱来使用这样一个单一功能？一定是不肯意的。

是以咱们在想考大模子的资本，举一些例子，比如《三体3》全书40万字，若是我用GPT-4 Turbo往复作念估算，一次就需要简略几十块东谈主民币。这个量级让我以为这件事情不是刚需，可能一块钱、一毛钱以致一分钱以下才是我可以秉承的。还有电商购物，我为了让大家买一个100块钱以内的东西，要花几十块钱劝他买或者帮他买吗？这是不成能的。资本是大模子推理将来必须要讨论的，裁汰资本才有但愿竣事大范围生意利用。

我是一个作念硬件的，我的角度去看，垂类模子一定是可以作念到更小的。不需要千亿级别参数，通过优化模子这一侧的大小，咱们可以通过裁汰每一次调用的狡计次数或存储的次数，进而裁汰处理器的功耗；此外，咱们会发现还有一些可能的措施，比如算法方面的优化、关于模子自身的算子的优化；来到云霄，咱们还可以作念错峰把闲置的算力用起来；以及我我方最擅长的芯片硬件层面，在端侧作念一类能够跑大模子的硬件，专用于大模子的高效狡计等。

通过这一整套从算法到芯片的协同优化职责，大家想一想若是资本能够裁汰4个数目级的话，从100块到1分钱级别，我坚信许多习以为常的事情就皆可以用大模子了。

终末，是生态。

当先芯片层，绝大大皆的东谈主会奏凯在英伟达上搭建环境，许多西方国度也很沉闷，也被英伟达生态卡着。是以有些东谈主试图解脱这种生态管束，比如Google要作念TPU，以更低的价钱来办事更多的用户，但它的用户目下还相对少。AMD最近发布了一款MI300，使股价一下子提高了许多，因为它有可能能够跟英伟达PK了。其次是模子层，有许多模子，这少量大家皆是一样的。然后中间层，在好意思国至少大家会分层去作念软件办事以及一些软件类的收费，是以在软件中间层，可以看到如故有一批企业在为这件事情奋勉，匡助这些模子公司把算力推崇到极致。

而在中国，模子层咱们有“百模大战”，芯片层是我比拟庄重的，有看到一些芯片厂商，有十家到二十家还可以的企业，正在奋勉冲破巨头的管束，也有一些初创企业正在融资。在模子层和芯片层之间，若何作念高效的部署，亦然一个至极进犯的话题。

咱们也在想考，是不是应该有一类相对妥洽的中间层，能够支执长文本、能够作念到更高的性价比、能够作念到一键部署，何况内部有一些器用可以援救算法和利用的开导商们。把算法压缩、算子优化包括自动编译完竣囊括在内，这样作念成的一类中间层，是有望把M个大模子和N个硬件更好地匹配起来的，这是一个联想，咱们作念联想的同期就得去找资金，一块来干这个事情。是以最近咱们也在奋勉地作念这样一个中间层，当作在云霄优化不同的中国的（天然也有英伟达和AMD）算力的第一步，以此来撑执更多不同的模子。

中国的大模子生态深圳神秘顾客公司，终末是需要利用、模子、算法框架开导平台和基础设施结伙起来作念的，今天我看了看日程，绝大部分不是盘问硬件的，是以把我硬件放在第一个，谢谢知乎举办了这样好一个行为，将大家集聚到一齐，去想考大模子应该若何走。

• 一直
• 几千
• 击败
• Tops
• Watt