不知不觉，又过去了两年时间。

    对于孟繁岐个人来说，这段时间他的进展并不顺利。

    AI技术速度放缓的原因是多方面的。

    首先，孟繁岐必须承认，在将前世的技术优势全部消耗殆尽之后，他已经再也无法继续维持持续了近十年的，那独一档的技术视野。

    “虽然早就做好了心理准备，却还是感觉有些失落和无奈啊...”深夜里，孟繁岐在办公室的躺椅上揉着自己紧锁的眉头。

    自重生以来，孟繁岐一直克制着自己，在诸多学者身边维持谦逊好学的姿态，万不敢忘自己短处所在。

    不过在GPT系列推动至极限之后，所面对的就不仅仅是算法和技术的问题了。

    “要说起来，老黄对公司的限制，比我水平下降对公司的限制还大！”孟繁岐为此感到焦躁。

    他虽然无法像此前一样做到步步不错，直指要害，却毕竟也与世界上最顶尖的群体常年接触学习。

    此外，还手握最为庞大的资金与计算设备资源。

    在此情况之下，想要做不出成绩，其实也是非常困难的。

    因为普通人要运行一年的实验，你使用千倍的算力，也就是半天的时间就可以计算完成了。

    早上吃着早饭实验跑起来，中午午休回来便已经可以看到结果。

    在这样的效率加持之下，即便孟繁岐如今判断错误的次数变多，也并不是什么要紧事。

    无非就是多做些实验，多消耗几倍的算力罢了。

    折算成金额，一年十来亿顶了天。

    对于早已财富自由的孟繁岐来说，只要钱能解决的事情都不是事。

    可问题就在于，老黄的计算设备研发，终究还是要时间的。

    不像孟繁岐，可以提前三五年往外发新的算法技术，黄仁勋的硬件技术那是真的催不来，只能一点点缓步推进。

    这番发展速度上的错位，导致孟繁岐如今有力无处施展。

    “如果能有后来的H100集群，我所需要的显卡数量可以减少至少8到10倍。”孟繁岐如今受到的一大限制，就是继续拓展算法边界所需要的显卡数量实在太多了。

    卡一多，它就容易出问题，和人一样。

    假设说一张卡训练三个月，百分之99.99的概率都是正常的。

    当这个数字来到2000，乃至10000的时候，这个概率则会惊人地降低为82%和百分之37%。

    也就是说，当你使用万卡集群的时候，想让每一张卡都能顺顺利利地把工作给完成了，这个可能性只有可怜的三分之一。

    而只要一张卡出现了问题，就势必会对整个集群产生影响，中止训练。

    为了避免这种一卡罢工，万卡围观的情况发生，孟繁岐投入了大量的资源和时间。

    可GPT4o，以及具有推理功能的o1之上，使用旧有办法继续提升性能的空间并不太大了。

    孟繁岐这边收效甚微，便给了追赶者们极大的机会。

    原本性能差了closeai许多的诸多大厂们，都在过去的这段时间里大大缩短了大模型性能之间的差距。

    “从根本上来看，硬件设备对我的限制其实远超软件算法。”孟繁岐此前一直认为自己失去先知优势后，无法继续软件上的突破将会是最大的问题。

    如今看来并非如此，随着与孟繁岐关系亲近的那个男人下台，拜老登政府限制英伟达的计算设备出口中国。

    这让一心想要走在算法技术最前沿倍感压力。

    虽然以他和老黄以及英伟达的关系，可以通过诸多方式绕开此禁令。可不论如何，这都称得上是巨大的困扰。

    倍感无奈的孟繁岐开始向内寻求算法突破，以期待能够降低自己对显卡设备的需求。

    可原本孟繁岐比较看好的两个技术方向，都没有取得预期的成功。

    其一，孟繁岐很早就意识到，早期深度学习模型大多依赖于FP32（32位浮点数）的高精度计算，虽然结果准确，但计算量和存储需求巨大。

    根据前世的经验，孟繁岐早早就推动了FP16（16位浮点数）训练和推理。这种格式可以节约一半的计算资源，虽然会稍稍影响模型的性能，但在针对性的优化下几乎可以忽略不计，这也是前世的主流训练模式。

    如今，被计算设备所限制的孟繁岐被迫探索准确度更差的FP8（8位浮点数）。

    前世的通识是，该模式计算效率极高，但精度损失更大，适用范围非常有限。

    往往是在训练完成之后，进行FP8的格式转换，以节约模型的推理使用成本。直接在训练的时候采用这种格式是从未被证实过的。

    为此，黄仁勋甚至在显卡的硬件设计上对FP8提供了一定的优化可支持，但半年的时间过去了，孟繁岐并没有看到自己预期的效果。

    另一方面上，孟繁岐同时在寻求“稀疏”这一概念。这一条技术路线开启得更早，(见368-369章)。毕竟他很早就知晓，随着AI技术的发展，两个超级大国之间势必会因为世界地位的争夺而脱钩。

    一旦形成对抗，硬件设备无疑将会被限制封锁。

    可若要孟繁岐从根本上助力中国的硬件发展......他却也没有那个本事。

    能做的，唯有投资点钱罢了。

    国内的芯片技术，显然不可能跳过几代的制程，直接赶上英伟达。

    换句话说，孟繁岐清楚国内硬件厂商所能提供的算力必然不如英伟达，这才提议了模型“稀疏”这一概念，以求节省资源。

    模型稀疏与神经网络一样，都是对大脑行为的模仿。

    从生物角度上说，大脑中的神经元连接并非全连接，而是高度稀疏的。每个神经元只与少数其他神经元相连，这种稀疏性使得大脑能够在低能耗下高效处理信息。

    这给了大脑极高的能量效率，大脑在极低的能耗下完成复杂任务，部分得益于其稀疏的连接方式。

    人体的总功耗才70-300w，其中大脑才仅仅只有15-30w。显卡动辄就300-500w，却完全无法与人脑的能力相比拟。

    孟繁岐认为这是对计算资源的极大浪费，也已经取得了一定的成果证明稀疏方向的概念，可以在不怎么影响性能的情况下成倍地减少计算消耗。

    但这件事情，却又被硬件的发展大大减缓了。

    传统硬件常年来仅仅只针对密集计算优化，难以高效处理稀疏数据。

    孟繁岐开发并证明技术的可行性，仅仅只用了两个多月的时间，可想要硬件良好支持，批量生产，不再等个一年，却是不大可能。

    正在这AI领域逐渐陷入沉寂，总是只有小修小补的时刻，DeepSeek-R1的发布像是巨石入水，掀起了巨浪。

    而令孟繁岐极为懊恼的事情是，DeepSeek取得巨大成功所依赖的技术方向，竟与他本人设想相差无几。

手机站全新改版升级地址：http://wap.xbiqugu.net，数据和书签与电脑站同步，无广告清新阅读！