我们擅长商业策略与用户体验的完美结合。
欢迎浏览我们的案例。
对此，《科创板日报》记者询问百度、腾讯和阿里巴巴方面，均未有回应。
不过，阿里巴巴集团董事会主席兼 CEO 张勇在财报沟通会上坦言，GPU 在中国市场供应确实紧缺。“新一代人工智能发展带来的模型训练和推理场景，对 AI 云服务的需求非常旺盛，但是由于短期内 GPU 在中国市场供应的紧缺，使得这样的需求只得到了部分满足，AI 相关服务所带来的增量机会刚刚开始得到释放。”
有大模型创业公司高层向《科创板日报》透露，”相比 5 月份英伟达芯片上涨了百分之小几十，A100 和 H100 都已经买不到了。”
一家算力服务平台的相关人员告诉《科创板日报》记者，当前算力资源较为紧缺，有几百家企业都在排队。
未来推理算力需求或远高于训练算力
随着 AI 大模型加速在实际场景落地，算力需求也随之激增。
以 AI 应用“妙鸭相机”为例，其上线不到一个月，算力需求暴涨数百倍。据相关负责人透露，“妙鸭相机”已在阿里云上进行紧急扩容，应对暴涨数百倍的算力需求。虽然算力一边加，但另一边用户也在涨，但高峰期排队现象已经有了缓解。
“此前，大家对大模型训练需要的算力关注较多，尤其是 GPT 类的模型训练，动辄需要上万张显卡。”某资深人士分析，随着 Llama2 等开源大模型的流行，大模型应用推理端的算力需求更值得关注。随着各个行业的 AIGC 开发逐步完成，对业务开展阶段使用的推理算力需求开始大幅增长，未来几个月推理的算力需求总量可能远高于训练算力。
优刻得董事长兼 CEO 季昕华认为，未来对 GPU 的需求会继续增长。“国产大模型的玩家越来越多，算力需求越来越高涨，同时大模型训练的数量、数据和参数越来越大，也导致需求越来越多。其中，对推理算力的需求会更大。
“这是因为推理和用户数直接相关。目前，优刻得用于客户训练的 GPU 和推理的 GPU 的比例大概在3:7。假设三万张卡做训练的话，对应到七万张卡做推理，这也是为何 ChatGPT 会限制大家使用和注册，就是因为推理(的卡)不够。” 季昕华说，“如今受限于整个供应链，全球缺货。虽然我们能买，但是到货时间会很难。此外，也受限于整个美国的政策，对 A100 和 H100 有限制。”
国产芯片相比英伟达仍有差距
当下，已有不少国内企业入局 AI 芯片，包括华为昇腾、寒武纪、天数智芯、燧原科技、沐曦科技、壁仞科技等。
“国内真正已经参与大模型训练的厂商，主要是华为昇腾、寒武纪。”一位 AI 专家指出。“其他初创企业的痛点，主要是生态上不够成熟，但在细分领域可以落地，比如，燧原科技在某些领域的加速表现不错。”
另有大模型创业者对《科创板日报》记者表示，目前已经与昇腾、燧原等国产芯片进行适配。“虽然距离英伟达高端芯片还需要加油，华为昇腾在国产芯片中已经很优秀了。”
一位相关芯片技术人员则向记者强调，昇腾芯片在某些深度学习的特定场景上性能已经赶上英伟达。
天数智芯相关负责人则对记者表示，其产品已成功支撑大模型训练、推理，取得一定程度的突破。此外，在数据中心、能源、教育以及医疗等方面都有订单，整体销售额已经突破 5 亿。
“国产芯片和英伟达的差距主要在于生态和通信性能。”季昕华指出，“现在大部分的人工智能方案都是基于英伟达的 CUDA 平台，国产芯片需要兼容 CUDA 架构，对生态要求还是比较高的。其次，在整个通信的性能上仍有挑战，推理今年能够实现使用，但训练方面还需要一点时间。不过进步非常快。我们现在也积极地与国产 GPU 对接，能让他们用起来。”
（邯郸小程序）
