redclay

注册日期:2022-02-08
访问总量:19957次

menu网络日志正文menu

AI Token 越来越便宜,为何 GPU 却越来越抢手?


发表时间:+-

AI 的使用成本正在快速下降,但支撑 AI 的硬件却越来越紧缺。 这篇文章围绕这一看似矛盾的现象展开分析,解释为什么越来越便宜的 AI Token,并没有降低市场对 GPU、服务器内存和 AI 基础设施的需求,反而进一步推动了整个硬件产业的发展。近年来,大语言模型不断优化,模型压缩、蒸馏(Distillation)、量化(Quantization)、Mixture of Experts(MoE)以及更高效的推理框架,使每百万 Token 的成本持续下降,企业和个人能够以更低的价格部署和使用 AI 服务。然而,成本下降并没有让数据中心减少投资,反而因为 AI 应用变得更加普及,企业开始在客服、办公自动化、软件开发、医疗、金融、教育以及科学研究等更多场景部署 AI,整体计算需求呈指数级增长。

文章进一步引用经济学中的 Jevons Paradox(杰文斯悖论) 来解释这一趋势:当一种资源的使用效率提高、成本降低时,人们往往不会减少使用,而是会因为价格更低而扩大使用规模,最终使资源的总需求进一步增加。AI Token 正在经历类似的发展过程。随着推理成本不断下降,越来越多应用开始调用 AI 模型,每天产生的 Token 数量远高于过去,因此云服务商、AI 公司和超大规模数据中心(Hyperscalers)仍需要持续采购更多 GPU、HBM、高带宽 DDR5 Server RAM、高速网络以及存储系统,以满足不断增长的推理和训练需求。文章也指出,这正是为什么 NVIDIA、AMD 等 AI GPU,以及企业级服务器内存长期维持强劲需求,即使 AI 服务价格不断下降,硬件市场依然保持高度活跃。

对于关注 AI、数据中心和半导体产业的读者来说,这篇文章不仅解释了「为什么 AI 越便宜,GPU 却越难买」这一市场现象,也帮助理解未来几年 AI 基础设施的发展方向,以及软件经济与硬件经济之间相互促进的关系。如果想深入了解 AI Token 成本下降、AI 芯片供需变化,以及它们如何共同推动新一轮数据中心投资,欢迎阅读原文

随着越来越多企业升级 AI 服务器和计算平台,旧一代 GPU、服务器内存及相关硬件也将陆续进入更新周期。对于拥有 NVIDIA、AMD 企业级显卡或 AI 加速卡的企业和数据中心,可以通过 sell GPU in bulk 页面出售闲置 GPU;如果需要处理 DDR4、DDR5、ECC Registered DIMM、LRDIMM 等企业级内存,则可访问 Sell RAM in bulk 页面获取专业报价,在升级新平台的同时,充分释放现有 IT 资产价值,并推动硬件循环利用与可持续发展。


浏览(72)
thumb_up(0)
评论(0)
  • 当前共有0条评论