科技快讯 · 科技快讯-K

NVIDIA与AI基础设施产业链继续围绕“单位Token成本”展开竞争

来源:NVIDIA官方、MLCommons 标签:

TECHSIR NEWS FLASH

NVIDIA在9月15日至16日连续发布多项AI基础设施相关内容,从Vera Rubin系统性能到AI数据中心能源管理,均将重点放在吞吐、能源效率和单位Token成本。相比早期AI基础设施主要比较GPU数量,如今客户越来越关心每瓦电力可以产生多少Token、每个机柜可以服务多少用户,以及模型推理成本能否持续下降。这个变化意味着AI算力竞争正在从单芯片性能进入系统工程阶段,网络、软件、电力和散热的重要性同步上升。

评论交流