10月31日发布的一份行业趋势报告给出了一个节点:国内人工智能推理数据量首次超过训练数据量。报告把这解读为AI从模型训练研发阶段,进入规模化产业应用阶段。
真正值得看的是成本结构。对单个模型来说,训练更接近一次性投入,模型训完,算力账单基本封顶;推理是随调用量走的持续开销,用户每多问一次,就多消耗一份电力和芯片时间。推理量压过训练量,算力需求的重心就从“建一次大集群”,转向持续、分散、贴近用户的算力供给。
产业链上有三个直接含义。数据中心会更靠近用户侧,以压低时延和传输成本。推理芯片看重显存带宽与能效,训练芯片看重互联带宽与算力密度,两者的竞争格局不会完全重合。云厂商的算力业务会更像运营生意,毛利随利用率波动。
需要打问号的是口径。报告没有公布具体数值和统计方法,“数据量”和“算力量”并不是同一个量;训练语料会在多轮迭代中反复使用,推理的token长度也参差,直接拿字节数或条数对比,容易高估这次切换的速度。方向可信,幅度还要等更细的披露。