谷歌要把Gemini架构刻进芯片,推理能效最高提升10倍

谷歌要把Gemini架构刻进芯片,推理能效最高提升10倍

谷歌被曝正在研发 Frozen v2 AI 推理芯片。它会把 Gemini 的部分架构直接固化进芯片,减少运行模型时的计算和数据搬运。

内部预计,它每瓦可处理的 Token 数将达到最新 TPU 的 6 至 10 倍。谷歌计划最早于 2028 年部署。

谷歌希望用它缓解算力短缺。缺口已迫使 Google Cloud 拒绝部分外部客户订单。

Frozen v2 将与 TPU 并行存在。TPU 可以运行不同模型,Frozen v2 则用灵活性换效率。

这也是一场架构押注。未来 Gemini 如果大改底层设计,这批芯片可能无法继续使用。(来源:动察 Beating)