谷歌推出第八代TPU！3倍性能、2倍带宽，搭配自研CPU
芯东西4月22日报道，刚刚，谷歌推出全新自研AI芯片——第八代定制TPU，分别是面向训练的TPU 8t和面向推理的TPU 8i。TPU 8t和TPU8i是与Google DeepMind合作设计的，旨在应对最苛刻的AI工作负载，大规模适应不断演进的模型架构，从训练大模型到协调智能体集群，再到管理最复杂的推理任务。
这是谷歌首次将训练芯片和推理芯片分开。
谷歌在博客文章中解释说，两款芯片都能运行各种工作负载，但专业化可以显著提高效率并获得收益。
TPU 8t擅长处理大规模、计算密集型的训练工作负载，以提供更大的计算吞吐量和更强的可扩展带宽，旨在将前沿模型开发周期从数月缩短至数周。
TPU 8i则拥有更高的内存带宽，专为对延迟最为敏感的推理工作负载而设计，旨在处理众多专业智能体复杂、协作、迭代的工作。
这两款芯片首次运行在谷歌自家基于Arm的Axion CPU主机上，这使谷歌能够优化整个系统，以提高性能和效率。
TPU 8t和TPU8i将于今年晚些时候正式上市，并可作为谷歌AI超级计算机的一部分使用。
谷歌打造出一个基于TPU 8t的系统，每个Pod的计算性能比上一代产品提升近3倍。
单个TPU 8t超级芯片组现已可扩展至9600张芯片和2PB共享高带宽内存，芯片间带宽是上一代的2倍。该架构可提供121ExaFlops的计算能力，并允许最复杂的模型利用单个海量内存池。 厉害，不但是面向AI的芯片，而且是细分的不同AI方向的芯片。
和技术推进相比，这是硬件。
所以，一个时代的形成和推进，确实是多个大企业、多个国家的合力才能形成的。
页:
[1]