На конференции Google Cloud Next были представлены новые Tensor Processor Unit (TPU) восьмого поколения с двумя архитектурами: TPU 8t (для обучения) и TPU 8i (для инференса). Этот шаг подчеркивает устаревание концепции «один GPU под все задачи». Разделение TPU на учебную и инференс архитектуры способствует более эффективному выполнению ресурсоемких задач в сфере ИИ.
Созданные в партнерстве с Google DeepMind, эти чипы обеспечивают почти в три раза более высокую производительность по сравнению с предшественниками. TPU 8t обладает 216 ГБ HBM3e и 128 МБ SRAM, а TPU 8i — 288 ГБ HBM3e и 384 МБ SRAM. Оба чипа поддерживают новые механизмы ускорения и имеют повышенную пропускную способность между чипами.
Кроме того, оба чипа могут масштабироваться до огромных кластеров, с TPU 8t, поддерживающим до миллиона чипов. 8i обещает на 80% более выгодное соотношение производительности и цены, чем предыдущие решения. Ожидается, что оба чипа поступят в продажу в конце этого года.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена