Google анонсувала запуск своєї нової великої мовної моделі Gemini. Для навчання та запуску Gemini Google використала свої нові чіпи TPU v5p.

Кластер на базі нових TPU складається з 8960 чипів v5p і оснащений найшвидшим інтерконнектом Google - швидкість передачі може досягати 4800 Гбіт/с на одному чипі.

Cloud TPU v5p оснащений 95 ГБ пам’яті HBM3 з пропускною здатністю 2765 Гбайт/с.

За словами Google, нові прискорювачі TPU v5p здатні навчати великі мовні моделі, наприклад GPT-3 зі 175 млрд параметрів, у 2,8 рази швидше, ніж TPU v4, і при цьому з меншими витратами енергії.

Google DeepMind та Google Research вже використовують нові чіпи TPU v5p для своїх досліджень та інженерних робіт на передових моделях, таких як Gemini.

Другие интереcные современные новости: