Во время мероприятия Cloud Next 2023 компания Google объявила о доступности своего новейшего чипа искусственного интеллекта TPUv5e (TPUv5 lite).
Забавно, но для OpenAI имеет экономический смысл использовать Google Cloud с TPUv5e для вывода некоторых моделей, а не A100 и H100 через Microsoft Azure.
TPUv5 и младший брат TPUv5e явно не предназначены для достижения максимальной производительности за счет всего остального. У них обоих значительно меньше энергопотребление, пропускная способность памяти и FLOPS, чем у Nvidia H100. Это сознательное решение Google, а не просто показатель худшего дизайна чипа.
Google позволяет арендовать от 1 до 256 TPUv5e с линейным масштабированием затрат по мере добавления чипов.
UM v3.01 Деньги на диване, и нейронные сети совсем чуть чуть …