グーグルの液体冷却システム

うーん…でも、チップが直列の場合、最後のチップからの熱伝達は並列の場合よりも少なくなるよね。なぜなら、加熱の速度は温度差に比例するから。並列の場合、最後の理論上のチップのために水は低い温度から始まるし。

つまり、シリーズ接続だと、一番熱いチップを冷やすために他のチップが過剰に冷やされるってことだね。同じ効果を得るためには、もっと水を流さなきゃいけない。

君のコメントには一理あるけど、実際のエンジニアリングにはあまり関係ないね。エネルギーの移動速度は温度差に比例するから、必要な流量を計算することになるけど、チップがシリーズ接続か並列接続かでその流量は変わってくる。

ハイパースケールデータセンターは通常、電力密度を気にする必要がなくて、設計者はそれが引き起こす問題から密度を避けることがあるんだ。密度を気にしている現代のHPCクラスターは、たぶん誤った方向に進んでいると言えるけど、MLワークロードに関しては、物理的に近くに配置することで相互接続性の面での利点が出てくるんだよね。

記事から: > 液体冷却はPC愛好者にとって馴染みのある概念で、企業コンピューティングでも長い歴史があるんだ。そして、データセンターのトレンドは、個々のサーバーでより受動的な冷却と高温動作に移行することだった。これは面白いことに、そのトレンドを大きく逆転させているし、おそらくは行ごとの冷却のためだね。

Googleの歴史を考えると、安価なコモディティハードウェアから来てるから、あまり驚かないよね。x86サーバーやOSが仮想化みたいなメインフレーム機能を得るのに数十年かかったのと似てる。https://blog.codinghorror.com/building-a-computer-the-google...

[bri3dが指摘してくれたけど、俺がこの要素を見逃してたんだ。ラックレベルとマシンレベルの冷却液の間に転送があって、最初に理解してたほど新しいことじゃないってこと。彼らの直接のコメントを見てみてね] これについては、返信の中でさらに詳しく書いたけど、もう少し上の方で言っておくべきだね：ここでの革新は「冷却に水を使ってる」ってことじゃない。ここでの革新は、施設の外にあるチラーでサーバーを直接冷却してるってことなんだ。ほとんどのメインフレームは、コアから熱を取り出して、従来のヒートシンクや冷却ファンで拾えるエッジに運ぶために水冷を使う。家庭用PCでも、熱をより効果的に冷却できる貯水槽に移動させてる。Googleがやってるのは、通常は施設内の空気を冷却するために使う巨大なチラーを使って、水を冷却して、それを直接すべてのサーバーにポンプで送ってるんだ。戻ってきた水はチラータワーで冷却される。これでチラータワー以外の空気ベースの転送が完全に排除される。これはサーバーやラック単位でやってるんじゃなくて、データセンター全体で一度にやってるんだ。チラーのメンテナンスやポンプの故障をどう扱ってるのかめっちゃ気になる。冗長性はあると思うけど、そのシステムはすごく印象的じゃないとダメだよね。ハードウェアの故障が起きる前に長時間オフラインにはできないから！ [編集：別のコメントで指摘されたけど、AWSもこれをやってるみたいで、正直彼らの写真を見ると何が起こってるのかがすごくわかりやすいよね： https://www.aboutamazon.com/news/aws/aws-liquid-cooling-data...]

これがGoogleの典型的なやり方だね。彼らは物事を再発明して、自分たちが最初だって言うんだ。Googleはコストに敏感だから、こういう問題に対する解決策は他にもあるかもしれないけど、彼らはそれにお金を払いたくないんだ。彼らの規模では、物事を再発明して内部でやる方が安上がりで、そして最初だと主張するんだよね。

CDUはデータセンター内にあって、厳密に液体同士の交換を行っている。ラックブロックの冷却液から施設の冷却液に熱を移すんだ。施設はその後、屋外の熱交換を行うために、時にはオープンループの蒸発冷却（冷却塔に水を噴霧する）を使うこともある。すべてのデータセンターには何らかの形の施設冷却があって、CDUやローカル水冷があってもなくても、特に関係ないんだ。AIと水の話はちょっと疲れるよね。水は水循環の中で効率的な部分や場所に移動するだけだから。もし水に関連する外部要因を正確に価格に反映できるなら、「総稼働エネルギー消費」の指標の方がずっと役立つと思う。データセンターが水を蒸発させるために大量のエネルギーを使っているのか、それとも大したことないのか、っていうのが重要だよね。結局、これは水の市場がどれだけ非効率的で不正確に価格設定されているかを示しているだけなんだ。特にアメリカでは、水の権利や価格、特定の場所での水の実際の利用がしばしば驚くほど相関していないから。