■AIサーバーでは何が熱を出しているのか
AIサーバーの熱源として最も注目されるのはGPUである。
しかしGPUだけが発熱しているわけではない。
サーバー内部には、
●GPU
●CPU
●HBM
●電源回路
●VRM
●ネットワークIC
●光通信部品
●SSD
●ファン
など、多くの発熱源がある。
つまりAIサーバーは、一つの巨大な熱源ではなく、
多数の熱源が狭い空間へ集まった装置である。
この違いは重要である。
GPUだけを十分冷却しても、電源部品やネットワーク部品が高温になれば、サーバー全体としては安定して動かない。
■GPUはなぜ大量の熱を出すのか
AIでは、大量の行列演算を繰り返す。
そのためGPU内部では膨大な数の演算処理が行われる。
処理量が増えれば、消費電力も増える。
電力を使えば、熱が発生する。
さらに半導体が高性能化すると、
より小さな面積に、より多くの回路が集積される。
その結果、
単純な発熱量だけではなく、発熱密度が高くなる。
ここがAI半導体冷却の大きな難しさである。
■発熱量と発熱密度は違う
例えば同じ500Wの熱でも、
大きな金属板全体から500W発生する場合と、
小さな半導体チップから500W発生する場合では、冷却の難しさは大きく違う。
小さな面積へ熱が集中すると、局所的に温度が高くなる。
この熱を短時間で、
●TIM
●ヒートスプレッダー
●ベイパーチャンバー
●コールドプレート
などへ移す必要がある。
つまりAIサーバーの熱問題では、
何W発生しているか だけではなく、
何mm²からその熱が出ているか を見る必要がある。
■HBMも熱問題の一部になる
AI半導体では、GPUだけでなく、HBMが重要になる。
AI演算では、大量のデータをGPUへ高速に供給する必要がある。
そのためGPUの近くにHBMを配置する。
これは性能には有利である。
しかし熱の面では、大きな熱源の近くに、別の熱源を置くことになる。
GPUの熱。
HBMの熱。
周辺回路の熱。
これらが狭いパッケージ内で相互に影響する。
つまりAI半導体では、
一個のチップを冷やす
という考え方から、
パッケージ全体の温度分布を管理する
考え方へ変わっている。
■平均温度よりホットスポットが問題になる
AI半導体では、チップ全体が均一に発熱するとは限らない。
特定の演算ユニットへ負荷が集中する。
メモリアクセスが集中する。
電源回路に負荷がかかる。
すると、ホットスポットが発生する。
例えばチップ全体の平均温度が許容範囲でも、一部分だけ非常に高温になる可能性がある。
この局所高温が、
●動作周波数低下
●信頼性低下
●材料劣化
●接合部劣化 につながる。
つまりAIサーバーでは、平均で冷えているだけでは不十分である。
一番熱い場所をどう冷やすかが重要になる。
■高温になると性能を落として自分を守る
半導体は、温度が上がりすぎると故障を防ぐため、性能を下げる制御を行う場合がある。
クロックを下げる。
電力を抑える。
処理速度を落とす。
つまり、
冷却不足が演算性能そのものを制限する。
高性能GPUを搭載していても、熱を処理できなければ、その性能を使い続けることができない。
ここから、冷却能力は計算能力の一部という考え方が生まれる。
■AIサーバーの熱経路
AIサーバーの熱問題を理解するには、
熱がどこからどこへ移動するかを見る必要がある。
例えばGPUの場合、
GPU内部
↓
パッケージ
↓
TIM
↓
ヒートスプレッダー
↓
TIM
↓
ヒートシンクまたはコールドプレート
↓
空気または冷却液
↓
データセンター外部
という長い熱経路がある。
どこか一か所でも熱抵抗が大きければ、そこが冷却性能のボトルネックになる。
■最も高性能な冷却装置でも、熱が届かなければ意味がない
例えば非常に高性能な液冷コールドプレートを使ったとする。
冷却液温度も十分低い。
流量も十分ある。
しかしGPUとコールドプレートの間のTIMが浮いている。
気泡がある。
圧力が足りない。
すると、
コールドプレートまで熱が届かない。
つまり液冷設備としては余力があるのに、GPUだけ高温になる。
AIサーバーでは、こうした界面の問題が非常に重要になる。
■TIMはAIサーバーの小さな重要部品
TIMは非常に薄い。
冷却装置全体から見れば、目立たない部材である。
しかし役割は大きい。
半導体やヒートスプレッダーの表面は、一見平らでも微細な凹凸を持つ。
固体同士をそのまま接触させると、その間には微小な空気層が残る。
TIMは、その空間を埋め、実際の接触面積を増やすために使われる。
AI半導体では発熱密度が高いため、
TIMの、
●熱抵抗
●厚み
●圧縮率
●平面追従性
●長期安定性 が重要になる。
■TIMは高熱伝導率だけで選べない
熱伝導率の高いTIMを使えば冷える。
そう単純ではない。
実際には、
●厚すぎる
●硬すぎて表面へ追従しない
●組立圧力が不足する
●気泡が入る
●ポンプアウトする
●長期使用で状態が変わる
などが起こる可能性がある。
つまりTIMは、材料スペックだけでなく、
実際に組み込まれた状態で評価する必要がある。
■AIサーバーでも0.1mmの浮きが問題になる
冷却部材が大型化しても、熱源との接触は狭い界面で行われる。
TIM。
絶縁材。
粘着材。
この間に0.1mmの浮きができれば、そこへ空気が入る。
空気層によって局所的な熱抵抗が大きくなる。
その結果、
数十cmある冷却装置の性能を、0.1mmの隙間が壊す
可能性がある。
これが、熱の最後の1mmが重要になる理由である。
■グラファイトで熱を横へ広げる
AI半導体では、熱を上方向へ逃がすだけでなく、横方向へ広げる考え方も重要になる。
グラファイトは、面方向に高い熱伝導性を持つ。
局所的な熱を、
●周辺の金属部材
●筐体
●冷却部材
へ広げる用途に使える。
例えば、
GPU周辺の局所熱
↓
グラファイト
→→→ 周辺へ拡散
という考え方である。
ただし、熱を広げた先に排熱先がなければ意味はない。
■銅やアルミも熱拡散に使われる
銅やアルミは、AIサーバーの熱対策で重要な材料である。
特に銅は高い熱伝導性を持ち、
●ヒートスプレッダー
●ヒートシンク
●金属箔
●コールドプレート などで使われる。
一方、金属は電気も通す。
そのため、
熱は通したいが、電気は通したくない部分では、絶縁設計が必要になる。
■AIサーバーでは絶縁と放熱が同時に必要になる
高電力を扱うAIサーバーでは、
●GPU
●VRM
●電源回路
●金属冷却部材 が近接する。
そのため、
熱伝導。
絶縁。
固定。
を同時に成立させる必要がある。
例えば、
熱源
↓
絶縁性TIM
↓
金属部材 という構造が考えられる。
しかし絶縁層を厚くすれば、熱抵抗が増える場合がある。
薄くすれば、絶縁信頼性に余裕がなくなる。
つまりAIサーバーでは、放熱性能と絶縁性能の両立が重要になる。
■空冷では大量の空気が必要になる
従来のサーバーでは、ファンによる空冷が中心であった。
AIサーバーでも空冷は重要である。
しかし発熱量が増えると、
●ファン回転数を上げる
●ファンを増やす
●ヒートシンクを大型化する
●空気流路を広げる
必要がある。
その結果、
●消費電力
●騒音
●サイズ
●保守
の負担が増える。
つまりAIサーバーの高密度化が進むほど、空冷だけで成立させるための代償が大きくなる。
■液冷がAIサーバーで重要になる理由
そこで液冷が重要になる。
液体は空気より多くの熱を運びやすい。
さらにコールドプレートをGPUの近くへ配置すれば、
熱源の近くで熱を回収できる。
代表的な構造は、
GPU
↓
TIM
↓
コールドプレート
↓
冷却液 である。
高発熱・高密度というAIサーバーの特徴と、液冷は相性がよい。
■液冷になると新しい部材課題が増える
液冷にすればすべて解決するわけではない。
新しく、
●シール
●ガスケット
●絶縁
●漏液
●腐食
●配管
●冷却液適合性
という課題が生まれる。
つまりAIサーバーの液冷化は、熱対策部材市場をなくすのではない。
むしろ、熱伝導材＋絶縁材＋シール材 という複合部材の重要性を高める可能性がある。
■液冷ではシール部材が重要になる
コールドプレート。
配管。
継手。
これらには液体を漏らさない構造が必要になる。
シール材やガスケットが、
●ずれる
●厚みが違う
●異物をかむ
●圧縮不足になる
と、漏液リスクが高まる。
つまり液冷AIサーバーでは、
熱を通す精度だけでなく、液体を止める精度も重要になる。
■ベイパーチャンバーも重要になる
ベイパーチャンバーは、局所的な熱を広い面積へ広げる。
AI半導体のような小さく高発熱な熱源では、
熱源
↓
TIM
↓
ベイパーチャンバー
↓
ヒートシンク
とすることで、冷却面積を有効活用できる。
つまりAIサーバーの熱問題では、
●TIMで熱を受ける
●ベイパーチャンバーで広げる
●空冷または液冷で捨てる
という複数の技術が組み合わされる。
■3D実装がAIサーバーの熱問題をさらに難しくする
AI半導体では、HBMやチップレットなどの高密度実装が進む。
将来的に3D実装がさらに進めば、熱源が内部へ入る。
外側の冷却装置が高性能でも、内部から表面まで熱を取り出せなければ冷却できない。
そのため、
●薄型TIM
●熱拡散材
●高熱伝導層
●微細な絶縁材 などが重要になる。
■まとめ
ここまで見てきたように、AIサーバーの熱問題は、GPUという一つの半導体だけの話ではない。
発熱量だけでなく発熱密度が高いこと。
HBMなどの高発熱部品が近接配置されること。
平均温度ではなく、内部のホットスポットが性能を左右すること。
これらが、AI半導体特有の難しさを作っている。
そして、その熱を外へ出すためには、TIMで受け、グラファインや金属で広げ、必要に応じてベイパーチャンバーや液冷で運ぶという、複数の技術を組み合わせた熱経路が必要になる。
どれほど高性能な冷却装置を用意しても、TIMがわずかに浮いているだけで、熱はその手前で止まってしまう。
さらに3D実装が進めば、熱源そのものがパッケージの内部へ入り込み、外側の冷却装置だけでは対処しきれなくなる可能性がある。
後編では、GPU以外にも存在する多くの発熱源、データセンター全体のエネルギー問題、そして何万個という規模でこの熱経路を再現し続けるための量産・自動化の課題を見た上で、OTISがこの領域でどのような役割を担っているのかを述べる。
コラム監修：角本 康司 (オーティス株式会社)
語学留学や商社での企画開発を経て2011年にオーティス株式会社入社。経営企画部を中心に製造・技術部門も兼任し、2018年より代表取締役として事業成長と組織強化に努めている。
※本記事は教育・啓発を目的とした一般的な技術解説であり、特定企業・製品・技術を示すものではありません
