TensorFlowでGPUを使用した学習中にシステムが勝手に再起動する問題

TensorFlowをGPUで回すと落ちる原因として考えられるものは、以下の2点です。

2については、最近のTensorFlowコミュニティ²で議論されていたことです。多くの場合はドライバ側に問題があることが多かったのですが、電源ユニットの出力不足で落ちるということもどうやらあるようです。

ドライバの更新は、多くの場合トラブルの温床となりやすいです。nvidia側も、ドライバのアップデートで生じた問題にはあまり対応がよくありません。（特に、ゲーマーが不利益を被る場合を除いた場合、ドライバの修正がすぐになされることは期待できません）

そのため、1よりも先に、2が原因であることを疑った方がいいかもしれません。

1. nvidiaドライバの問題

nvidiaドライバのバージョンにより、システムがクラッシュしてしまうことがあります。

nividaドライバを最新にしてください。

電源の出力不足により、GPUに十分な電力が供給されずに、システムごとクラッシュしてしまうことがあります。

PSUをより出力の高いものに替えましょう。

nvidia-smiコマンドを用いて、GPU側で消費電力に上限を設定します。

例えば、本来250WであるTITAN Xにおいて、電力上限を150Wに制限したい場合は、以下のようなコマンドを実行します。

$ sudo nvidia-smi --power-limit=150

ただ、上限をどこに設定すれば正常に動作するかどうかは、機種によります。

また、電力上限を設けるということは、GPUの機能が制限され、本来のパフォーマンスを発揮することができないということになります。

基本的には、PSUをより高出力のものに替えることをおすすめします。