UbuntuにChainerをInstallする（GTX1080）

DEEP LEARNINGの計算をする際、NVIDIAのGTX1080の威力は凄いとの噂で、今回ラボに導入することにしました。DEEP LEARNINGだけではなく、メダカの３Ｄアニメーションのレンダリングにも活躍するはずです。研究費を節約するためごく普通のマザーボード（Intel H97Express）にGTX1080という構成です。電源は８５０Ｗ、ＳＳＤは２５６Ｇｂ、メモリーは１６Ｇｂ確保しました。

インストールに苦労したので、ここに書き留めておきます。ネット上の沢山のサイトを参考にしました。感謝です。参考サイトはあまりにも多く、そして修正箇所多々でしたので引用は控えます。２０１６年の夏の時点でのインストールです。

準備
０）ディスプレイはGTX1080ではなく、ひとまずマザーボードのポートに差しておく。

OSのインストール
１）Ubuntu14.04LTS（６４ビット）をイメージＤＶＤからインストール（16.04LTSは非推奨）。
２）Ubuntuをアップデート。

Chainerが依存するライブラリーをインストール
３）以下はTerminalからのコマンド実行。
４）sudo apt-get install g++
５）sudo apt-get install python2.7
６）sudo apt-get install libhdf5-dev
７）sudo apt-get install python-dev
８）sudo apt-get install python-pip
９）sudo pip install -U setuptools
１０）sudo pip install -U cython
１１）sudo pip install -U filelock

以下１２）～２４）は最近は様変わりをしたようである。

最近（２０２０年春）にTitanRTX追加を導入したときは、

こちら。

https://doraemonkokoro.blogspot.com/2020/06/ubuntuchainerinstalltitanrtxcudadriver.html

<-これをやったら、２５）へ進むが、cudnnもバージョンは上がっておりますぞ。

GTX1080のドライバーをインストール
１２）リポジトリ登録
１３）sudo add-apt-repository ppa:graphics-drivers/ppa
１４）sudo apt-get update
１５）sudo apt-get install nvidia-370
この時点の最新版が３７０でした。
sudo apt-cache search 'nvidia-[0-9]+$'
で確かめることができます。
１６）おそらく途中で「BIOSのセキュアブートをオフにしますか」という指令がくるのでOKに。
１７）sudo reboot
１８）ここでマザーのビデオポートは使えなくなるので、ディスプレイをGTX1080に差し直す（使える場合もあります。使えるならマザーのビデオボードを使いましょう。現在本マシンはマザーのビデオボードでディスプレイを表示させていますので、GTX1080のメモリーは全部深層学習に使える状態になりました）。
１８）おそらくここで「BIOSのセキュアブートをオフにしますか」という指令がくるのでOKに。次回からは聞かれない。ちなみにセキュアブートのオフ状態はＯＳをクリーンインストールしても生きた状態が続くので注意。
１９）nvidia-smiで確認。テーブルが出てくればOK。ＧＰＵ番号と稼働状態が確認できる。

CUDAのインストール
２０）CUDA Toolkit8.0(RC)をnvidiaのサイトからWEBからダウンロード。ダウンロードするのは.debファイル。NVIDIAにアカウントを登録する必要がある。GTX1080の場合、現状ＲＣ版しか選択はない。
２１）sudo dpkg -i ###.deb
###.debはダウンロードしたファイルのディレクトリー。Terminalにそのまま投げ込めばＯＫ。
２２）sudo apt-get update
２３）sudo apt-get install cuda
２４）sudo apt-get install nvidia-370（２３でダウングレードされてしまうため。そのうちここは必要なくなる？）

もし修正パッチがあった場合は、
sudo dpkg -i ###.deb
でパッチをあてる。

cudnnのインストール
２５）NVIDIAからcudnn5.1をダウンロード（Library for Linux)。適当なところに解凍。
２６）解凍したフォルダーから所定の場所にファイルをコピー
sudo cp ###/lib* /usr/local/cuda/lib64/
sudo cp ###/cudnn.h /usr/local/cuda/include/
###は所定のディレクトリ－（Terminalにそのまま投げ込めばＯＫ）。行った先のファイルパーミッションは６４４に変更（sudo chmod 644 ###）。

パスを通す
２７）sudo vi ~/.bashrcで以下を一番下に付け加える。エディターviの使い方は各自勉強。
export CUDA_ROOT=/usr/local/cuda
export PATH=$PATH:/usr/local/cuda/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64:
export CPATH=$CPATH:/usr/local/cuda/include
export CUDA_INC_DIR=/usr/local/cuda/bin:$CUDA_INC_DIR

リブートしてパスをアクティブにする
２８）sudo reboot

パスを書き間違えているとターミナルからのコマンドがまったく通らなくなるので注意。もしすべてのコマンドが通らなくなったら、ターミナルから、
export PATH=/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/local/sbin

を実行してみる。

プロトコールバッファーを導入
２９）sudo pip install protobuf

chainerのインストール
３０）sudo pip install chainer
CUDAの位置などはchainerが自動で探し出してくれるので指定不要。

テストラン
３１）sudo apt-get install git
３２）sudo git clone https://github.com/pfnet/chainer.git
３３）ホームのchanierフォルダーのパーミッションは丸ごと７７７に設定。
３４）ホームのchainer/example/mnist内のtrain_mnist.pyを実行。
（ＣＰＵで計算。train_mnist.pyのとこはディレクトリーを）
python train_mnist.py
（ＧＰＵで計算）
python train_mnist.py --gpu=0
GPU番号はコマンドnvidia-smiで確かめることができる。普通は０になっている。
pythonのプログラム実行は、クセのようになっているsudo実行をやらないこと。
sudo vi ~/.bashrcで通したパスはログインユーザーにのみ有効。

結果
３５）ＣＰＵ計算すると数分かかる1 epochが、ＧＰＵ計算すると１秒ほどになりました。train_mnist.pyをデフォルト設定で実行すると（20 epoch）、ＣＰＵ計算で約２時間、ＧＰＵ計算で約２０秒です。DEEP LEARNINGにはＧＰＵ計算が必須なのは間違いありません。今後複数マシンでの分散計算へと時代は移行していくでしょうが、それはまだ試験段階のようです。

後日追記１
２０１７年２月２７日に新たなマシンが来たので再びセットアップ。インストールしていて気になったポイントは以下の通り。
A）１５）sudo apt-get install nvidia-370はnvidia-378になっていた。
B)それに伴う変更なのかBIOSのセキュアブートをオフにしますかという指令が来なかった（セキュアブートに対応した？）
C)CUDA Toolkit8.0(RC)はCUDA Toolkit8.0になっていた。にも関わらず、２４）のバージョン戻しは相変わらず必要。ひょっとしたらドライバーのインストールが省略できるのかもしれない。
D)python train_mnist.pyの実行でPlotReport関係のエラーが発生。それは以下でリポート済みの現象。
https://github.com/pfnet/chainer/pull/2277
古いtrain_mnist.pyファイルを動かしてみたら問題なく動いた。GPUもちゃんと動いた。

後日追記２
２０１６年９月にセットアップしたのはIntel H97ExpressのボードにCorei7 6700K/4core 4Ghzに１６Ｇｂメモリーという構成だった。メモリーは３２Ｇｂに増設はした。２０１７年２月にセットアップしたのはIntel H99ExpressのボードにCorei7 6800K/6core 3.4Ghzに３２Ｇｂメモリーという構成だった。使ってみると２０１６年版のほうが１．２倍くらい速い。同じGTX1080を積んでいても、古い方のマシンが速いという結果になった。

後日追記３
２０１７年６月１９日に新しいハードディスクにインストール。既存のChainerプログラムを走らせるとＣＵＰＹ関係のエラーがでた。知らない間にChainerがバージョン２に上がっていたので、たぶんこれが原因ということで、sudo pip install chainer==1.20.0.1で古いCHAINERをインストール。

後日追記４
別用途に買ってあったＧＴＸ１０７０を深層学習用に使えるようにした。既存のChainerプログラムを動かしてみたが十分実用に耐える実力を持っていた。十二分に速かった。

後日追記５
最近、深層学習専用機が売られています。自作ＰＣのと差は、１）一連の深層学習用のフレームワーク（ライブラリーやツール）がプレインストールされているか否か、２）ディスプレイ専用のＧＰＵが別に付属しているか否か、３）価格が高いか安いか、の３点だとおもいます。２）に関しては、ほんの若干計算のリソースに影響を与えるものと思いますが、大勢に影響なしだと思われますし、なんでしたら安価なグラフィックボード追加するのも一手です。１）のプレインストールは確かにありがたいですが、セットアップは数時間ですし、必要のないツールが入っていても無駄ですし、３）との兼ね合いかと思います。

後日追記６
Windows10とUbuntu14.04のデュアルブート（OMEN by HP Desktop 880）