UBUNTU 20.041lts & CUDA & NVIDIA driverに関する備忘録

 基本はこれ。

https://doraemonkokoro.blogspot.com/2016/

今回はコレ。ただし、これは上とは違ってchainer用ではありません。pytorch用です。下記環境ではchainerはすでに動かないと思われます。

sudo apt install python3

sudo apt install python3-pip

sudo pip3 install -U setuptools

sudo pip3 install -U cython

sudo pip3 install -U filelock

https://developer.nvidia.com/cuda-toolkit

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin

sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600

wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda-repo-ubuntu2004-11-1-local_11.1.0-455.23.05-1_amd64.deb

sudo dpkg -i cuda-repo-ubuntu2004-11-1-local_11.1.0-455.23.05-1_amd64.deb

sudo apt-key add /var/cuda-repo-ubuntu2004-11-1-local/7fa2af80.pub

sudo apt-get update

sudo apt-get -y install cuda

sudo reboot

https://medium.com/analytics-vidhya/installing-tensorflow-with-cuda-cudnn-gpu-support-on-ubuntu-20-04-f6f67745750a

cd ###

sudo cp -P cuda/lib64/* /usr/local/cuda/lib64/

sudo cp cuda/include/* /usr/local/cuda/include/

sudo chmod 644 /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

sudo vi ~/.bashrcで以下を一番下に付け加える。copy & paste

export CUDA_ROOT=/usr/local/cuda

export PATH=$PATH:/usr/local/cuda/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64:

export CPATH=$CPATH:/usr/local/cuda/include

export CUDA_INC_DIR=/usr/local/cuda/bin:$CUDA_INC_DIR

sudo reboot

sudo apt-get install git

Ubuntuでログインループの対処法

だいたい下記で治るようです。

https://qiita.com/musaprg/items/58d9dee4ef70e3882a9d

つまりNvidiaのドライバーが変ということ。

症状としてはログイン画面が荒い解像度になっているはず。

しかし、

適切なバージョンをインストールしようとしても、

すでに適切なバージョンだったりします。

わたしの場合、４４０が必要で、すでに４４０が入っていた状態です。

そんなときは、

sudo apt install --reinstall nvidia-xxx

です。

GUIログイン画面上で、Ctrl + Alt + F1を押して仮想コンソールに入って、

sudo apt install --reinstall nvidia-440

＆

sudo reboot

で無事に復帰しました。

UbuntuにChainerをInstallする（TitanRTX）cudaとdriver

基本的には下記の記事通りです。

https://doraemonkokoro.blogspot.com/2016/09/ubuntuchainerinstallgtx1080_5.html

しかし今はＣＵＤＡとドライバーのコンビネーションが決まっているようで、

上のようにドライバーをインストール、ＣＵＤＡをインストール、という具合に順々にやると失敗します。

というわけで、ＣＵＤＡだけを導入します。

以前と違ってドライバーは勝手にインストールされます。

ここへ行きＣＵＤＡをインストールします。

https://developer.nvidia.com/cuda-toolkit

ボタンをポチポチ押してこんな感じに選択すると、

Installation Instructions:というテキストがでてきます。

灰色の中のテキストを忠実に実行してください。

sudo reboot

リブートして、nvidia-smiを実行して、

それなりのテーブルがでてきたらＯＫです。

UBUNTUでのPython2とPython3の共存と切り替えはpyenv

Python2とPython3の切り替えです。

pyenvが便利です。

gitを導入してないときは、

$ sudo apt-get install git

から。

ついでに、

$ git config --global user.name ######

$ git config --global user.email ######

も。

pyenvの導入

$ git clone https://github.com/pyenv/pyenv.git ~/.pyenv

pathを通す

$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc

$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc

$ echo 'eval "$(pyenv init -)"' >> ~/.bashrc

$ source ~/.bashrc

以下のようなpathを通しているひともいたけど

$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile

$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile

$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile

$ source ~/.bash_profile

ターミナルを起動するたびに

$ source ~/.bash_profile

をやることになったので上のほうにした。

ubuntu 16.04LTSには足らないパーツがあったので

$ sudo apt-get install zlib1g-dev

$ sudo apt-get install libssl-dev

そんでもって、

$ pyenv install 3.6.7

$ pyenv versions

で、3.6.7が入っていたらＯＫ。

$ cd

で、python3が必要なフォルダーに移動してから、

$ pyenv local 3.6.7

とすると、カレントディレクトリーだけがpython3になります。

$ pyenv versionsで確認できます。

この状態の3.6.7は、すっからかんの状態ですので、

3.6.7支配下のカレントディレクトリーで

$pip install #####

で必要なパーツを入れていきます。

python3にはデフォルトでpipが入ってます。

$ pip list

で確認。

$sudo pip install #####

は不可です。

ここでsudoをやると、

systemのpython2のpipが動いてしまいます。

これで快適なpython3ができあがり。

動画変換はOpenShot Video Editorの一択

頂いたMOVファイルを開くことができない！みたいなことはよくある。
こんなときPlayerを変えたり、ファイル変換など四苦八苦するが、
いろいろ試した結果、動画変換はOpenShot Video Editorの一択である。

https://www.openshot.org/ja/

OpenShot Video EditorといえばLINUXの定番ソフトであるが、
実はMAC、WINDOWS、なんでも使える。
編集ソフトとしても超高機能で、動作も速いし、バグもほとんど見当たらない。
これで無料。さすがLINUXの定番ソフト。

Playerとして使うこともできるので、
変換するかしないかはあなた次第(笑)

イチから始めるＡＩ実験＠応用物理学会（北大）

イチから始めるＡＩ実験（２０１９年９月２０日、北大）でのリンクまとめ

応用物理学会＠北大でチュートリアルを行いました。今回の内容は前回東工大で行った「ゼロから」（https://doraemonkokoro.blogspot.com/2019/03/blog-post.html）の続きでした。多くの聴衆に来ていただきました。講演を実施するにあたって、山本研＠宇都宮大の皆さんの多大なるご支援を頂きました。ありがとうございました。以下は、講演の際に使用したプログラムやデータへのリンク集になります。まずはやってみましょう！


【SONY Neural Network Consoleのプロジェクトファイルとデータセット】
Auto_Encoder with Convolution / Auto_Encoder with Convolutional_LSTM / SONY NEURAL NETWORK
https://doi.org/10.6084/m9.figshare.7679057


【Pythonのサンプルファイルとデータセット】
Python Sample Programs for Tutorials
https://doi.org/10.6084/m9.figshare.9887993


【PredNetのコードとデータセット】
Predictive Coding Deep Neural Network in Chainer (Tensorboard Version)
https://doi.org/10.6084/m9.figshare.7801154
このプラグラムでTensorboardを使うには、
sudo pip install tensorboard-chainer
が必要となります。

Test data for prediction
https://doi.org/10.6084/m9.figshare.5483680

Training_data for prediction
https://doi.org/10.6084/m9.figshare.5483668


【Optical flowを可視化するプログラム】
Optical flow analysis
https://doi.org/10.6084/m9.figshare.5483716


【ＡＩ実験の一例（講演者の研究）】
１）論文のＨＰ
https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00345/
２）プレスリリース
http://www.nibb.ac.jp/press/2018/03/20-2.html


【GPUパソコンをセットアップするための参照ブログ記事】
１）Ubuntu16.04LTSにChainerをInstallする（GTX1080 & GTX1080Ti）
https://doraemonkokoro.blogspot.com/2018/12/ubuntu1604ltschainer5installgtx1080.html

２）Windows10とUbuntu14.04.5のデュアルブート（OMEN by HP Desktop 880）
https://doraemonkokoro.blogspot.com/2018/01/windows10ubuntu1404omen-by-hp-desktop.html

３）UbuntuにChainerをInstallする（GTX1080）
https://doraemonkokoro.blogspot.com/2016/09/ubuntuchainerinstallgtx1080_5.html


【GPUパソコンをセットアップするための補助テキスト】
Option Text for "AI experiment starting from scratch" IN JAPANESE
https://doi.org/10.6084/m9.figshare.7801013

読めないJPGファイルを一括変換【便利なプチ基礎知識】

頂いた画像セットがWindowsでは読めるのに

Ubuntuでは読めなかった。
Mac系フォルダーが同梱されているのでMacで作ったものらしい。

Ubuntuで読もうとすると、

Could not load image '34.jpg'.

Error interpreting JPEG image file (Not a JPEG file: starts with 0x89 0x50)

というエラーがでる。

starts with 0x89 0x50は、PNGファイルのようである。
拡張子はJPGであるが中身はPNGファイルと思われる。

そこで拡張子を変換。

しかし、jpg拡張子は普通のrenameコマンドでは変換できない。

rename jpg png *.jpg

とすると

Bareword "jpg" not allowed while "strict subs" in use at (user-supplied code).

となる。

rename .jpg png *.jpg

とすると

syntax error at (user-supplied code), near "."

となる。

こういうときは

rename 's/jpg/png/;' *.jpg

とする。

rename 's/返還前のテキスト/返還後のテキスト/;' 変えたいファイル名

という意味。

Windows7とWindows8.1をWindows10に無償アップグレード

【２０１９年4月１日版】

Windows7のサポートがそろそろ切れるので、Windows10にアップグレードしました。研究室には古いPCも多いのですが、HDDをSSDに換装するだけで見違えるように早くなりますので、ついでにSSD換装をして延命を図ります。Windows8.1もこの際Windows10にアップグレードしました。

Windows7とWindows8.1は、マイクロソフトから正式な無償アップグレードが用意されています。下記の動画を参照にしてください。肝心なところは３分くらいから。

基本的にはWindows10を検索して一番うえのマイクロソフトのサイトからアップグレードツールをダウンロードして走らせるだけですが、Windows10に対応していないソフトは動かなくなりますのでご注意を。やってみてアップグレード前にアンインストールしておく必要のあったソフトは、ATOKとGoogleのIME、Microsoft Security Essentialsでした。

USBメモリーを３つのOS共通で使用するためのフォーマット

USBメモリーをWindowsとMacとUbuntu共通で使用したい場合、
フォーマットはexFATが便利です。

exFATですと現行のWindowsとMacはデフォルトで読み書きできますし、
Ubuntuも

sudo apt-get install exfat-fuse exfat-utils

で読み書きができるようになります。

三つのOSの中でUbuntuが最も柔軟なOSですので、
UbuntuへのexFATインストールが良いとおもわれます。

クラウドサーバーがあるから、ＵＳＢメモリーはもう使わないかな？

UBUNTUのSSDを入れ替えたら起動しなくなった場合の対処方法（デュアルブート時）

WindowsとデュアルブートしているUBUNTUで、
別のUBUNTUが入っているSSDと入れ替えて起動すると
OSの選択画面ではなく
grub>
画面が表示される場合。

＜対処法＞
Boot-repairというUbuntuのアプリケーションでブートローダーを修復する

１）DVDからトライモードでUbuntuを起動する
２）ppaの追加（proxy環境下でない方が望ましい）
    sudo add-apt-repository ppa:yannubuntu/boot-repair
    sudo apt-get update
３）Boot-repairのインストール
    sudo apt-get install -y boot-repair
    sudo boot-repair

４）Boot-repairが起動したら、”Recommended repair”を選ぶ
５）しばらく待つと、修復成功のメッセージと共にレポートが出力される

６）SSDを入れ替えた初回の起動では、Escでブートメニューを表示し、起動順序を確認する。

boot-repairはかなり細かいブートメニューをつくってくれますが、
もしgrubメニューのカスタマイズが必要なら、
「Grub Customizer でブートローダーをGUI編集、デュアルブートを快適に」
https://thjap.org/linux/ubuntu/5962.html

を利用。

私の場合、「UBUNTU、Windows」のふたつのみにしました。