2020年10月15日木曜日

UBUNTU 20.041lts & CUDA & NVIDIA driverに関する備忘録

 基本はこれ。

https://doraemonkokoro.blogspot.com/2016/


今回はコレ。ただし、これは上とは違ってchainer用ではありません。pytorch用です。下記環境ではchainerはすでに動かないと思われます。

sudo apt install python3

sudo apt install python3-pip

sudo pip3 install -U setuptools

sudo pip3 install -U cython

sudo pip3 install -U filelock


https://developer.nvidia.com/cuda-toolkit


wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin

sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600

wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda-repo-ubuntu2004-11-1-local_11.1.0-455.23.05-1_amd64.deb

sudo dpkg -i cuda-repo-ubuntu2004-11-1-local_11.1.0-455.23.05-1_amd64.deb

sudo apt-key add /var/cuda-repo-ubuntu2004-11-1-local/7fa2af80.pub

sudo apt-get update

sudo apt-get -y install cuda


sudo reboot


https://medium.com/analytics-vidhya/installing-tensorflow-with-cuda-cudnn-gpu-support-on-ubuntu-20-04-f6f67745750a


cd ###

sudo cp -P cuda/lib64/* /usr/local/cuda/lib64/

sudo cp cuda/include/* /usr/local/cuda/include/


sudo chmod 644 /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*


sudo vi ~/.bashrcで以下を一番下に付け加える。copy & paste

export CUDA_ROOT=/usr/local/cuda

export PATH=$PATH:/usr/local/cuda/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64:

export CPATH=$CPATH:/usr/local/cuda/include

export CUDA_INC_DIR=/usr/local/cuda/bin:$CUDA_INC_DIR


sudo reboot


sudo apt-get install git




2020年6月19日金曜日

Ubuntuでログインループの対処法

だいたい下記で治るようです。
https://qiita.com/musaprg/items/58d9dee4ef70e3882a9d
つまりNvidiaのドライバーが変ということ。

症状としてはログイン画面が荒い解像度になっているはず。

しかし、
適切なバージョンをインストールしようとしても、
すでに適切なバージョンだったりします。

わたしの場合、440が必要で、すでに440が入っていた状態です。

そんなときは、
sudo apt install --reinstall nvidia-xxx
です。

GUIログイン画面上で、Ctrl + Alt + F1を押して仮想コンソールに入って、
sudo apt install --reinstall nvidia-440
sudo reboot
で無事に復帰しました。



2020年6月5日金曜日

UbuntuにChainerをInstallする(TitanRTX)cudaとdriver

基本的には下記の記事通りです。
https://doraemonkokoro.blogspot.com/2016/09/ubuntuchainerinstallgtx1080_5.html

しかし今はCUDAとドライバーのコンビネーションが決まっているようで、
上のようにドライバーをインストール、CUDAをインストール、という具合に順々にやると失敗します。

というわけで、CUDAだけを導入します。
以前と違ってドライバーは勝手にインストールされます。

ここへ行きCUDAをインストールします。

ボタンをポチポチ押してこんな感じに選択すると、
Installation Instructions:というテキストがでてきます。
灰色の中のテキストを忠実に実行してください。

sudo reboot
リブートして、nvidia-smiを実行して、
それなりのテーブルがでてきたらOKです。





UBUNTUでのPython2とPython3の共存と切り替えはpyenv

Python2とPython3の切り替えです。
pyenvが便利です。

gitを導入してないときは、
$ sudo apt-get install git
から。
ついでに、
$ git config --global user.name ######
$ git config --global user.email ######
も。

pyenvの導入
$ git clone https://github.com/pyenv/pyenv.git ~/.pyenv

pathを通す
$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
$ echo 'eval "$(pyenv init -)"' >> ~/.bashrc
$ source ~/.bashrc

以下のようなpathを通しているひともいたけど
$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile

ターミナルを起動するたびに
$ source ~/.bash_profile
をやることになったので上のほうにした。

ubuntu 16.04LTSには足らないパーツがあったので
$ sudo apt-get install zlib1g-dev
$ sudo apt-get install libssl-dev

そんでもって、
$ pyenv install 3.6.7

$ pyenv versions
で、3.6.7が入っていたらOK。

$ cd
で、python3が必要なフォルダーに移動してから、
$ pyenv local 3.6.7
とすると、カレントディレクトリーだけがpython3になります。
$ pyenv versionsで確認できます。

この状態の3.6.7は、すっからかんの状態ですので、
3.6.7支配下のカレントディレクトリーで
$pip install #####
で必要なパーツを入れていきます。

python3にはデフォルトでpipが入ってます。
$ pip list
で確認。

$sudo pip install #####
は不可です。

ここでsudoをやると、
systemのpython2のpipが動いてしまいます。

これで快適なpython3ができあがり。




2020年4月29日水曜日

動画変換はOpenShot Video Editorの一択

頂いたMOVファイルを開くことができない!みたいなことはよくある。
こんなときPlayerを変えたり、ファイル変換など四苦八苦するが、
いろいろ試した結果、動画変換はOpenShot Video Editorの一択である。

https://www.openshot.org/ja/

OpenShot Video EditorといえばLINUXの定番ソフトであるが、
実はMAC、WINDOWS、なんでも使える。
編集ソフトとしても超高機能で、動作も速いし、バグもほとんど見当たらない。
これで無料。さすがLINUXの定番ソフト。

Playerとして使うこともできるので、
変換するかしないかはあなた次第(笑)




2019年9月17日火曜日

イチから始めるAI実験@応用物理学会(北大)

イチから始めるAI実験(2019年9月20日、北大)でのリンクまとめ

応用物理学会@北大でチュートリアルを行いました。今回の内容は前回東工大で行った「ゼロから」(https://doraemonkokoro.blogspot.com/2019/03/blog-post.html)の続きでした。多くの聴衆に来ていただきました。講演を実施するにあたって、山本研@宇都宮大の皆さんの多大なるご支援を頂きました。ありがとうございました。以下は、講演の際に使用したプログラムやデータへのリンク集になります。まずはやってみましょう!


【SONY Neural Network Consoleのプロジェクトファイルとデータセット】
Auto_Encoder with Convolution / Auto_Encoder with Convolutional_LSTM / SONY NEURAL NETWORK
https://doi.org/10.6084/m9.figshare.7679057


【Pythonのサンプルファイルとデータセット】
Python Sample Programs for Tutorials
https://doi.org/10.6084/m9.figshare.9887993


【PredNetのコードとデータセット】
Predictive Coding Deep Neural Network in Chainer (Tensorboard Version)
https://doi.org/10.6084/m9.figshare.7801154
このプラグラムでTensorboardを使うには、
sudo pip install tensorboard-chainer
が必要となります。

Test data for prediction
https://doi.org/10.6084/m9.figshare.5483680

Training_data for prediction
https://doi.org/10.6084/m9.figshare.5483668


【Optical flowを可視化するプログラム】
Optical flow analysis
https://doi.org/10.6084/m9.figshare.5483716


【AI実験の一例(講演者の研究)】
1)論文のHP
https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00345/
2)プレスリリース
http://www.nibb.ac.jp/press/2018/03/20-2.html


【GPUパソコンをセットアップするための参照ブログ記事】
1)Ubuntu16.04LTSにChainerをInstallする(GTX1080 & GTX1080Ti)
https://doraemonkokoro.blogspot.com/2018/12/ubuntu1604ltschainer5installgtx1080.html

2)Windows10とUbuntu14.04.5のデュアルブート(OMEN by HP Desktop 880)
https://doraemonkokoro.blogspot.com/2018/01/windows10ubuntu1404omen-by-hp-desktop.html

3)UbuntuにChainerをInstallする(GTX1080)
https://doraemonkokoro.blogspot.com/2016/09/ubuntuchainerinstallgtx1080_5.html


【GPUパソコンをセットアップするための補助テキスト】
Option Text for "AI experiment starting from scratch" IN JAPANESE
https://doi.org/10.6084/m9.figshare.7801013




2019年7月23日火曜日

読めないJPGファイルを一括変換【便利なプチ基礎知識】

頂いた画像セットがWindowsでは読めるのに
Ubuntuでは読めなかった。
Mac系フォルダーが同梱されているのでMacで作ったものらしい。

Ubuntuで読もうとすると、
Could not load image '34.jpg'.
Error interpreting JPEG image file (Not a JPEG file: starts with 0x89 0x50)
というエラーがでる。

starts with 0x89 0x50は、PNGファイルのようである。
拡張子はJPGであるが中身はPNGファイルと思われる。

そこで拡張子を変換。
しかし、jpg拡張子は普通のrenameコマンドでは変換できない。

rename jpg png *.jpg
とすると
Bareword "jpg" not allowed while "strict subs" in use at (user-supplied code).
となる。

rename .jpg png *.jpg
とすると
syntax error at (user-supplied code), near "."
となる。

こういうときは
rename 's/jpg/png/;' *.jpg
とする。

rename 's/返還前のテキスト/返還後のテキスト/;' 変えたいファイル名
という意味。




2019年4月3日水曜日

Windows7とWindows8.1をWindows10に無償アップグレード

【2019年4月1日版】

Windows7のサポートがそろそろ切れるので、Windows10にアップグレードしました。研究室には古いPCも多いのですが、HDDをSSDに換装するだけで見違えるように早くなりますので、ついでにSSD換装をして延命を図ります。Windows8.1もこの際Windows10にアップグレードしました。

Windows7とWindows8.1は、マイクロソフトから正式な無償アップグレードが用意されています。下記の動画を参照にしてください。肝心なところは3分くらいから。



基本的にはWindows10を検索して一番うえのマイクロソフトのサイトからアップグレードツールをダウンロードして走らせるだけですが、Windows10に対応していないソフトは動かなくなりますのでご注意を。やってみてアップグレード前にアンインストールしておく必要のあったソフトは、ATOKとGoogleのIME、Microsoft Security Essentialsでした。

2019年3月25日月曜日

USBメモリーを3つのOS共通で使用するためのフォーマット

USBメモリーをWindowsとMacとUbuntu共通で使用したい場合、
フォーマットはexFATが便利です。

exFATですと現行のWindowsとMacはデフォルトで読み書きできますし、
Ubuntuも

sudo apt-get install exfat-fuse exfat-utils

で読み書きができるようになります。

三つのOSの中でUbuntuが最も柔軟なOSですので、
UbuntuへのexFATインストールが良いとおもわれます。

クラウドサーバーがあるから、USBメモリーはもう使わないかな?



2019年3月13日水曜日

UBUNTUのSSDを入れ替えたら起動しなくなった場合の対処方法(デュアルブート時)

WindowsとデュアルブートしているUBUNTUで、
別のUBUNTUが入っているSSDと入れ替えて起動すると
OSの選択画面ではなく
grub>
画面が表示される場合。

<対処法>
Boot-repairというUbuntuのアプリケーションでブートローダーを修復する

1)DVDからトライモードでUbuntuを起動する
2)ppaの追加(proxy環境下でない方が望ましい)
    sudo add-apt-repository ppa:yannubuntu/boot-repair
    sudo apt-get update
3)Boot-repairのインストール
    sudo apt-get install -y boot-repair
    sudo boot-repair

4)Boot-repairが起動したら、”Recommended repair”を選ぶ
5)しばらく待つと、修復成功のメッセージと共にレポートが出力される

6)SSDを入れ替えた初回の起動では、Escでブートメニューを表示し、起動順序を確認する。

boot-repairはかなり細かいブートメニューをつくってくれますが、
もしgrubメニューのカスタマイズが必要なら、
「Grub Customizer でブートローダーをGUI編集、デュアルブートを快適に」
https://thjap.org/linux/ubuntu/5962.html
を利用。

私の場合、「UBUNTU、Windows」のふたつのみにしました。



2019年3月5日火曜日

ゼロから始めるAI実験@応用物理学会(東工大)

ゼロから始めるAI実験(2019年3月11日、東工大)でのリンクまとめ

応用物理学会@東工大でチュートリアルを行いました。内容はOSすら入っていないPCから深層学習環境を作るというチャレンジでした。なかなかハードな時間でしたが、山本研@宇都宮大の皆さんのおかげでなんとか最後までたどり着きました。聴衆の皆様お疲れ様でした。チュートリアルで使ったリンクを以下にまとめておきます。不明な点ありましたら、メールでおねがいします。GMAILアカウントは、eijwatになります。

参照する本ブログ記事

1)Ubuntu16.04LTSにChainerをInstallする(GTX1080 & GTX1080Ti)
2)Windows10とUbuntu14.04.5のデュアルブート(OMEN by HP Desktop 880)
3)UbuntuにChainerをInstallする(GTX1080)

補助テキスト
1)Option Text for "AI experiment starting from scratch" IN JAPANESE

プログラムコードとデータセット
Code and Data)@FIGSHARE

Predictive Coding Deep Neural Network in Chainer (ver.TB8B)
https://doi.org/10.6084/m9.figshare.7801154

Auto_Encoder with Convolutional_LSTM / SONY NEURAL NETWORK CONSOLE
https://doi.org/10.6084/m9.figshare.7679057

Optical flow analysis
https://doi.org/10.6084/m9.figshare.5483716

Test data for prediction
https://doi.org/10.6084/m9.figshare.5483680

Training_data for prediction
https://doi.org/10.6084/m9.figshare.5483668


AI実験応用例
1)研究室のHP
2)論文のHP
3)プレスリリース





2018年12月20日木曜日

Pythonのリストを一部シャッフルする

基本ここを参照。
https://qiita.com/joe_banana/items/3ebe185c32e7d7a1fa85

0、1~19、20、21~29・・・・
のリストで0,20、・・・は固定して
1~19内、21~29内・・・でシャッフル。
余りは削除。

import random

k=20

f = open('train_data.txt', 'r')
areas = f.readlines()

amari=len(areas)%k
del areas[len(areas)-amari:]

for i in range(len(areas)):
areas_b=areas[i*k+1:i*k+19]
random.shuffle(areas_b)
areas[i*k+1:i*k+19]=areas_b

f.close()

f = open('new_train_data.txt', 'w+')
f.writelines(areas)
f.close



2018年12月12日水曜日

Ubuntu16.04LTSにChainerをInstallする(GTX1080 & GTX1080Ti)

Ubuntu14.04LTSのサポート終了も迫ってきておりますので、
Ubuntu16.04LTSでChainerを使えるようにセットアップしました。

sudo do-release-upgrade

というコマンドを打てば、OSのアップグレードは通常問題なく行われます。が、今回はSSDをクリーンにして、そこへUbuntu16.04.5LTSとChainerを導入しました。
**(後日、別のPC2台「1台は1080、もう一台は1080Ti」では、sudo do-release-upgradeを試みました。オプションはすべてデフォルト対応でうまくアップグレードされました。うまくいくかどうかはドライバーのバージョンなどに依存しそうな気もしていますが、do-release-upgradeは超便利なので、とりあえずこっちでやってみて、もしダメならそのとき考えるという方針がいいとおもいます)。

基本的には
UbuntuにChainerをInstallする(GTX1080)
と同じやり方です。

変更点や気になったところをいくつか列挙します。

(1)今回は4)~11)は飛ばしてドライバー導入から始めました。今回のPCはマザーのビデオポートがないので、最初からGTX1080にディスプレイが繋がっています。最近のUbuntuには汎用ドライバーが組み込まれているので、もんだいなく画面は映ります。ただし、GTX1080専用のドライバーではありません。人によっては、この汎用ドライバーを使えなくしてから、GTX1080専用のドライバーを導入しているようです(途中X-Windowが使えなくなるかもです)。今回は邪魔くさいので、汎用ドライバーはキルしていません。

(2)Nvidiaドライバーは、この時点(2018年12月12日)での最新は415でしたので、nvidia-415をいれましたが、CUDA Toolkit(バージョン10)を入れた時点で410にダウングレードされました。ここでnvidia-smiを実行しますと、Driver/Library version mismatchエラーがでます。前回はドライバーバージョンを再び無理無理上げましたが、今回はそのままリブートしました(リブート前に念のため415は手動でも削除)。リブートしてnvidia-smiを実行すると410で動いているのが確認されました。

(3)sudo apt-get install cudaのあと、apt-keyの設定をコマンド上で指示されていたので、指示通りに設定しました。

(4)パスを通した後、apt系、pip系のインストールをしました(可能な限りたくさん)。前回やりませんでしたが、今回はsudo pip install chainerの前に、sudo pip install cupyを手動で行いました(インストールに結構時間がかかります)。

(5)本質的なことではないのですが、この時点でpipはバージョン8です。最新はバージョン18(番号デカい!)ですので、「バージョンアップよろしく」というメッセージがpipをつかうたびにでますが、これは無視しました。再帰的なバージョンアップは好ましくないとおもいます。pipはもともとaptで導入したので、aptでアップグレードしたほうがいいので、apt側の対応を待ちます。

Chainerは、まだ18.04LTSはリコメンドしていませんでの、この状態がいまのところベストかとおもいます。




2018年12月7日金曜日

フォルダー名とディレクトリー名にスペース禁止

【リナックス豆知識】

よくみかけますよね。
_ アンダーバー。

これには重要な意味があります。
コマンド命令をするとすぐにわかます。
スペースがあると命令が途切れてしまいます。
そこでアンダーバーです。

フォルダー名とディレクトリー名にスペースは使ってはいけないのです。
OSで禁止されていないのが変ですが避けるべきものです。
どのOSでもアンダーバーを使うクセをつけておくのがよいとおもいます。




2018年12月4日火曜日

Win10のグラボ(GTX750Ti)をGTX1080Tiに換装

GTX750Tiで動いているWin10のグラボをGTX1080Tiに換装しました。
基本的には下記ふたつのサイトを参照しました。

【できる!グラボ交換】 グラフィックボード・ビデオカードの増設・換装の方法
http://blog.livedoor.jp/wisteriear/archives/1061882137.html

Windows 10 をセーフモードで起動する方法、覚えておくべき注意事項
https://freesoft.tvbok.com/win10/safemode/how-to-enter-safe-mode.html
(4. msconfigを利用する場合で対応)

ポイントとしては、
1)十分な電源余力があるか(750Wくらい。電源ソケットに余り必要)
2)パソコンの筐体に十分な大きさがあるか(GTX1080Tiはとにかく長い)
の2点です。

【できる!グラボ交換】 の通りに作業を行い、グラボを付けたら再起動させ、NVIDIAの最新ドライバーインストーラーを起動させればあとは自動的にセットアップされます。いちおう予めNVIDIAの最新ドライバーインストーラーはダウンロードしておき、LANは切り離しておきました。msconfigを利用する場合は、マニュアルで元の設定に戻しましょうと書かれてありますが、勝手にもとにもどりました。SONYのNNCを走らせてGPUの働きと、温度をチェックすれば作業完了です。温度はELSA System Graphなどでチェックできます。

ちなみにこのグラボは色が虹のように変わるのですが、外からみえない...

UBUNTU 24.04 & MINT 22.2 & CUDA & RTX-A6000 (A100、RTX3090、RTX5090他もおなじ)をGPU計算機としてセットアップする

「いま」の定義:2025年12月 以前GPUのセットアップ(CUDA)について書いたのが、2023年1月だったので、 https://doraemonkokoro.blogspot.com/2021/09/ubuntu-20041lts-cuda-rtx-a6000.html 3...