イチから始めるＡＩ実験＠応用物理学会（北大）

イチから始めるＡＩ実験（２０１９年９月２０日、北大）でのリンクまとめ

応用物理学会＠北大でチュートリアルを行いました。今回の内容は前回東工大で行った「ゼロから」（https://doraemonkokoro.blogspot.com/2019/03/blog-post.html）の続きでした。多くの聴衆に来ていただきました。講演を実施するにあたって、山本研＠宇都宮大の皆さんの多大なるご支援を頂きました。ありがとうございました。以下は、講演の際に使用したプログラムやデータへのリンク集になります。まずはやってみましょう！


【SONY Neural Network Consoleのプロジェクトファイルとデータセット】
Auto_Encoder with Convolution / Auto_Encoder with Convolutional_LSTM / SONY NEURAL NETWORK
https://doi.org/10.6084/m9.figshare.7679057


【Pythonのサンプルファイルとデータセット】
Python Sample Programs for Tutorials
https://doi.org/10.6084/m9.figshare.9887993


【PredNetのコードとデータセット】
Predictive Coding Deep Neural Network in Chainer (Tensorboard Version)
https://doi.org/10.6084/m9.figshare.7801154
このプラグラムでTensorboardを使うには、
sudo pip install tensorboard-chainer
が必要となります。

Test data for prediction
https://doi.org/10.6084/m9.figshare.5483680

Training_data for prediction
https://doi.org/10.6084/m9.figshare.5483668


【Optical flowを可視化するプログラム】
Optical flow analysis
https://doi.org/10.6084/m9.figshare.5483716


【ＡＩ実験の一例（講演者の研究）】
１）論文のＨＰ
https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00345/
２）プレスリリース
http://www.nibb.ac.jp/press/2018/03/20-2.html


【GPUパソコンをセットアップするための参照ブログ記事】
１）Ubuntu16.04LTSにChainerをInstallする（GTX1080 & GTX1080Ti）
https://doraemonkokoro.blogspot.com/2018/12/ubuntu1604ltschainer5installgtx1080.html

２）Windows10とUbuntu14.04.5のデュアルブート（OMEN by HP Desktop 880）
https://doraemonkokoro.blogspot.com/2018/01/windows10ubuntu1404omen-by-hp-desktop.html

３）UbuntuにChainerをInstallする（GTX1080）
https://doraemonkokoro.blogspot.com/2016/09/ubuntuchainerinstallgtx1080_5.html


【GPUパソコンをセットアップするための補助テキスト】
Option Text for "AI experiment starting from scratch" IN JAPANESE
https://doi.org/10.6084/m9.figshare.7801013

読めないJPGファイルを一括変換【便利なプチ基礎知識】

頂いた画像セットがWindowsでは読めるのに

Ubuntuでは読めなかった。
Mac系フォルダーが同梱されているのでMacで作ったものらしい。

Ubuntuで読もうとすると、

Could not load image '34.jpg'.

Error interpreting JPEG image file (Not a JPEG file: starts with 0x89 0x50)

というエラーがでる。

starts with 0x89 0x50は、PNGファイルのようである。
拡張子はJPGであるが中身はPNGファイルと思われる。

そこで拡張子を変換。

しかし、jpg拡張子は普通のrenameコマンドでは変換できない。

rename jpg png *.jpg

とすると

Bareword "jpg" not allowed while "strict subs" in use at (user-supplied code).

となる。

rename .jpg png *.jpg

とすると

syntax error at (user-supplied code), near "."

となる。

こういうときは

rename 's/jpg/png/;' *.jpg

とする。

rename 's/返還前のテキスト/返還後のテキスト/;' 変えたいファイル名

という意味。

Windows7とWindows8.1をWindows10に無償アップグレード

【２０１９年4月１日版】

Windows7のサポートがそろそろ切れるので、Windows10にアップグレードしました。研究室には古いPCも多いのですが、HDDをSSDに換装するだけで見違えるように早くなりますので、ついでにSSD換装をして延命を図ります。Windows8.1もこの際Windows10にアップグレードしました。

Windows7とWindows8.1は、マイクロソフトから正式な無償アップグレードが用意されています。下記の動画を参照にしてください。肝心なところは３分くらいから。

基本的にはWindows10を検索して一番うえのマイクロソフトのサイトからアップグレードツールをダウンロードして走らせるだけですが、Windows10に対応していないソフトは動かなくなりますのでご注意を。やってみてアップグレード前にアンインストールしておく必要のあったソフトは、ATOKとGoogleのIME、Microsoft Security Essentialsでした。

USBメモリーを３つのOS共通で使用するためのフォーマット

USBメモリーをWindowsとMacとUbuntu共通で使用したい場合、
フォーマットはexFATが便利です。

exFATですと現行のWindowsとMacはデフォルトで読み書きできますし、
Ubuntuも

sudo apt-get install exfat-fuse exfat-utils

で読み書きができるようになります。

三つのOSの中でUbuntuが最も柔軟なOSですので、
UbuntuへのexFATインストールが良いとおもわれます。

クラウドサーバーがあるから、ＵＳＢメモリーはもう使わないかな？

UBUNTUのSSDを入れ替えたら起動しなくなった場合の対処方法（デュアルブート時）

WindowsとデュアルブートしているUBUNTUで、
別のUBUNTUが入っているSSDと入れ替えて起動すると
OSの選択画面ではなく
grub>
画面が表示される場合。

＜対処法＞
Boot-repairというUbuntuのアプリケーションでブートローダーを修復する

１）DVDからトライモードでUbuntuを起動する
２）ppaの追加（proxy環境下でない方が望ましい）
    sudo add-apt-repository ppa:yannubuntu/boot-repair
    sudo apt-get update
３）Boot-repairのインストール
    sudo apt-get install -y boot-repair
    sudo boot-repair

４）Boot-repairが起動したら、”Recommended repair”を選ぶ
５）しばらく待つと、修復成功のメッセージと共にレポートが出力される

６）SSDを入れ替えた初回の起動では、Escでブートメニューを表示し、起動順序を確認する。

boot-repairはかなり細かいブートメニューをつくってくれますが、
もしgrubメニューのカスタマイズが必要なら、
「Grub Customizer でブートローダーをGUI編集、デュアルブートを快適に」
https://thjap.org/linux/ubuntu/5962.html

を利用。

私の場合、「UBUNTU、Windows」のふたつのみにしました。

ゼロから始めるＡＩ実験＠応用物理学会（東工大）

ゼロから始めるＡＩ実験（２０１９年３月１１日、東工大）でのリンクまとめ

応用物理学会＠東工大でチュートリアルを行いました。内容はOSすら入っていないPCから深層学習環境を作るというチャレンジでした。なかなかハードな時間でしたが、山本研＠宇都宮大の皆さんのおかげでなんとか最後までたどり着きました。聴衆の皆様お疲れ様でした。チュートリアルで使ったリンクを以下にまとめておきます。不明な点ありましたら、メールでおねがいします。GMAILアカウントは、eijwatになります。

参照する本ブログ記事
１）Ubuntu16.04LTSにChainerをInstallする（GTX1080 & GTX1080Ti）
２）Windows10とUbuntu14.04.5のデュアルブート（OMEN by HP Desktop 880）
３）UbuntuにChainerをInstallする（GTX1080）

補助テキスト
１）Option Text for "AI experiment starting from scratch" IN JAPANESE

プログラムコードとデータセット
Code and Data）＠ＦＩＧＳＨＡＲＥ

Predictive Coding Deep Neural Network in Chainer (ver.TB8B)
https://doi.org/10.6084/m9.figshare.7801154

Auto_Encoder with Convolutional_LSTM / SONY NEURAL NETWORK CONSOLE
https://doi.org/10.6084/m9.figshare.7679057

Optical flow analysis
https://doi.org/10.6084/m9.figshare.5483716

Test data for prediction
https://doi.org/10.6084/m9.figshare.5483680

Training_data for prediction
https://doi.org/10.6084/m9.figshare.5483668


ＡＩ実験応用例
１）研究室のＨＰ
２）論文のＨＰ
３）プレスリリース