Pythonのリストを一部シャッフルする

基本ここを参照。
https://qiita.com/joe_banana/items/3ebe185c32e7d7a1fa85

０、１～１９、２０、２１～２９・・・・
のリストで０，２０、・・・は固定して
１～１９内、２１～２９内・・・でシャッフル。
余りは削除。

import random

k=20

f = open('train_data.txt', 'r')
areas = f.readlines()

amari=len(areas)%k
del areas[len(areas)-amari:]

for i in range(len(areas)):
areas_b=areas[i*k+1:i*k+19]
random.shuffle(areas_b)
areas[i*k+1:i*k+19]=areas_b

f.close()

f = open('new_train_data.txt', 'w+')
f.writelines(areas)
f.close

Ubuntu16.04LTSにChainerをInstallする（GTX1080 & GTX1080Ti）

Ubuntu14.04LTSのサポート終了も迫ってきておりますので、
Ubuntu16.04LTSでChainerを使えるようにセットアップしました。

sudo do-release-upgrade

というコマンドを打てば、OSのアップグレードは通常問題なく行われます。が、今回はSSDをクリーンにして、そこへUbuntu16.04.5LTSとChainerを導入しました。
＊＊（後日、別のPC２台「１台は１０８０、もう一台は１０８０Ti」では、sudo do-release-upgradeを試みました。オプションはすべてデフォルト対応でうまくアップグレードされました。うまくいくかどうかはドライバーのバージョンなどに依存しそうな気もしていますが、do-release-upgradeは超便利なので、とりあえずこっちでやってみて、もしダメならそのとき考えるという方針がいいとおもいます）。

基本的には
「UbuntuにChainerをInstallする（GTX1080）」
と同じやり方です。

変更点や気になったところをいくつか列挙します。

（１）今回は４）～１１）は飛ばしてドライバー導入から始めました。今回のPCはマザーのビデオポートがないので、最初からGTX1080にディスプレイが繋がっています。最近のUbuntuには汎用ドライバーが組み込まれているので、もんだいなく画面は映ります。ただし、GTX1080専用のドライバーではありません。人によっては、この汎用ドライバーを使えなくしてから、GTX1080専用のドライバーを導入しているようです（途中X-Windowが使えなくなるかもです）。今回は邪魔くさいので、汎用ドライバーはキルしていません。

（２）Nvidiaドライバーは、この時点（２０１８年１２月１２日）での最新は４１５でしたので、nvidia-415をいれましたが、CUDA Toolkit（バージョン１０）を入れた時点で４１０にダウングレードされました。ここでnvidia-smiを実行しますと、Driver/Library version mismatchエラーがでます。前回はドライバーバージョンを再び無理無理上げましたが、今回はそのままリブートしました（リブート前に念のため４１５は手動でも削除）。リブートしてnvidia-smiを実行すると４１０で動いているのが確認されました。

（３）sudo apt-get install cudaのあと、apt-keyの設定をコマンド上で指示されていたので、指示通りに設定しました。

（４）パスを通した後、apt系、pip系のインストールをしました（可能な限りたくさん）。前回やりませんでしたが、今回はsudo pip install chainerの前に、sudo pip install cupyを手動で行いました（インストールに結構時間がかかります）。

（５）本質的なことではないのですが、この時点でpipはバージョン８です。最新はバージョン１８（番号デカい！）ですので、「バージョンアップよろしく」というメッセージがpipをつかうたびにでますが、これは無視しました。再帰的なバージョンアップは好ましくないとおもいます。pipはもともとaptで導入したので、aptでアップグレードしたほうがいいので、apt側の対応を待ちます。

Chainerは、まだ18.04LTSはリコメンドしていませんでの、この状態がいまのところベストかとおもいます。

フォルダー名とディレクトリー名にスペース禁止

【リナックス豆知識】

よくみかけますよね。
_　アンダーバー。

これには重要な意味があります。
コマンド命令をするとすぐにわかます。
スペースがあると命令が途切れてしまいます。
そこでアンダーバーです。

フォルダー名とディレクトリー名にスペースは使ってはいけないのです。
OSで禁止されていないのが変ですが避けるべきものです。
どのOSでもアンダーバーを使うクセをつけておくのがよいとおもいます。

Win10のグラボ（GTX750Ti）をGTX1080Tiに換装

GTX750Tiで動いているWin10のグラボをGTX1080Tiに換装しました。
基本的には下記ふたつのサイトを参照しました。

【できる！グラボ交換】 グラフィックボード・ビデオカードの増設・換装の方法
http://blog.livedoor.jp/wisteriear/archives/1061882137.html

Windows 10 をセーフモードで起動する方法、覚えておくべき注意事項
https://freesoft.tvbok.com/win10/safemode/how-to-enter-safe-mode.html
（4. msconfigを利用する場合で対応）

ポイントとしては、
１）十分な電源余力があるか（７５０Wくらい。電源ソケットに余り必要）
２）パソコンの筐体に十分な大きさがあるか（GTX1080Tiはとにかく長い）
の２点です。

【できる！グラボ交換】 の通りに作業を行い、グラボを付けたら再起動させ、NVIDIAの最新ドライバーインストーラーを起動させればあとは自動的にセットアップされます。いちおう予めNVIDIAの最新ドライバーインストーラーはダウンロードしておき、LANは切り離しておきました。msconfigを利用する場合は、マニュアルで元の設定に戻しましょうと書かれてありますが、勝手にもとにもどりました。SONYのNNCを走らせてGPUの働きと、温度をチェックすれば作業完了です。温度はELSA System Graphなどでチェックできます。

ちなみにこのグラボは色が虹のように変わるのですが、外からみえない...

突然動きが不安定になったWindowsを修復

Windowsの突然動きが不安定になりました。
OSは８．１。

立ち上がったり立ち上がらなかったり。
立ち上がってもマウスのアイコンが出てこなかったり。
一瞬出てきてもなにかすると落ちてしまったり。
ハードディスクをSSDに換装しても、
さらに動きがカオス状態に陥る始末。
DVDからも立ち上がらない！！！

結論。今回の原因は、メモリーでした。

BIOS画面でメモリーの状態を見ると、
４本あるDIMMが３本しか認識されていない状態でした。

４本ともきっとりと差しなおすと、
ちゃんと認識されてWindowsは綺麗に動き始めました。

BIOSのところでエラーを出してくれればありがたかったなー。
なんで通り過ぎるんだよー。

Skypeでカメラが使えない（macOS Mojave バージョン10.14）

macOS Mojave バージョン10.14に更新後、
Skypeでカメラが使えない状態になりました。
Photo Boothでは使えておりました。

僕の場合の解決方法は以下の通り。

［システム環境設定］＞［セキュリティーとプライバシー］＞
＞［プライバシー］＞［カメラ］
の順に開くと、［Skype］があるはず。

［Skype］のチェックマークが消えていたら、それが原因。
チェックマークを入れると復活する。

「Skypeでカメラの使用を許可しますか？」という質問に
反射的に「いいえ」を押すとチェックマークが外れてしまいます。
このチェックマークはSkypeからは制御できないのです。

Windows10とUbuntu14.04.5のデュアルブート（OMEN by HP Desktop 880）

OMEN by HP Desktop 880では、NVIDIA GeForce GTX1080Tiが使えるデスクトップ環境が提供されています。深層学習専用機と比較するとコストパフォーマンスはかなりよいです。OMENと似たようなコンセプトのゲーム機はいろいろありますが、あとはデザインの可否でしょうか。

搭載されている1080Tiは従来の1080と比較して速度はそれほど変わりませんが、メモリーが１１Gbまで拡大しています。画面表示と兼用しても、最低でも１０Gb以上の領域を深層学習計算用に確保できます（描画用のグラフィックボードを追加すれば１１Gbまるまる使えます）。手元のテスト環境としては十二分の能力でしょう。

OMENにはデフォルトでWindows10が付属しています。そこで今回はWindows10とUbuntu14.04のデュアルブート環境を構築します。Windows10を上書きするも一手ですが、ラボにWindows10環境がないのであえて残すことにしました。またSSDの領域を分けて使うとディスク容量に不安がありますので、Ubuntu用のディスクを新たに用意することとしました。元のWindows10は、M.2（エムドットツー）規格のＳＳＤに搭載されています（マザーボードへの直差し）。Windows10のバックアップ領域は別途３．５インチのハードディスクに用意されており、今回は両方とも温存します。

１）新しい２．５インチＳＳＤを用意し、筐体上部に用意されているＳＡＴＡスロットに差し込みます（２スロットのうち一つを使う）。このＳＡＴＡスロットは３．５インチ用なので、２．５インチＳＳＤを差し込む際には変換アダプターがあったほうがいいです。変換アダプターがなくても差し込むことは可能ですが、ユラユラして不安定です。筐体上部に用意されているＳＡＴＡスロット用には、OMENにはネジが８個付属しています。

２）Ubuntu14.04.5LTSのイメージＤＶＤを用意します。末尾のバージョンが５であることが重要で、このバージョン以降がＵＥＦＩブートに対応しています。１６．０４ＬＴＳなら何の問題もないでしょう（ただし未試行です）。

３）Windows10の高速ブートをＯＦＦにしてＰＣを落とします。http://121ware.com/qasearch/1007/app/servlet/relatedqa?QID=018214

４）イメージＤＶＤをセットしてＰＣを立ち上げ、ＥＳＣキーを押し続け、ＢＩＯＳ画面に移行します。まずＢＩＯＳにもある高速ブートをＯＦＦにします。さらにセキュアブート関係の項目をすべてＯＦＦにしたうえで、起動順を変更します。ＤＶＤを最優先にして起動させます。

５）まずはインストールなしのトライモードで立ち上げてみます。

６）うまく立ち上がったらデスクトップのインストールアイコンをクリックしてインストール開始です。インストール対象はデフォルトではM.2のＳＳＤになっているので、これを新しく差し込んだＳＳＤのドライブに変更します（ここは慎重に！間違うとWindows10環境を失います）。あとは通常通りのインストールです。新しいディスクへのインストールですので、ディスクを完全イレースした上でのインストールを選択します。

７）再起動後、ＢＩＯＳ画面で再度起動順を調整して終わりです。

８）うまくいけば、ＵＢＵＮＴＵのブートマネージャーが立ち上がります。

深層学習用の環境を整えるのは以前の記事の通りです。
https://doraemonkokoro.blogspot.jp/2016/09/ubuntuchainerinstallgtx1080_5.html
バージョンがいろいろ変わっていますが基本は一緒です。

Kerasの最新版２．１．Xでは、なぜかGPUが反応してくれなかったので、今回は２．０．８を使用しました。バックグラウンドにはTensorboardを使います。Chainerはバージョン３を使いましたが、問題なく動きました。



追記１（２０１８年６月１１日）：
Chainerのバージョンを４に上げました。問題なく作動しています。

追記２（２０１８年１１月２１日）：
Windows10とUbuntu14.04.5のデュアルブートなんか作ってもWindows10は使わないだろうなーとおもっていましたが、SONYがneural network console（https://dl.sony.com/ja/）という開発環境を提供し始めました。コードを書くことなく、深層学習ネットワークを組み上げることができます。
　クラウドで使うのが基本のようですが（Chromeで動きます）、Windowsのデスクトップオフライン環境でも高速に動作します（WindowsユーザーでGPUを保有しているかたは、デスクトップオフライン環境がお勧め）。似たような試みとしては、IBMのWatson Studioがありますが、こちらはクラウドのみですので、Windowsアプリとして自前のGPUでガンガン動かせるSONYを使うメリットはかなりあるかと思います。
　試しにインストールしてみましたが、まずチュートリアルの動作が快適です。OMENに搭載されているGTX1080Tiもうまく動いています（独自に拡張したオートエンコーダーで目測１５０倍速）。データセットの扱いが独特ですし、変数が使えなさそうな雰囲気なので大規模なネットワークを組むには不向きかもしれませんが（その場合はテキストタイプのものが用意されているようです）、視覚的に構造が確認できるので、特に教育現場では役に立つことでしょう。
　ちなみデフォルトで搭載されているRandom Structure Searchは便利です。こちらがネットワークの原型だけ与えれば、勝手にいろんな構造を試してくれます（独自に拡張したオートエンコーダーで、はじめ最小二乗法のエラーが0.006だったものが、２０時間ほどの探索で0.002まで下がりました。ただしネットワークは巨大化していく傾向にあります）。

追記３（２０２１年９月３０日）：

ある日突然まったく動かなくなりました。いくつかのPCが同時におかしくなったので、なにか変なことが起こったみたいです。結果的にはCMOSのクリアとメモリの接点清掃で復活しました。が、まだ不具合が。本体のSSDのWINDOWSのOSは削除、UBUNTU２０へ移行してましたが、WINDOWSのバックアップディスクが悪いことをしていたみたいです。これを取り除きました。もうひとつは、元のUBUNTUディスクへのログインがはねられました。これはレガシーブートに変更して対応できました。