CVMLAB Blog

WindowsでのオススメのPython環境 2026版

2026-01-19T08:00:00+09:00

Python環境をuvにする

uvの配布元

利点としては以下が挙げられる

pyenv不要で複数バージョンのPythonがシステムに同居できる
これまではpyenvによるアクロバチックな切り替えが必要(mac, Linux)，各バージョンのインストールは自前でpy.exeでがんばる(Windows)
複数バージョンのPythonおよび，パッケージがプロジェクト間で重複してもディスク占有容量が増えない
仮想環境の数だけGBオーダーでディスクが圧迫される
uvx --with xxxの機構で仮想環境を作らずにpythonスクリプト(.pyだけでなくipythonのようなインタプリタやjupyterlabも)が実行できる
特にLLM関係はuvxで書かれた実行サンプルが多い
uv add(pyproject.toml, uv.lock)でのパッケージ管理の方がpipやcondaより圧倒的に速く賢い
開発環境のシェアが楽
pipでのインストール順を守らないと入らないような問題が起きにくい

ネガティブな点としては

なんでもuv経由なのでpython的に気持ち悪い
「pythonなんだけどuvコマンド」をどう説明するか悩む

1. インストール

uvについては配布元に記載されているスクリプトによるインストールが，自身のアップデートにも対応できるのでオススメ．

Windowsの場合はコマンドプロンプトまたはPowerShellで下記を実行

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

MacやLinuxの場合

curl -LsSf https://astral.sh/uv/install.sh | sh

で,WindowsやMac, Linuxで一旦そのウィンドウを閉じて再度開くとuvがパスに入った状態になる.

uvは感覚としてはPython Launcherのpy.exeに近いようなもんだが,より実体が隠蔽された形式になりpython本体もuvを経由して起動することになる.

例えば

uv run python

という感じで実行すると勝手に最新版のPythonをダウンロードしてインタプリタが開く.バージョンを指定したい場合は

uv run --python 3.12 python

のようにオプションで指定する.

2. プロジェクトの作成とパッケージ管理

uvでの開発についてはフォルダが単位となるプロジェクトとして扱う．従来のvenvみたいなもんだが，uvが実体を一括管理してくれて各プロジェクトにはHardLinkやRefLinkやBlockClone等でディスク容量を圧迫しない仕組みになっている．

例えばPython 3.12のプロジェクト pj1 を作る場合

mkdir pj1
cd pj1
uv python pin 3.12
uv init

でpyproject.tomlが作られ，3.12に固定される．パッケージの追加はuv addで行う．pipは使わない．

uv add numpy

とか

uv add "numpy>2.0"

とか，pip installをuv addに置き換えたと考えればよい．依存関係はpyproject.tomlに保存され，実際に入ったパッケージの情報がOSに依存しないような方法でuv.lockに保存される．

3. プロジェクト内での実行

スクリプトの実行

hello.pyを実行したい場合

uv run hello.py

ipython, python, jupyterlabの実行

uv run ipython

uv run python

uv run jupyter lab

みたいな感じでインストールされるスクリプトもuv runできる

4. プロジェクトに特定パッケージをインストールさせずに実行

--with package付きでuv run
uvx scriptnameで実行(ipythonとかスクリプトが同時にインストールされるタイプのものでwithを省略できる)

--withは現プロジェクトでとりあえず任意のパッケージを追加して実行してみたい場合に有効で，そのパッケージ以外はプロジェクトが使われる．

uvx を使えば環境を汚さずに実行できる.これはuvx scriptnameが実行されたときに暗黙で--with scriptnameを指定する挙動になるため，重複しないコマンドが書ける．パッケージ名とスクリプト名が一致しない場合は--fromを書く．

ということで，uvxはお作法としてipythonとかuv addしたときに実行形式ファイルも一緒に入るタイプのものの実行に使う．ただしpythonのバージョンは指定しないと

--pythonで指定したバージョン
環境変数
過去にpinしたバージョン
uvで使っているPythonの中で最新のもの
システムのPython

の順で決まるらしい．

インタプリタにワンライナーで命令を食わせる場合

uv run --python 3.12 --with numpy --with libsvm-official python -c "from libsvm.svmutil import *; y, x = [1,-1], [{1:1, 3:1}, {1:-1,3:-1}]; prob  = svm_problem(y, x); param = svm_parameter('-t 0 -c 4 -b 1'); m = svm_train(prob, param)"

numpy入りのipythonを後腐れ無く使う場合

uvx --with numpy ipython

open3d入りのmarimoを後腐れなく使う場合

uvx --python 3.12 --with open3d  marimo new

uvxで実行スクリプトとパッケージ名が異なる場合

uvx --from httpie http https://google.com

Ultralytics yoloで推論する

Macなので device=mps と書いてるが他は削るかcuda使う

uvx --from ultralytics yolo predict model=yolo26n.pt source=0 show=True device=mps

ファイルサーバを立てたい場合

uvx updog

5. プロジェクトの開発環境の複製

プロジェクト用のフォルダを作り，フォルダ内に別のプロジェクトで生成されたpyproject.tomlとuv.lockを置いて使いたいバージョンでpinしてからuv syncするだけ．例えば上のpj1で作った2ファイルを用意して

cd ..
mkdir pj2
cd pj2
uv python pin 3.12

で，何らかの手段でファイルをpj2にコピーしてから

uv sync

で同じ環境を作ってくれる.condaみたいにos依存のゴミも入らないのでプラットフォームに依存しない.

6. venvで作った仮想環境の移行

とりあえず捨てる前の仮想環境でactivateしておいて

pip freeze > requirements.txt

で使ってるパッケージのバージョン入り一覧が保存できるのでdeactivateして仮想環境のフォルダごと消して良い(パッチ当ててるときは当然その差分も取っておく)

pipの継ぎ足しソースのような状態だと大抵の場合バージョン衝突が起きるので，バージョンをとっぱらって入れてしまうのが早い．クリティカルな問題がある場合は特定パッケージだけ後で指定すれば直してくれる．

Windowsの場合コマンドプロンプトから

powershell -Command "Get-Content requirements.txt | % { uv add ($_ -split '=')[0] }"

Mac やLinuxは

cut -d'=' -f1 requirements.txt | xargs uv add

ただ，pipでインストール順のお陰で奇跡的に動く組合せも存在し，コケることも多々あるので，pythonのバージョンに対して明らかに古いパッケージは外した方が良い．(横着せずにひとつずつuv addすると確実)

7. クラウドストレージとの相性

uvはUV_CACHE_DIRに実体を置いてハードリンクで仮想環境の容量増加を防いでくれるが，クラウドストレージとの相性を考えるとイマイチ．プロジェクトを作ると.venvを作ってしまうのが問題となるが回避策はある．

Dropbox: .venvフォルダに属性付与して無視させるのは可能．ただし無視させる命令より前に処理が始まるし，空のフォルダは残る
Box: 無視させる機構は無し

一番無難な解決法はクラウドストレージがシンボリックリンクを解釈できないことを利用して，予め.venvというシンボリックリンクをクラウドストレージ外に設定すること．ただし，各PC環境でリンク設定が必要．Windowsの場合でもmklinkかPowerShellなら

New-Item -ItemType Junction -Path ".venv" -Target "$Home\uv_envs\PJA"

のようにディレクトリジャンクションを使うとよい．

Apple Silicon MacでWindowsアプリを使う

2026-01-19T07:00:00+09:00

※KegworksからSikarugirになってた

WindowsアプリをMacでVMを通さずに使うにはPlayOnMacとかHomebrewからのCrossover Wineとかあるようだが，Kegworksが使いやすかった。で，今度はSikarugirへ。

Sikarugirは単一の互換システムにアプリケーションをぶら下げるのではなく，Windowsアプリケーションごとに.appを作成する(.appフォルダはmacOSから見たアプリケーション本体)。(Wrapperと呼ぶ) デメリットは容量を食うところ。共通のWindowsリソースは一応共有しているが，WrapperごとにWine Engineを任意のバージョンから選べるようにした仕組みのためWine関係のファイルについては独立して.app内に置かれている。容量としては1アプリあたり1GB+そのアプリのファイルと考えると良さそう。

使い方の詳しい説明はここに載ってるのでそちらを参照すると良い。

Sikarugirで動作確認したソフト

コツとしてはUsers以下にインストールさせると階層がややこしくなるので，基本的にAdmin権限が必要となるAll Users向けでProgram Filesにインストールさせると良い。

Micro-CAP 10(archive.org): Spectrum-software社のクローズからパブリックドメイン化，Webの閉鎖という流れでarchive.orgから
LTspice (macOS版もあるが使いにくいのでWindows版を使いたい) ※All Usersを選びC:/Program Files/ADI/LTspice/LTspice.exeを使う
Emu48
V41 (追記)
Visual Studioの再頒布ファイル(Redist)が必要な場合でも一度インストールした後でWrapperアプリ上で右クリックして，"パッケージの内容を表示"で，"Sikarugir"アプリを起動してからInstall Softwareで追加インストールできる(その後もExeファイルがV41.exeのままになっていれば問題ない)
キーコードがハードコードされてるプログラムで普通にキーを打っても応答しないが，何故かCmdキーを押しっぱなしだと入力できる(Wineの機能なのかは不明)

Sikarugirの導入

brew upgrade
brew install --cask Sikarugir-App/sikarugir/sikarugir

上記コマンドを使いHomebrewでインストール
Sikarugir Creatorがアプリケーションにあるので起動
"Installed Engines"が空なので，+ボタンでWineのエンジンを追加する。押せば最新版が推奨されるのでそれをインストールする
Wrapper Versionのところで"No Wrapper Installed"または"Update"が有効になっていたらそれもアップデートする

これで本体の導入は終わり。

Wrapperの作成

SikarugirはWindowsアプリをmacOSのアプリのように見せ掛けるのでWrapperと呼んでいる。先にfakejapaneseを入れないと豆腐文字のインストーラと格闘する羽目になる。

Sikarugirを起動
"Create New Blank Wrapper"を選ぶ
Create a Wrapperというウィンドウが開くので，そこに英数字で使う予定のアプリ名を書く(例えばLTspice)
暫く待つとWrapper Creation Finishedと出るので自分のApplicationフォルダ(通常 /Users/unername/Application でFinderの"移動"→"ホーム"からApplicationまたは"アプリケーション")に"Sikarugir"フォルダがあるのでそれを開く
3で指定した名前のアプリを開く(アイコンはSikarugirという茶色いもの)
"Advanced"を選ぶ
"Tools"タブを選び"Winetricks"ボタンを押す
Search for packagesのところにfakejと入れるとfontsの中にfakejapaneseがあるのでチェックを入れてRun→Yesを押して暫く待つ
" Winetricks Commands Finished!!"と出たらClose
左下の"Install Software"を選ぶ
インストーラがある場合は"Choose Setup Executable"を選ぶ。(単にzipを展開しただけで使えるソフトの場合は"Copy a Folder Inside"で良いが，フォルダ名はシンプルにした方が良さそう)
最後に実行するexeファイルを聞いてくるので適切なものを選ぶ(分からない場合は片っ端から選んで"Test Run")

6からのカスタマイズは後からも実行可能で，Wrapperアプリ上で右クリックして，"パッケージの内容を表示"で，"Sikarugir"アプリがあるのでそれを実行する。

インストール後の設定

登録されたアプリで右クリックして内容を表示させ，Contentsの中にある.appを起動するとセットアップと同じウィンドウが開くので設定が可能

字が小さい

SikarugirのAdvancedからToolsタブで"Config Utility(winecfg)"を選び，"画面"で96dpiとなっているものを変える。今のMacだと168dpiあたりだが，ちゃんと適用されるかはアプリの仕様次第。高解像度に対応できないソフトは実用上120くらいが限度。

アプリ(Sikarugir Wrapper)を消したい

システムで重要なファイルそのものはWrapperに含まれないので，macOSのアプリと同様に単にそのアプリをゴミ箱に捨てれば良いが，ToolsメニューにUninstallerがあるので恐らくそれを使った方がマナーは良いかも知れない。

アイコンを変えたい場合

icoextractみたいなexeやdllからアイコンを引っこ抜くツールを使えば変更可能だが，リバースエンジニアリングの類な気もするので要注意。

Google Cloud Shellの日本語化(gcc+デバッグ込み) 2025版

2025-07-30T22:20:00+09:00

Webブラウザ上でコーディングとshellによる操作が可能なCloud Shell Editorがとても便利。ただし50時間/週の制限がある。

三の字のアイコンからTerminal->new terminalでターミナルを開く。

機能的にはエディタはVS Codeの拡張機能組込み版みたいな感じで，Shellの方はUbuntu 24.04が動いている。

$ cat /etc/issue
Ubuntu 24.04.2 LTS \n \l

ただし，どちらも日本語は表示は可能でもメニュー等は英語のまま。せめてShellのメッセージやmanを日本語化しようということで，Ubuntuの日本語化の方法を一通り実行。

確認作業

ここで説明している作業を実施しても，セッションが切れると環境がリセットされるが，短時間ブラウザを閉じた程度だと継続してくれている。

locale -a

とやってja_JP.utf-8が存在していれば作業不要だが，入ってない。

日本語化

以下を1行ずつコピペする

sudo sh -c "echo 'ja_JP.UTF-8 UTF-8' >>  /etc/locale.gen"
sudo locale-gen
sudo apt update; sudo apt install task-japanese -y
wget -c https://github.com/gcc-mirror/gcc/raw/releases/gcc-13/gcc/po/ja.po
msgfmt -o gcc.mo ja.po
sudo cp gcc.mo /usr/share/locale/ja/LC_MESSAGES/gcc-13.mo
echo "export LANG=ja_JP.utf-8" >> ~/.profile
source ~/.profile

わかりやすいかは疑問だが英語で思考停止する人には良い。

分けて説明

localeとしてja_JP.utf-8が有効になっていないので/etc/locale.genファイルに追記し，locale-genで生成する。あとtask-japaneseは日本語manとか。

sudo sh -c "echo 'ja_JP.UTF-8 UTF-8' >>  /etc/locale.gen"
sudo locale-gen
sudo apt update; sudo apt install task-japanese -y

gccの.moファイル(メッセージのローカライゼーションファイル)が無いのでgccのソースミラーから拾って生成する。moファイルは実体と一致しないとダメなので

$ file /usr/bin/gcc
/usr/bin/gcc: symbolic link to gcc-13

で出てきたgcc-11に合わせている。

wget -c https://github.com/gcc-mirror/gcc/raw/releases/gcc-13/gcc/po/ja.po
msgfmt -o gcc.mo ja.po
sudo cp gcc.mo /usr/share/locale/ja/LC_MESSAGES/gcc-13.mo

シェルを開いたときにja_JP.utf-8が環境変数LANGになるよう設定して読み込み

echo "export LANG=ja_JP.utf-8" >> ~/.profile
source ~/.profile

デバッガ

拡張機能にExtension Pack for C/C++がある。これを入れるとデバッガ拡張だけ入るので，launch.jsonでデバッガが使える。自動ビルドは出来ない。

まず，「ファイル」アイコンからOpen Folderを選んでファイル置き場を開く。次にエディタで.cなファイルを開いた状態で，"Run"->"Add Configuration"で勝手にlaunch.jsonが出来るが以下のような内容にする。

{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [

        {
            "name": "C/C++ Debug (gdb Launch)",
            "type": "cppdbg",
            "request": "launch",
            "program": "${fileDirname}/${fileBasenameNoExtension}",
            "args": [],
            "stopAtEntry": true,
            "cwd": "${workspaceFolder}",
            "environment": [],
            "MIMode": "gdb",
            "setupCommands": [
                {
                    "description": "Enable pretty-printing for gdb",
                    "text": "-enable-pretty-printing",
                    "ignoreFailures": true
                }
            ]
        }
    ]
}

コンパイルするときにソースと同じ名称のプログラムを-gオプション付きでコンパイルする必要がある。たとえばhelloworld.cだったら

gcc -g helloworld.c -o helloworld

あとは左のデバッグアイコンを選び，ブレークポイントを設定しておけば▶C/C++ Debugでデバッガが動く。

M1 MacでWindowsアプリを使う

2025-04-18T22:00:00+09:00

※WineskinServerが知らぬ間にKegworksになってた

PlayOnMacとかHomebrewからのCrossover Wineとかあるようだが、Kegworksが使いやすかった。講義で示すような用途の場合はUTM とか Parallelsの仮想マシンで、とりあえず単発で動けばラッキー程度ならWineという感じになる。Wineは仮想マシンではなく、Windowsと互換性を持つシステムを作ったもので対応外のアプリも多数あるし日本語の表示も微妙だったりするのでハードルは高い。

Kegworksは単一の互換システムにアプリケーションをぶら下げるのではなく、Windowsアプリケーションごとに.appを作成する(.appフォルダはmacOSから見たアプリケーション本体)。(Wrapperと呼ぶ) デメリットは容量を食うところ。共通のWindowsリソースは一応共有しているが、WrapperごとにWine Engineを任意のバージョンから選べるようにした仕組みのためWine関係のファイルについては独立して.app内に置かれている。容量としては1アプリあたり1GB+そのアプリのファイルと考えると良さそう。

使い方の詳しい説明はここに載ってるのでそちらを参照すると良い。

Kegworksで動作確認したソフト

Micro-CAP 10
LTspice (macOS版もあるが使いにくいのでWindows版を使いたい) ※All Usersを選びC:/Program Files/ADI/LTspice/LTspice.exeを使う
Emu48
V41 (追記)
Visual Studioの再頒布ファイル(Redist)が必要な場合でも一度インストールした後でWrapperアプリ上で右クリックして、"パッケージの内容を表示"で、"Wineskin"アプリを起動してからInstall Softwareで追加インストールできる(その後もExeファイルがV41.exeのままになっていれば問題ない)
キーコードがハードコードされてるプログラムで普通にキーを打っても応答しないが，何故かCmdキーを押しっぱなしだと入力できる(Wineの機能なのかは不明)

Kegworksの導入

Homebrewでインストール

brew upgrade
brew install --cask --no-quarantine Kegworks-App/kegworks/kegworks

Kegworks Wineryがアプリケーションにあるので起動
"Installed Engines"が空なので、+ボタンでWineのエンジンを追加する。押せば最新版が推奨されるのでそれをインストールする
Wrapper Versionのところで"Update"が有効になっていたらそれもアップデートする

これで本体の導入は終わり。

Wrapperの作成

KegworksはWindowsアプリをmacOSのアプリのように見せ掛けるのでWrapperと呼んでいる。

Kegworks Wineryを起動
"Create New Blank Wrapper"を選ぶ
Create a Wrapperというウィンドウが開くので、そこに英数字で使う予定のアプリ名を書く(例えばLTspice)
暫く待つとWrapper Creation Finishedと出るので自分のApplicationフォルダ(通常 /Users/unername/Application でFinderの"移動"→"ホーム"からApplicationまたは"アプリケーション")に"Kegworks"フォルダがあるのでそれを開く
3で指定した名前のアプリを開く(アイコンはKegworksという茶色いもの)
"Advanced"を選ぶ
"Tools"タブを選び"Winetricks"ボタンを押す
Search for packagesのところにfakejと入れるとfontsの中にfakejapaneseがあるのでチェックを入れてRun→Yesを押して暫く待つ
" Winetricks Commands Finished!!"と出たらClose
左下の"Install Software"を選ぶ
インストーラがある場合は"Choose Setup Executable"を選ぶ。(単にzipを展開しただけで使えるソフトの場合は"Copy a Folder Inside"で良いが、フォルダ名はシンプルにした方が良さそう)
最後に実行するexeファイルを聞いてくるので適切なものを選ぶ(分からない場合は片っ端から選んで"Test Run")

6からのカスタマイズは後からも実行可能で、Wrapperアプリ上で右クリックして、"パッケージの内容を表示"で、"Kegworks"アプリがあるのでそれを実行する。

字が小さい

KegworksのAdvancedからToolsタブで"Config Utility(winecfg)"を選び、"画面"で96dpiとなっているものを変える。今のMacだと168dpiあたりだが、ちゃんと適用されるかはアプリの仕様次第。

アプリ(Kegworks Wrapper)を消したい

システムで重要なファイルそのものはWrapperに含まれないので、macOSのアプリと同様に単にそのアプリをゴミ箱に捨てれば良いが、ToolsメニューにUninstallerがあるので恐らくそれを使った方がマナーは良いかも知れない。

アイコンを変えたい場合

icoextractみたいなexeやdllからアイコンを引っこ抜くツールを使えば変更可能だが、リバースエンジニアリングの類な気もするので要注意。

PythonとMaixSense A010

2024-07-13T19:20:00+09:00

MaixSense A010 ToFセンサーの続き

ROS2で使ってみたマルツで売ってる格安100x100 ToF (Switch Scienceは売り切れ)を今度はPythonで動かす。

技術情報
ATコマンド一覧と説明
技術情報のページにあるキーボードを使ったデモのソース(maixsense-010-20220909-examples.zipにmetasense.pyとutils.pyが含まれる)

仕様的にPySerialでATコマンドを送れば使えて，実際そうやってるサンプルもネットに存在する。

もうちょいMaixSense周りの処理は簡単に表現してに使いたいと思ったら，手のトラッキングのデモがあった。そのソースはPython-hand-detectで公開されていてmediapipeにDepthを渡している。

ソースを見るとfrom metasense import MetaSenseとあるものの，pypiにもcondaにも存在せず。上のキーボードを使ったデモのソースに含まれていた。これが正式な配布なのか不明。

pyserialは必要なので入れておく。上記のキーボードを使ったデモのソースに含まれる，utils.pyとmetasense.pyを一緒に置いて実行する。 LCDやUARTに出すか出さないかで安定度がだいぶ変わる。

USBのみ出力にしておけば実測はしてないがFPS=19でヌルヌル動く

import time
import cv2
import numpy as np
from metasense import MetaSense

COM_PORT = "/dev/tty.usbserial-202206_E8C25B0"
BASE_BARTRATE = 115200

# sendCmdはちゃんとsleepで待つと有効
# 速いFPSを使いたい場合はDISPを絞る
# DISP=2: USBのみ (FPS=19でヌルヌル動く)
# DISP=3: USBとLCD (FPS=5くらいにしないと途中で固まる)
# UNITは1-9のときは UNIT mm刻みの画素値(1なら255で255mm)
# UNITは10まで良いと書いてあるが10にすると0の挙動になる
# UNIT=0のときは可視化重視モードでToFが近場の解像度が良いことから5.1*sqrt(x)らしい
QUANTIZE = 9 # mm が 濃度値1
DISP = 2
FPS=19

if __name__ == '__main__':
    # init metasense
    while True:
        try:
            metasense = MetaSense(COM_PORT, BASE_BARTRATE)
        except:
            time.sleep(0.1)
        else:
            if metasense.ser.is_open:
                break
    metasense.start()
    metasense.sendCmd("AT+DISP={}\r".format(DISP))
    time.sleep(1.0)
    metasense.sendCmd("AT+UNIT={}\r".format(QUANTIZE))
    time.sleep(1.0)
    metasense.sendCmd("AT+FPS={}\r".format(FPS))
    time.sleep(1.0)

    try:
        while True:
            frame = metasense.tof_data_queue.get()
            frame_id = frame['frameID']
            frame_res = frame['res']
            frame_data = frame['frameData'] # Depth
            frame_data0 = frame['frameData'] # 疑似カラー用

            frame_img0 = np.array(frame_data0, np.uint8).reshape(frame_res[0], frame_res[1])
            frame_img0 = cv2.flip(frame_img0, 1)
            frame_img0 = cv2.applyColorMap(frame_img0, cv2.COLORMAP_JET)

            # 濃度値100より遠いのは0 (UNIT=0のときは (th/5.1)^2 で，th=100で384mm)
            # UNIT:1-9のときは th*UNIT mm
            th = 100
            for idx,data in enumerate(frame_data):
                if(data > th): frame_data[idx] = 0
            # convert frame data to image
            frame_img = np.array(frame_data, np.uint8).reshape(frame_res[0], frame_res[1])
            # rotate image 180 degree
            frame_img = cv2.flip(frame_img, 1)
            color_img =  cv2.applyColorMap(frame_img, cv2.COLORMAP_JET)
            th_img = cv2.resize(color_img, (frame_res[0] * 10, frame_res[1] * 10))
            frame_img0 = cv2.resize(frame_img0, (frame_res[0] * 10, frame_res[1] * 10))
            cv2.imshow("frame0", frame_img0)
            cv2.imshow("th", th_img)
            cv2.waitKey(1)
    except KeyboardInterrupt:
        metasense.terminate()
        exit()

Apple SiliconなマシンでROS2

2024-07-10T21:20:00+09:00

なんやかんやでROS2をmacOSで使えた方が便利なので導入してみる。

基本的にはここの手順なのだが

SIPは無効にしなくてもとりあえずは動く(?)
python3はHomebrewに限らず3.12を入れてるとハマるが3.11ならvenvでも問題なし
/usr/local/libに余計なx86_64なdylibがあるとそっちを拾ってくるのでM1登場初期にbrew86を運用していた人は全部消した方が良い
途中でよくわからんがfastcdrでコケるがbuildの中に入ってmake installして再度workspaceのビルドをかけると通る
ここで入らないros2関係のインストールはたぶん苦行(cv_bridgeも諦めた)

ちなみにhomebrewでpython3.12を消すとvimが使えなくなる(大損害)。問題なのはCMakeが呼ばれたとき(見境なくPython3.12を拾ってくる)なので，ビューワとかトピック監視用途とかで割り切ってしまうか，colcon buildの度に3.12とQt6を消せばたぶん使える。

ビルドの最中何度かコケるが

cd build/fastcdr
make
make install
cd ../fastrtps
make -j8
make install
cd ../..

でまたビルドのコマンドを投げると通る。

あとrosbag2_pyのsrc/ros2/rosbag2/rosbag2_py/src/rosbag2_py/_reader.cppでコケるが

  void open(
    rosbag2_storage::StorageOptions & storage_options,
    const rosbag2_cpp::ConverterOptions & converter_options = rosbag2_cpp::ConverterOptions())
  {
    reader_->open(storage_options, converter_options);
  }

のようにconstを追加すると通る。

で，一通り入るがGazeboは別。あとcv_bridgeをビルドしようとするとOpenCV->boost-python(homebrewはpython3.12用)と芋蔓式に面倒臭さが増えていくので諦める。

ROS_MASTER_URIとROS_IPさえちゃんと設定しておけばRaspberry Pi OSでMaixSense A010なる100x100のToF Depthカメラでpublishしてるのを受け取れた。

(ドキュメントにあるようにtopicで追加でPointCloud2とかImageとかでTFをtofにする)

NumPy 2.0

2024-06-19T20:20:00+09:00

NumPy 2.0の混入

2024-6-17にNumPy2.0がリリースされたらしく，その前後でpipでのデフォルトバージョンが2.0に置き換わった模様。依存関係でインストールされる場合にも2.0が適用されるので，今迄動いていた環境をpip -r で再構築しようとしたときにNumPyのバージョン指定をしていないと確実に動かない状況で，インストール時にNumPyって2だっけか?と思って気付いて助かった。当面は

python3 -m pip install "numpy<2"

とした方が良さそう。

WindowsでのオススメのPython環境 2024版

2024-06-05T20:20:00+09:00

普通にPython.orgからダウンロードして入れましょうという話。

これまでオススメのPython環境はAnacondaだったもののNavigatorでトラブルが発生するとかなり面倒だったり，condaがいつまでたっても依存関係を解決してくれなかったりとイマイチな状況が増えてきたのと，結局のところpip使わないで済むことは無いのでcondaではなくpipで統一してしまった方が楽だというのが動機でpy.exeの存在が決定的。macOSでもAnacondaではなく標準+pyenv+venvになってる。

1. Pythonのインストール

公式の配布サイトから3.11.xをダウンロードして実行。

インストーラの画面は特に弄らずそのままInstall Nowを選ぶ。

"Setup was successful"と出たらインストール完了。

そのウィンドウにDisable path length limitという表示があったらそれを選択する。Windowsに限らず環境変数PATHという概念があり，そこに羅列したフォルダ内のプログラムはどこからでも呼び出せる，というOSの仕組みがある。macOSやUnixは問題ないのだが，WindowsはC:\Program FilesまたはC:\Program Files(x86)みたいなアホ長いフォルダが標準的なインストール先なのでPATHに羅列しようとすると凄まじい長さになるのが明白にもかかわらず，環境変数に設定できるのが260文字までというアホな制限がある。それを回避する方法がこの選択肢。

Windowsメニューの「すべてのアプリ」にPythonフォルダが出来ている。

黒っぽいアイコンのPython 3.xx(64-bit)を選ぶとコマンドプロンプトの黒い画面が開き

>>

のような入力待ち(プロンプトと呼ぶ)になるのでquit()と打って一旦終了させる。

2. パッケージのインストール

Windowsメニューの検索にcmdと打ってコマンドプロンプトを起動する。

pipのアップグレード

Pythonのインストール時にpy.exeというプログラムもインストールされていて，自動的に「今使うPython」を呼び出す仕組みになっている。Pythonはパッケージ(機能)を呼び出すときに

python -m パッケージ名 パッケージのオプション

とするか，パッケージによっては

パッケージ名 パッケージのオプション

のような感じで起動するのだが，後者はWindowsだと手間のかかるPathの設定が必要なので，py.exeと前者を組み合わせて使う。例えばよく

pip install -U pip

と実行しろと説明しているサイトが多いが，「パッケージ管理のpipを使ってpip自身をアップグレード(-U)しろ」というコマンドは

py -m pip install -U pip

と書く(.exeは付けなくて良い)。ということでまずは↑のコマンドをコマンドプロンプトで実行してpipをアップグレードする

基本環境の作成 (venv)

Pythonのパッケージでインストールするもののなかで，py ナントカではなくナントカのようにコマンドとしてインストールされるものもあるが，それを有効にするにはC:\Users\username\AppData\Local\Programs\Python\Python311\Scriptsのような環境依存の場所へのPathの設定が必要になる。その代わりにvenvで基本環境も仮想環境として作成してしまう。

ここではAnacondaを真似てbaseにすると紛らわしいのでdefaultという名前の仮想環境を作る。

py -m venv default

以後，Pythonを使うときにはコマンドプロンプトを開き

default\Scripts\activate

を必ず実行してから使う。

(default) C:\Users\username>みたいなプロンプトになる。これの利点はactivateを実行するとその仮想環境のScriptsにPathが通ることで，たとえばipythonをインストールした後で

py -m IPython

とせずに

ipython

で起動できる。※まだインストールしてない (ipythonがScriptsにインストールされる)

無難なパッケージのインストール

何をやるにしろあった方が便利なものを一通り入れておく。コマンドプロンプトに以下をコピペする。(^は長いコマンドに途中改行させる方法)

py -m pip install jupyter notebook ipython opencv-python ^
 opencv-contrib-python numpy scipy scikit-image scikit-learn ^
 pillow pandas matplotlib seaborn mediapy pyqt5 ^
 qtconsole jupyterlab

ipython: 普通のpythonより親切なPythonインタプリタIPython
jupyter: NotebookとLabで使うエンジン
jupyterlab: Jupyter Lab。MATLABっぽいNotebook+コマンド+インタプリタな何でもあり版な開発環境
matplotlib: グラフや画像の表示に使う可視化
mediapy: Notebookで画像や動画を楽に表示できる
notebook: Jupyter Notebookというブラウザベースで動くPythonの開発環境(ノートを取りながらPythonを実行できるので人気)
numpy: 行列演算ライブラリ
opencv-python: コンピュータビジョンライブラリOpenCV
opencv-contrib-python: OpenCVの正式版には含まれていない機能の追加
scipy: 科学技術系ライブラリ
scikit-image: SciPy toolkit=scikitでscipyのサブモジュールの一つで画像処理関係
scikit-learn: scipyのサブモジュールの一つで機械学習関係
pandas: データ解析でR言語っぽい動きをする
pillow: PIL(Python Imaging Library)という古くからある画像処理ライブラリから派生した現代版で呼び出しはPILとして互換性が保てる
pyqt5: Qt(キュート(Cute)と読む)のPython版でなぜかパイキューティーと読まれる。GUIアプリのベースとなるものでqtconsoleで使う
qtconsole: コマンドプロンプトでもIPythonは使えるが，こっちだと画像が表示できる。
seaborn: 可視化でmatplotlibよりダサくない

が入れるもの。

default\Scriptsフォルダには下記がインストールされる。

 C:\Users\username\default\Scripts のディレクトリ

[.]                        [..]                       activate                   activate.bat
Activate.ps1               deactivate.bat             f2py.exe                   fonttools.exe
httpx.exe                  imageio_download_bin.exe   imageio_remove_bin.exe     ipython.exe
ipython3.exe               jlpm.exe                   jsonpointer                jsonschema.exe
jupyter-console.exe        jupyter-dejavu.exe         jupyter-events.exe         jupyter-execute.exe
jupyter-kernel.exe         jupyter-kernelspec.exe     jupyter-lab.exe            jupyter-labextension.exe
jupyter-labhub.exe         jupyter-migrate.exe        jupyter-nbconvert.exe      jupyter-notebook.exe
jupyter-qtconsole.exe      jupyter-run.exe            jupyter-server.exe         jupyter-troubleshoot.exe
jupyter-trust.exe          jupyter.exe                lsm2bin.exe                normalizer.exe
pip.exe                    pip3.11.exe                pip3.exe                   pybabel.exe
pyftmerge.exe              pyftsubset.exe             pygmentize.exe             pyjson5.exe
pylupdate5.exe             pyrcc5.exe                 python.exe                 pythonw.exe
pyuic5.exe                 pywin32_postinstall.py     pywin32_testall.py         qtpy.exe
send2trash.exe             tiff2fsspec.exe            tiffcomment.exe            tifffile.exe
ttx.exe                    wsdump.exe                 [__pycache__]

pip, ipython,jupyter-*あたりがよく使いそうなもの。

3. IPythonを使ってみる

ipython

で起動する。exit, quitで終了できる(標準のインタプリタと異なり括弧()が要らない)

ちなみに

py -m IPython

のようにPythonのモジュールとしてインストールされるものはScripts内のコマンドを使わなくてもpyに-mを付けてモジュール名を指定すれば使える(quitで終了)

%edit とエディタの変更

IPythonで

%edit hello.py

のように%editの後にファイル名を付けるとMagicコマンドでエディタが起動して，エディタを閉じるとそのファイルが実行される。デフォルトはnotepad(メモ帳)で微妙な使い心地なので変更したい場合は下記のようにする。

Windowsメニューから使いたいエディタのアイコンを右クリックして「詳細」→「ファイルの場所を開く」を選ぶ。ショートカットが置かれた場所のエクスプローラーが開くので，そのアイコンを右クリックして「プロパティ」を選ぶ。「リンク先」をコピーしておく。

コマンドプロンプトで

ipython profile create

と打つと

[ProfileCreate] Generating default config file: WindowsPath('C:/Users/username/.ipython/profile_default/ipython_config.py')
[ProfileCreate] Generating default config file: WindowsPath('C:/Users/username/.ipython/profile_default/ipython_kernel_config.py')

と表示されるので最初の方を編集する。これもコマンドプロンプトで

notepad .ipython\profile_default\ipython_config.py

と打つ。するとIPythonの設定ファイルが開くので，editorという単語を検索する。このファイルは#が先頭にあるとコメントアウトされた状態なので，そこを編集する。

# c.TerminalInteractiveShell.editor = 'notepad'

とある'notepad'のところにさっきコピーしたリンク先を貼り付け，先頭の#とスペースを消してからバックスラッシュか￥を半角のスラッシュ/に書き換える。

c.TerminalInteractiveShell.editor = "C:/Users/username/AppData/Local/Programs/Microsoft VS Code/Code.exe"

のような感じになる。「ファイル」「保存」して再びコマンドプロンプトでIPythonを起動してから

%edit hello.py

でvscodeが開くので

print('Hello, world!')

とでも書いて保存してvscodeを終了すると，IPython上で実行される。

QtConsole

qtconsoleの方が応用が効くので

jupyter-qtconsole

とすると、QtのUIを使ったIPythonが使える。ただし、mediapyのshow_*はインライン表示に使えないのでmatplotlibのimshowを使う必要がある。

from urllib.request import urlretrieve
urlretrieve('https://www.python.org/static/img/python-logo@2x.png',
 'python-logo.png')

で入手したファイルをインライン表示するには

import matplotlib.pyplot as plt
import mediapy as media
plt.imshow(media.read_image('python-logo.png'))

とする。(matplotlibを使った場合)

import PIL
PIL.Image.open('python-logo.png')

も表示できる。(PILを使った場合)

from IPython.display import display, Image
display(Image('python-logo.png'))

だとIPythonかJupyter Notebook専用になるが表示できる。

from IPython.display import display
import mediapy as media
display(media.read_image('python-logo.png'))

だとndarrayと見做されて生データがドバーっと出る。

IPython同様にquitでウィンドウが閉じる。

これもデフォルトのエディタの設定がnotepadになっているので変更が必要で，コマンドプロンプトで

jupyter-qtconsole --generate-config

で設定ファイルを .jupyter\jupyter_qtconsole_config.py に生成できるのだが，c.JupyterWidget.editor = 'notepad'を弄っても反映されない。

4. Jupyter Notebookを使ってみる

コマンドプロンプトでJupyter Notebookのサーバーを起動する命令なのだがデフォルトでそのページを開くようOSに命令を出すのでブラウザが起動する。

コマンドプロンプトを起動
Jupyter Notebookのサーバーを起動
色々作業
Notebookで「閉じて終了」を選ぶ
コマンドプロンプトでCtrl+Cを2回入力してサーバーを停止

という流れになる。当たり前だがブラウザが開いた後にコマンドプロンプトを閉じると使えなくなるので注意。

jupyter-notebook

でブラウザが起動しJupyter Notebookが使える。 Newボタンを押すとPython3が出るので選択するとNotebookが新規作成される。

Notebookはセルという単位で分割されていて，セルにはコードセルとMarkdownセルがある(MarkdownはWikipediaとかを参照)。

Markdownで説明を書き，その下にコードセルでPythonプログラムを書くような流れで「実験ノート」が作れる。Markdownの表示やコードの実行はCtrl+EnterまたはShift+Enter。

from urllib.request import urlretrieve
urlretrieve('https://www.python.org/static/img/python-logo@2x.png', 'python-logo.png')
import mediapy as media
media.show_image(media.read_image('python-logo.png'))

保存した後で，ブラウザのJupyter NotebookでSaveで保存してからClose and Haltでタブを閉じる(ブラウザのタブを閉じてもPythonのプロセスは停止してくれない。ファイル一覧で緑色のアイコンがそれを意味する)。その後File->Shut downを選ぶか，コマンドプロンプトで「Ctrl+C」を打ってJupyter Notebookのサーバーを終了させる。

ちなみに保存されるのは.ipynb(IPython Notebookと名乗っていた時代の名残り)という拡張子のファイルで，Visual Studio CodeやGoogle Colaboratoryでも開ける。

NewボタンではText Fileを選ぶとテキストエディタとなり，テキストエディタのFile-Renameで.py付きのファイル名(例えばHello.py)にするとPython用のハイライト表示エディタになる。また，NewからTerminalを選ぶとコマンドプロンプトの親戚のようなPower Shellが開くので，.pyファイルを編集して

py なんとか.py

みたいにPythonスクリプトを実行できる。

5. Jupyter Labを使ってみる

Notebookと同じノリで起動する。Notebookだとエディタもターミナルもブラウザの別タブになって鬱陶しいが，Jupyter Labは一つのウィンドウに収まる。

サーバーとして起動するのはNotebookと同様で，

jupyter-lab

でブラウザが開き、JupyterLabが表示される。JupyterLabはJupyter Notebookの豪華版という感じで、

Notebookでのプログラミング
IPythonでのコマンド実行
.pyファイルを使ったプログラミング
ターミナルでの作業(WindowsだとPowershellがデフォルト)

が可能。

とりあえずの開発環境としてはこれが無難。

6. その他

(あくまでもWindowsのマシンで)PythonをLinuxで動かす

WindowsでPython(特に外部パッケージ)を扱うのは今はだいぶ良くなったとはいえ「動いたらラッキー。動かなかったらがんばりましょう」という認識でいた方が良い。できればUbuntu等のLinux系を使う方がトラブルが少ないので，もう少し凝った使い方としては以下がある。

特に深層学習フレームワークを使う場合にはLinux系OSで扱う場合が殆どなので今のうちから慣れておくと良い。

WSL2
Windows Subsystem for Linuxの略称で，Microsoftが提供していて，Winodws上でまんまLinuxが動くので，Ubuntu等のPython利用の解説がまんま使える
NVIDIAがCUDA Driverも出してるのでNVIDIAのGPUを積んだマシンならWSL2上でTensorflowとかPyTorchが使える
WSL2+Docker
様々な環境を搭載したコンテナを拾ってきて直ぐに試せるうえにVMと違ってディスク容量をそこまで圧迫しない
WSL2+Docker+VSCode
Visual Studio CodeはMicrosoft製のテキストエディタだが，拡張機能でコンテナ上の開発環境を使ってプログラミング，とかが楽にできる。
VSCodeに慣れると，リモートホスト上のDockerコンテナ上で開発。のようなことも出来る。

他のバージョンのPython

LinuxやmacOSの場合はpyenvという便利な解決法があるのだが，Windowsの場合案外面倒そうなので素直に特定のマイナーバージョンのインストーラをPython.orgから持ってくるのが楽。その上で，

set PY_PYTHON=バージョン

を指定すると，そのコマンドプロンプト上では以後py.exeが勝手にそっちのバージョンを使ってくれる。例えば，3.11と3.10を入れている場合

set PY_PYTHON=3.10

と打てば以降3.10.xが使え，

set PY_PYTHON=3.11

とすれば3.11.xが使える。

仮想環境

ある特定のバージョンのopencv-pythonが必要だが，普段は最新のopencv-pythonを使いたい。とか，requirements.txtで指定されている環境を作りたい。とか，Pythonでのパッケージのバージョン環境は簡単に崩壊する。特に深層学習フレームワークについては後方互換性をバッサリ切っているものが多いので，色々試したい場合には環境を変えて作業した方が安全。

安全な解決方法は

作業ごとにPCを用意する
作業ごとにDockerでコンテナを作る

とかなのだが，Pythonの環境だけ切り替えて使える機能が仮想環境である。condaとかvirtualenvとかがよく使われてきたが，最近は公式のvenvを使うのがトレンドらしい。

自分が作業をするフォルダで

py -m venv 仮想環境名

と打つと，「仮想環境名」のフォルダが出来る。そこのScriptsフォルダにactivate.batがあるのでそれを実行する(PowerShellの場合はActivate.ps1)。上の方で基本環境としてdefaultという名前で作成したが，別の開発環境として例えばvenvHelloみたいな名前にすると，

py -m venv venvHello
venvHello\Scripts\activate

と打つと，プロンプトの頭に(venvHello)のように仮想環境名が表示されるので，あとはpipなりで環境構築すれば良い。

Google Cloud Shellの日本語化(gcc込み) 2024版

2024-06-05T19:20:00+09:00

Webブラウザ上でコーディングとshellによる操作が可能なCloud Shell Editorがとても便利。ただし50時間/週の制限がある。

三の字のアイコンからTerminal->new terminalでターミナルを開く。

機能的にはエディタはVS Codeの拡張機能組込み版みたいな感じで，Shellの方はUbuntu 22.04が動いている。

$ cat /etc/issue
Ubuntu 22.04.4 LTS \n \l

確認作業

ここで説明している作業を実施しても，セッションが切れると環境がリセットされるが，短時間ブラウザを閉じた程度だと継続してくれている。

locale -a

とやってja_JP.utf-8が存在していれば作業不要だが，入ってない。

日本語化

以下を1行ずつコピペする

sudo sh -c "echo 'ja_JP.UTF-8 UTF-8' >>  /etc/locale.gen"
sudo locale-gen
sudo apt update; sudo apt install task-japanese -y
wget -c https://github.com/gcc-mirror/gcc/raw/releases/gcc-11/gcc/po/ja.po
msgfmt -o gcc.mo ja.po
sudo cp gcc.mo /usr/share/locale/ja/LC_MESSAGES/gcc-11.mo
echo "export LANG=ja_JP.utf-8" >> ~/.profile
source ~/.profile

わかりやすいかは疑問だが英語で思考停止する人には良い。

分けて説明

localeとしてja_JP.utf-8が有効になっていないので/etc/locale.genファイルに追記し，locale-genで生成する。あとtask-japaneseは日本語manとか。

sudo sh -c "echo 'ja_JP.UTF-8 UTF-8' >>  /etc/locale.gen"
sudo locale-gen
sudo apt update; sudo apt install task-japanese -y

$ file /usr/bin/gcc
/usr/bin/gcc: symbolic link to gcc-11

で出てきたgcc-11に合わせている。

wget -c https://github.com/gcc-mirror/gcc/raw/releases/gcc-11/gcc/po/ja.po
msgfmt -o gcc.mo ja.po
sudo cp gcc.mo /usr/share/locale/ja/LC_MESSAGES/gcc-11.mo

シェルを開いたときにja_JP.utf-8が環境変数LANGになるよう設定して読み込み

echo "export LANG=ja_JP.utf-8" >> ~/.profile
source ~/.profile

デバッガ

Cloud ShellエディタのデバッガはGo,Node.js,Python,Javaのみ対応なのでC/C++は諦めてgdb(+TUIとか)を使う

Windows11+WSL2+WSLg+Docker

2024-06-05T08:20:00+09:00

WSL2関係のまとめ

WSL2関連で色々様変りしていたのでwikiの方にまとめました。

Docker DesktopでのGPUサポート (NVIDIA Docker toolkitは不要)
WindowsのCUDAドライバ関係が入ってればWSL2用のLinuxドライバは不要

WSL2を入れてもエラーが出る (WslRegisterDistribution failed with error)

ここの記事の手順で解決。

Windows+WSL2でGithubで配布されてるものを試す環境構築

2023-06-21T19:20:00+09:00

※この情報は古いです。wikiの方にまとめました。

1. WSL2のインストール

Microsoftのサイトの説明に従いWSL2を入れる。

PowerShellを管理者権限で起動して

wsl --install

ここでWSLは既に入っていてディストリビューションがどうこうと出てきたら ```PowerShell! wsl --install -d Ubuntu

としてUbuntuを入れる

```bash
Ubuntu は既にインストールされています。
Ubuntu を起動しています...
Installing, this may take a few minutes...
Please create a default UNIX user account. The username does not need to match your Windows username.
For more information visit: https://aka.ms/wslusers
Enter new UNIX username:

のようにWSL2上でのユーザー名を聞いてくるのでスペース無しの半角英字でユーザー名を入れる。その後パスワードも聞かれるので2回パスワードを入れる(あとでしょっちゅう使うので忘れないように)

Enter new UNIX username: momma
New password:
Retype new password:
passwd: password updated successfully
この操作を正しく終了しました。
Installation successful!
To run a command as administrator (user "root"), use "sudo <command>".
See "man sudo_root" for details.

Welcome to Ubuntu 22.04.2 LTS (GNU/Linux 5.15.90.1-microsoft-standard-WSL2 x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage


This message is shown once a day. To disable it please create the
/home/momma/.hushlogin file.
momma@ASUS2022-0:~$

みたいな感じでUbuntuが使える状態になる。

次回以降はWindowsのメニューからUbuntuを選択すれば使える。

Error: 0xc004000dが出た場合

コントロールパネルの「プログラム」で「プログラムと機能」の中に「Windowsの機能の有効化または無効化」があるのでそれを選んでから「仮想マシンプラットフォーム」にチェックを入れる(要再起動)。その後WSL2を再度インストールする。

WSL2上でX11アプリの確認

sudoコマンドをそのセッションで初めて使うときはパスワードを聞かれるのでsudoの行だけコピペする。

sudo apt install -y x11-apps mesa-utils
xeyes

でマウスカーソルを目玉が追うxeyesのウィンドウが開いたらGUIアプリケーションの実行は成功。

glxgears

で、ギアが回るアプリケーションが起動したらOpenGL関係のアプリケーションも使える。

2. Ubuntu上でpyenvを使えるようにする

sudo apt update; sudo apt upgrade -y; sudo apt install -y build-essential git \
python3-setuptools python3-pip libssl-dev libffi-dev zlib1g-dev libbz2-dev \
libreadline-dev libsqlite3-dev wget llvm \
libncurses5-dev xz-utils tk-dev libxml2-dev \
libxmlsec1-dev liblzma-dev python3-venv
curl https://pyenv.run | bash
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'command -v pyenv >/dev/null || export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc

で.bashrcに設定が書き込まれるので、WSL2(というかWindowsメニューにUbuntuと出てくる)を開き直すか、

source ~/.bashrc

を実行する。これで

pyenv

を実行すると実行時オプションが表示される。

※Windows版のpyenvをインストールしていると、PATHの共有化でかなりややこしい話になるので、Windowsの方はPATHから外しておいた方が良い

3. 特定バージョンのPythonのインストール

pyenv versions

と打つと最初は" * system "しか出てこない。

pyenv global

や

pyenv local

でも"system"しか表示されない。これはUbuntuでインストールされるPythonを使う(というかそれしか存在していない)状態で、

pyenv install --list

とするとインストール可能なPythonのバージョン、配布形態の一覧が表示されるので、そこから選んで追加してから使うのがpyenvでのバージョン制御になる。例えば古いPython3.8を使いたい場合はその中で一番マイナーバージョンの数字が大きい3.8.17を入れることになる。(セキュリティパッチのタイミングでバージョンは更に上がる可能性があるのでちゃんと自分で確認すること)

pyenv install 3.8.17

でインストールが始まる。

インストールが終わったらまた

pyenv versions

を実行すると今入れた3.8.17が増えているので、

pyenv global バージョン: システム全体で使うPythonのバージョンを指定(非推奨)
pyenv local バージョン: 今いるディレクトリ以下で使うPythonのバージョンを指定
venvで仮想環境のときにバージョンを指定 (推奨)

のいずれかで扱うことになる。DockerのコンテナであるPythonのバージョン=その環境、という状況ならこれで問題ないが、Dockerを使わない場合には何かやるたびに環境が壊れるので注意。

4. venvとpyenvで特定バージョンの仮想環境を作る

用途としてはGithubで配布されているソースを試したいときが多い。無視リストの.gitignoreには

# pyenv
.python-version

# Environments
.env
.venv
env/
venv/
ENV/
env.bak/
venv.bak/

が書かれている場合が殆どなので、

githubからcloneして持ってくる
そのディレクトリに移動
pyenv local 特定バージョン
venvで仮想環境を作成
activateして環境構築
終わったらdeactivate

のような流れになる。venvで環境構築をする場合に、上のリストのどれかを使うとよい(ここではENV)。

ここでは特定環境として https://github.com/atb033/multi_agent_path_planning を試してみる。

条件はPython3.8.x だが色々入ったり別のソフトを使おうとしたときに環境が壊れるのを防ぐために仮想環境を使う。

git clone https://github.com/atb033/multi_agent_path_planning
cd multi_agent_path_planning

でソースの場所に移動してから

pyenv local 3.8.17

でこのディレクトリでのPythonのバージョンを指定する。

pyenv versions

とすると今度は3.8.17にアスタリスクが付いている。

続けて

python3 -m venv ENV
source ./ENV/bin/activate

とすればプロンプトの頭に(ENV)が付いて仮想環境になったことを教えてくれる。

あとはrequirements.txtをインストールして実行するなり不足パッケージをpipで入れるなりすればよい。

python3 -m pip install -r requirements.txt
python3 -m pip install pyyaml

(pyyamlがrequirements.txtで指定されていないので入れてる)

あとは説明の通り

cd ./centralized/sipp
python3 multi_sipp.py input.yaml output.yaml

でデモを試せる。

WLS2上のファイルはWindowsのエクスプローラでLinuxというペンギンアイコンのネットワークドライブが見えるようになっているのでそこから\\wsl.localhost\Ubuntu\home\momma\multi_agent_path_planning\centralized\sipp\resultsのように辿るとそのまま開ける。(mommaは各自のユーザー名に置き換える)

試し終えたら必ず

deactivate

を実行して仮想環境から抜ける。

次回以降使いたい場合には、WSL2で先程の場所のactivateを実行(source)すれば良い。

cd multi_agent_path_planning/
source ./ENV/bin/activate

またはダイレクトに

source multi_agent_path_planning/ENV/bin/activate

でもよい。

5. WSL2上でDockerを使う (非Docker Desktop)

Ubuntuの流儀で入れるだけなので公式ドキュメントの通りに入れる

(Docker Desktopを使いたい場合は公式ドキュメントに従ってWSLバックエンドを有効化すればこのインストール作業無しで使えた筈なのでここは飛ばして良い)

DeepLearning系のものを試したいときかつNVIDIAのグラボを積んでいるマシンの場合には，Dockerを入れた後でNVIDIA CUDAも入れる。(やりかたはググると出てくる)

sudo apt-get update
sudo apt-get install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli \
 containerd.io docker-buildx-plugin docker-compose-plugin
sudo docker run hello-world

として

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
    (amd64)
 3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

な表示が出ればコンテナの起動は成功。

続けて

sudo usermod -a -G docker 自分のユーザー名

としてdockerグループに自分を加えておくと、dockerの実行にsudoコマンドが不要になる。

6. WSL2のDockerでGUIアプリケーションを使う

WSL2上でGUIアプリケーションをそのまま実行するだけならWSLgがいい感じにWindowsで表示できるよう扱ってくれているが、Dockerコンテナ上のGUIアプリケーションを起動するには、Dockerのホスト(WSL2)に別ホスト(ここではコンテナ)のアプリケーションを表示させる細工が必要で、具体的には設定ファイルと環境変数の共有が必要となる。具体的なやりかたはあちこちで紹介されているがDockerやWSLのアップデートによって変わることが多々あるので、極力新しい情報を参考にする。(英語だが公式サイトを見るのが正解)

一旦Ubuntuを閉じて再度開いてから

docker run -it --rm \
    --mount type=bind,source=/tmp/.X11-unix,target=/tmp/.X11-unix \
    --mount type=bind,source=/mnt/wslg,target=/mnt/wslg \
    --env DISPLAY=${DISPLAY} --env WAYLAND_DISPLAY=${WAYLAND_DISPLAY} \
    --env XDG_RUNTIME_DIR=${XDG_RUNTIME_DIR} \
    ubuntu:22.04

とすると

Status: Downloaded newer image for ubuntu:22.04
root@f4e906a0f041:/#

のような感じでコンテナが起動する。--itでインタラクティブな状態(コマンドを実行する場合)、--rmで使い終えたコンテナを削除することを意味するので、残したければ--rmは外して実行する。

デフォルトだとユーザーはrootで動くのでsudoコマンドの付与は不要だが、ホストのアプリケーションのインストールは無関係な素の状態なのでアプリケーションは入れ直すか、諸々インストール済みのディスクイメージを探して使うか、環境構築のためのDockerfileを書くかになる。(Dockerfileを使う例はこっちを参照)

このままですんなりxeyesは入れれば動くのだがjammyにOpenGL関係のバグがあるらしいのでglxgearsは動かないため、jammyを使いたい場合は一部パッケージをholdする。

apt update
apt install -y libglapi-mesa=22.0.1-1ubuntu2
apt install -y libgbm1=22.0.1-1ubuntu2
apt install -y libegl-mesa0=22.0.1-1ubuntu2
apt install -y libgl1-mesa-dri=22.0.1-1ubuntu2
apt install -y libglx-mesa0=22.0.1-1ubuntu2
apt-mark hold libglapi-mesa libgbm1 libegl-mesa0  libgl1-mesa-dri libglx-mesa0 
apt install -y mesa-utils
glxgears

で歯車が周るアプリケーションが起動すれば成功。

アプリケーションを閉じて

exit

コンテナを終了させる。--rmオプションを付けずに起動したコンテナは停止状態で保持される。プロセスは圧迫しないがディスクは圧迫するので

docker container ls -a

で時々確認すると良い。

古いROSのコンテナを使う

古い環境でも構築可能なのがDockerの利点だが、追加で何か入れようとするとapt関係がミラーサイトにもなく、apt updateだけでも結構遅い状態になるので、何か試すにしてもよく吟味してから選ぶとよい。

https://github.com/hasauino/rrt_exploration を試してみる。環境としてはkineticなので今から素で入れるのは面倒。

公式のコンテナを使う。

docker pull ros:kinetic-robot-xenial

でDocker Imageをpullしたらrunで起動。今度は--rmは付けずに--name foxyTestと名付けて起動する(exitしてもコンテナが残る)。

docker run -it --name foxyTest \
    --mount type=bind,source=/tmp/.X11-unix,target=/tmp/.X11-unix \
    --mount type=bind,source=/mnt/wslg,target=/mnt/wslg \
    --env DISPLAY=${DISPLAY} --env WAYLAND_DISPLAY=${WAYLAND_DISPLAY} \
    --env XDG_RUNTIME_DIR=${XDG_RUNTIME_DIR} \
    ros:kinetic-robot-xenial

でコンテナが起動するのでros[TAB][TAB]とするとROS周りが既にインストールされているのがわかる。ひとまずexitして

docker container ls -a

とするとfoxyTestが一覧に出てくる。

再開するには

docker start -i foxyTest

でコンテナが起動するのでドキュメントの通り

apt update
apt install -y ros-kinetic-gmapping ros-kinetic-navigation python-opencv python-numpy python-scikits-learn

で準備ができたら、catkinなWSを作る

mkdir -p ~/catkin_ws/src
cd ~/catkin_ws/
catkin_make

WSのsrcにソースをcloneする

cd src
git clone https://github.com/hasauino/rrt_exploration.git
cd ~/catkin_ws/
catkin_make
source devel/setup.bash

でインストール完了。続けてTutorialsを試す。

apt install -y ros-kinetic-kobuki ros-kinetic-kobuki-core ros-kinetic-kobuki-gazebo 
cd ~/catkin_ws/src
git clone https://github.com/hasauino/rrt_exploration_tutorials.git
cd ~/catkin_ws/
catkin_make
source devel/setup.bash
roslaunch rrt_exploration_tutorials single_simulated_house.launch

で一応Gazeboも一部透明だったりUIが表示されなかったりするが起動して動いてそうな画面が出てくる。

Windows環境でGitとvenvを使ってみる

2023-05-25T19:20:00+09:00

前回のWindowsでのPython環境構築をやった続き。

やること

gitコマンドを使ってGitHubからソースを持ってくる
venvで専用の環境を作って動かす

Gitについて雑な説明

Gitは何かしらのプロジェクトで作成したプログラムのソース(とデータ)を管理するツールで，GitHubはGitに対応したサーバーを提供するサービス。程度の認識でよい。プログラムを作ってる側の視点だと

プログラムを書く
Gitコマンドで更新内容を記録する
GitHubに送る(公開にも非公開にもできる)
開発を続けてプログラムを更新する
Gitコマンドで更新内容を記録する
GitHubに送る

みたいな感じで，手元にもGitHubにもプログラムと更新の記録が残るので，

何かやらかしたので前のバージョンに戻す
本流には入れずに取り敢えず試しに実装してみる(ブランチ)
別ブランチの更新内容を取り入れる
区切りを付ける(タグ)

のような感じで便利なためよく使われている。

自分の考えた処理・手法を公開できる
他の人から「こう直してくれ」と要望を送って貰える(プルリク)
他の人が引き継いでそれに手を加える(fork)

のような側面もあり，使う側にとっては

アルゴリズムしか公開されていない手法を再実装しないで済む
よく使うツールの開発に貢献できる
開発が停止してしまったツールを自分で更新できる

といった利点もある。

その他大量のサービスがあるので興味のある人は調べると良い。(このBlogっぽいWebもGitHubのサービスの一環)

Git for Windows

配布もとから64bitのstandaloneインストーラをダウンロードしてインストール。設定は全部デフォルトで問題ない。

PATHが自動的に設定されるが，インストール後に起動したプログラムにしか適用されないので，コマンドプロンプトのためにターミナルを起動している人は一旦閉じる。

PySimpleGUIのソースを拾ってくる

ここでは簡単にGUIなプログラムが作れるらしいPySimpleGUI を試す。パッケージ自体はpipコマンドでインストールできるのだが、デモ等のソースも見ると勉強になるので拾ってくる。

cmdでコマンドプロンプトを起動したら，

cd Documents
git clone https://github.com/PySimpleGUI/PySimpleGUI.git

で，PySimpleGUIフォルダにGitHubで公開されているソースコードがダウンロードできた(git pullコマンドで常に最新の状態に保つこともできるのが zipファイルでダウンロードする方法との違い)

PySimpleGUIは設定プログラム(?)をいきなり試せるので起動してみる。

py PySimpleGUI\PySimpleGUI.py

でウィンドウが開いたら成功。ざっと試してウィンドウを閉じる。

venv

前回最後に触れたvenvを使って仮想環境を作る。 ↓のvenvのあとのvenvPySimpleGUIは仮想環境名なので、別のパッケージ用に仮想環境を作るときは都度名前を変える。

cd PySimpleGUI
py -m venv venvPySimpleGUI
.\venvPySimpleGUI\Scripts\activate
py -m pip install -U pip

としたあとで本体とデモビューワ、あと使いそうなパッケージを入れる。

py -m pip install PySimpleGUI psgdemos
py -m pip install opencv-python matplotlib pymunk psutil prawn weather2 mido python-vlc

で完了。 ( python-vlcはコントロールだけなので、 VLCは別途インストールが必要。)

Windows+venvを使うと、ScriptsフォルダへPathが設定される利点もある。psgdemosもその一例でvenvの中のScriptsフォルダの中にScriptsと言いつつ.exeファイルが置いてある。

psgdemos

でデモの一覧が出てくるので色々試すと良い。

OpenCV関係もあり，使い方は先程入手したソースのDemoProgramsの中にあるので，参考にできる。

日本語のドキュメントもあるので恵まれている。

WindowsでのオススメのPython環境

2023-05-21T19:20:00+09:00

普通にPython.orgからダウンロードして入れましょうという話。

1. Pythonのインストール

公式の配布サイトから3.11.xをダウンロードして実行。

インストーラの画面は特に弄らずそのままInstall Nowを選ぶ。

"Setup was successful"と出たらインストール完了。

Windowsメニューの「すべてのアプリ」にPythonフォルダが出来ている。

黒っぽいアイコンのPython 3.xx(64-bit)を選ぶとコマンドプロンプトの黒い画面が開き

>>

のような入力待ち(プロンプトと呼ぶ)になるのでquit()と打って一旦終了させる。

2. パッケージのインストール

Windowsメニューの検索にcmdと打ってコマンドプロンプトを起動する。

pipのアップグレード

python -m パッケージ名 パッケージのオプション

とするか，パッケージによっては

パッケージ名 パッケージのオプション

のような感じで起動するのだが，後者はWindowsだと手間のかかるPathの設定が必要なので，py.exeと前者を組み合わせて使う。例えばよく

pip install -U pip

と実行しろと説明しているサイトが多いが，「パッケージ管理のpipを使ってpip自身をアップグレード(-U)しろ」というコマンドは

py -m pip install -U pip

と書く(.exeは付けなくて良い)。ということでまずは↑のコマンドをコマンドプロンプトで実行してpipをアップグレードする

無難なパッケージのインストール

何をやるにしろあった方が便利なものを一通り入れておく。コマンドプロンプトに以下をコピペする。(^は長いコマンドに途中改行させる方法)

py -m pip install jupyter notebook ipython opencv-python ^
 opencv-contrib-python numpy scipy scikit-image scikit-learn ^
 pillow pandas matplotlib seaborn mediapy pyqt5 ^
 qtconsole jupyterlab

ScriptsフォルダにPathを通さないと使えないぞ、という警告が出るが無視してよい。

ipython: 普通のpythonより親切なPythonインタプリタIPython
jupyter: NotebookとLabで使うエンジン
jupyterlab: Jupyter Lab。MATLABっぽいNotebook+コマンド+インタプリタな何でもあり版な開発環境
matplotlib: グラフや画像の表示に使う可視化
mediapy: Notebookで画像や動画を楽に表示できる
notebook: Jupyter Notebookというブラウザベースで動くPythonの開発環境(ノートを取りながらPythonを実行できるので人気)
numpy: 行列演算ライブラリ
opencv-python: コンピュータビジョンライブラリOpenCV
opencv-contrib-python: OpenCVの正式版には含まれていない機能の追加
scipy: 科学技術系ライブラリ
scikit-image: SciPy toolkit=scikitでscipyのサブモジュールの一つで画像処理関係
scikit-learn: scipyのサブモジュールの一つで機械学習関係
pandas: データ解析でR言語っぽい動きをする
pillow: PIL(Python Imaging Library)という古くからある画像処理ライブラリから派生した現代版で呼び出しはPILとして互換性が保てる
pyqt5: Qt(キュート(Cute)と読む)のPython版でなぜかパイキューティーと読まれる。GUIアプリのベースとなるものでqtconsoleで使う
qtconsole: コマンドプロンプトでもIPythonは使えるが，こっちだと画像が表示できる。
seaborn: 可視化でmatplotlibよりダサくない

が入れるもの。

3. IPythonを使ってみる

IPython(アイパイソン)のように大文字小文字に注意。最初の文字はアイの大文字。IPythonは通常ipythonコマンドで起動するよう書かれているドキュメントが多いが，

py -m IPython

QtConsole

qtconsoleの方が応用が効くので

py -m qtconsole

とすると、QtのUIを使ったIPythonが使える。ただし、mediapyのshow_*はインライン表示に使えないのでmatplotlibのimshowを使う必要がある。

from urllib.request import urlretrieve
urlretrieve('https://www.python.org/static/img/python-logo@2x.png',
 'python-logo.png')

で入手したファイルをインライン表示したいが、

import mediapy as media
media.show_image(media.read_image('python-logo.png'))

だと表示できない。

import matplotlib.pyplot as plt
import mediapy as media
plt.imshow(media.read_image('python-logo.png'))

だと表示できる。

import PIL
PIL.Image.open('python-logo.png')

も表示できる。

ipyエンジン専用の画像表示

from IPython.display import display, Image
display(Image('python-logo.png'))

だとIPythonかJupyter Notebook専用になるが表示できる。

from IPython.display import display
import mediapy as media
display(media.read_image('python-logo.png'))

だとndarrayと見做されて生データがドバーっと出る。

quitでウィンドウが閉じる。

4. Jupyter Notebookを使ってみる

コマンドプロンプトでJupyter Notebookのサーバーを起動する命令なのだがデフォルトでそのページを開くようOSに命令を出すのでブラウザが起動する。

コマンドプロンプトを起動
Jupyter Notebookのサーバーを起動
色々作業
Notebookで「閉じて終了」を選ぶ
コマンドプロンプトでCtrl+Cを2回入力してサーバーを停止

という流れになる。当たり前だがブラウザが開いた後にコマンドプロンプトを閉じると使えなくなるので注意。

py -m jupyter notebook

でブラウザが起動しJupyter Notebookが使える。 Newボタンを押すとPython3が出るので選択するとNotebookが新規作成される。

Notebookはセルという単位で分割されていて，セルにはコードセルとMarkdownセルがある(MarkdownはWikipediaとかを参照)。

from urllib.request import urlretrieve
urlretrieve('https://www.python.org/static/img/python-logo@2x.png', 'python-logo.png')
import mediapy as media
media.show_image(media.read_image('python-logo.png'))

保存した後で，ブラウザのJupyter NotebookでSaveで保存してからClose and Haltでタブを閉じる(ブラウザのタブを閉じてもPythonのプロセスは停止してくれない。ファイル一覧で緑色のアイコンがそれを意味する)。その後コマンドプロンプトで「Ctrl+C」を打ってJupyter Notebookのサーバーを終了させる。

ちなみに保存されるのは.ipynb(IPython Notebookと名乗っていた時代の名残り)という拡張子のファイルで，Visual Studio CodeやGoogle Colaboratoryでも開ける。

py なんとか.py

みたいにPythonスクリプトを実行できる。

5. Jupyter Labを使ってみる

Notebookと同じノリで起動する。Notebookだとエディタもターミナルもブラウザの別タブになって鬱陶しいが，Jupyter Labは一つのウィンドウに収まる。

サーバーとして起動するのはNotebookと同様で，

py -m jupyter lab

でブラウザが開き、JupyterLabが表示される。JupyterLabはJupyter Notebookの豪華版という感じで、

Notebookでのプログラミング
IPythonでのコマンド実行
.pyファイルを使ったプログラミング
ターミナルでの作業(WindowsだとPowershellがデフォルト)

が可能。

とりあえずの開発環境としてはこれが無難。

6. その他

(あくまでもWindowsのマシンで)PythonをLinuxで動かす

特に深層学習フレームワークを使う場合にはLinux系OSで扱う場合が殆どなので今のうちから慣れておくと良い。

WSL2
Windows Subsystem for Linuxの略称で，Microsoftが提供していて，Winodws上でまんまLinuxが動くので，Ubuntu等のPython利用の解説がまんま使える
NVIDIAがCUDA Driverも出してるのでNVIDIAのGPUを積んだマシンならWSL2上でTensorflowとかPyTorchが使える
WSL2+Docker
様々な環境を搭載したコンテナを拾ってきて直ぐに試せるうえにVMと違ってディスク容量をそこまで圧迫しない
WSL2+Docker+VSCode
Visual Studio CodeはMicrosoft製のテキストエディタだが，拡張機能でコンテナ上の開発環境を使ってプログラミング，とかが楽にできる。
VSCodeに慣れると，リモートホスト上のDockerコンテナ上で開発。のようなことも出来る。

他のバージョンのPython

set PY_PYTHON=バージョン

を指定すると，そのコマンドプロンプト上では以後py.exeが勝手にそっちのバージョンを使ってくれる。例えば，3.11と3.10を入れている場合

set PY_PYTHON=3.10

と打てば以降3.10.xが使え，

set PY_PYTHON=3.11

とすれば3.11.xが使える。

仮想環境

ある特定のバージョンのopencv-pythonが必要(例えばOpenEXRがギリギリ使える4.5.4とか)だが，普段は最新のopencv-pythonを使いたい。とか，requirements.txtで指定されている環境を作りたい。とか，Pythonでのパッケージのバージョン環境は簡単に崩壊する。特に深層学習フレームワークについては後方互換性をバッサリ切っているものが多いので，色々試したい場合には環境を変えて作業した方が安全。

安全な解決方法は

作業ごとにPCを用意する
作業ごとにDockerでコンテナを作る

自分が作業をするフォルダで

py -m venv 仮想環境名

と打つと，「仮想環境名」のフォルダが出来る。そこのScriptsフォルダにactivate.batがあるのでそれを実行する(PowerShellの場合はActivate.ps1)。例えばvenvHelloみたいな名前にすると，

py -m venv venvHello
venvHello\Scripts\activate.bat

と打つと，プロンプトの頭に(venvHello)のように仮想環境名が表示されるので，あとはpipなりで環境構築すれば良い。

cx_FreezeでPythonからexeファイル生成

2023-02-16T19:20:00+09:00

Pythonはスクリプト記述なので開発環境の無いところで利用しようとすると面倒ごとが多い。 Windowsなら.exe，macOSなら.appに変換するのがよく用いられる手段で，cx_Freezeはその一つ。

Pythonのスクリプトから実行形式を生成できるパッケージで，元のスクリプトにはほぼ手を入れる必要が無さそうなのが良い点。ただしWindowsならWindows，macOSならmacOSでの作業が必要。クロスプラットフォームでの実行ファイル生成はできない。(開発は可能)

GUIアプリケーションのサンプルとしてはPyQt5, PyQt6, PySide2, PySide6, wxWidgets, tcltk, Python.Netあたり。OpenCVも普通にcv2.imshowが使えたりする。

(余談だがPython.NetのデモがIronPythonよりも遥かにC#のFormsアプリっぽく書けそうで驚いた。)

手順としては普通にプログラムを作ったうえで，ルールに従ってsetup.pyを記述したうえで

python setup.py build

または

python setup.py bdist_mac

とすれば.exeや.appを生成する。ただし実行に必要なdll等は内包せずに一緒にbuildフォルダにコピーされるので，フォルダごと持って行って実行。となる。OpenCLを使うパッケージでも普通に動いたのでかなり便利。

必要なファイルについては結構優秀で自動的に依存関係からコピーしてくれるのだが，逆に言えば依存関係の解析に失敗すれば全コケする。.pydのようなバイナリ化してるパッケージについては対応できてないようなので，pythonでスクリプトを走らせたときは動くのに，exe化したときには動かない，という現象が発生するうえに，printでデバッグできないので検証が面倒。 (importでSystemErrorを起こしてexeでだけ動かないプログラムも↓の方法で確認したらnumpyが無いと言われてたので，import numpyをそのパッケージの前にimportしたら動いた)

エラーの収集

.exeにするとprintデバッグができないがstdoutとstderrをファイルに振ってしまえば行けるだろうと思ったら既に先人が居たので有り難く使わせて貰う。

具体的には

import sys, os
class Log(object):
    def __init__(self, filename="log.txt"):
        self.d = sys.stdout
        self.l = open(filename, "a")
    def write(self, mm):
        self.d.write(mm)
        self.l.write(mm)
    def flush(self):
        self.d.flush()
        self.l.flush()

class LogFrozen(object):
    def __init__(self, filename="log.txt"):
        self.l = open(filename, "a")
    def write(self, mm):
        self.l.write(mm)
    def flush(self):
        self.l.flush()

def initstdout():
    localdir = os.path.expanduser("~/")
    if not os.path.exists(localdir):
        os.mkdir(localdir)
    if getattr(sys, "frozen", False): # frozen
        log = LogFrozen(os.path.join(localdir,"log.txt"))
        sys.stdout = log
        sys.stderr = log
    else: # not frozen
        log = Log(os.path.join(localdir,"log.txt"))
        sys.stdout = log
        sys.stderr = log
initstdout()
# この後に怪しいimportを書く

をスクリプトに入れておけばホームフォルダ(Windowsならc:\Users\username，macOSなら/Users/username)にlog.txtファイルで出力される。場所を変えたかったらlocaldir = os.path.expanduser("~/")のところの"~/"を適当に変える(チルダはホームフォルダの意味)

Windows11 Edu.でのローカルID

2023-02-15T19:20:00+09:00

初見殺しのWindows11

Windows11は初期セットアップではMicrosoft Accountがないと無理矢理作らされるが，その後はネット切断してから「設定」でアカウント追加を実行すればローカルアカウントが作れる。

が、Education含めたエンタープライズ系の場合ログイン画面で一旦AD認証(職場・大学)になってしまうと，起動したときにE-Mailアドレスとパスワードの入力しか受け付けない状態でローカルアカウントでログインできなくなるように振る舞う。

解決方法はE-Mailアドレスを入れろと書かれているところに

.\

のあとに続けてローカルアカウントIDを入れる。この".\"(ピリオド+リバーススラッシュまたはピリオド+円マーク(半角))はローカル領域という意味になるらしい。

M1 MacでWindowsアプリを使う

2022-05-25T22:00:00+09:00

PlayOnMacとかHomebrewからのCrossover Wineとかあるようだが、WineskinServerが使いやすかった。講義で示すような用途の場合はUTM とか Parallelsの仮想マシンで、とりあえず単発で動けばラッキー程度ならWineという感じになる。Wineは仮想マシンではなく、Windowsと互換性を持つシステムを作ったもので対応外のアプリも多数あるし日本語の表示も微妙だったりするのでハードルは高い。

WineskinServerは単一の互換システムにアプリケーションをぶら下げるのではなく、Windowsアプリケーションごとに.appを作成する(.appフォルダはmacOSから見たアプリケーション本体)。(Wrapperと呼ぶ) デメリットは容量を食うところ。共通のWindowsリソースは一応共有しているが、WrapperごとにWine Engineを任意のバージョンから選べるようにした仕組みのためWine関係のファイルについては独立して.app内に置かれている。容量としては1アプリあたり1GB+そのアプリのファイルと考えると良さそう。

使い方の詳しい説明はここに載ってるのでそちらを参照すると良い。

WineskinServerで動作確認したソフト

Micro-CAP 10
LTspice (macOS版もあるが使いにくいのでWindows版を使いたい)
Emu48
V41 (追記)
Visual Studioの再頒布ファイル(Redist)が必要な場合でも一度インストールした後でWrapperアプリ上で右クリックして、"パッケージの内容を表示"で、"Wineskin"アプリを起動してからInstall Softwareで追加インストールできる(その後もExeファイルがV41.exeのままになっていれば問題ない)
キーコードがハードコードされてるプログラムで普通にキーを打っても応答しないが，何故かCmdキーを押しっぱなしだと入力できる(Wineの機能なのかは不明)

WineskinServerの導入

Homebrewでインストール

brew install --no-quarantine gcenx/wine/unofficial-wineskin

Wineskin Wineryがアプリケーションにあるので起動
"Installed Engines"が空なので、+ボタンでWineのエンジンを追加する。押せば最新版が推奨されるのでそれをインストールする
Wrapper Versionのところで"Update"が有効になっていたらそれもアップデートする

これで本体の導入は終わり。

Wrapperの作成

WineskinServerはWindowsアプリをmacOSのアプリのように見せ掛けるのでWrapperと呼んでいる。

Wineskin Wineryを起動
"Create New Blank Wrapper"を選ぶ
Create a Wrapperというウィンドウが開くので、そこに英数字で使う予定のアプリ名を書く(例えばLTspice)
暫く待つとWrapper Creation Finishedと出るので自分のApplicationフォルダ(通常 /Users/unername/Application でFinderの"移動"→"ホーム"からApplicationまたは"アプリケーション")に"Wineskin"フォルダがあるのでそれを開く
3で指定した名前のアプリを開く(アイコンはWineskinという茶色いもの)
"Advanced"を選ぶ
"Tools"タブを選び"Winetricks"ボタンを押す
Search for packagesのところにfakejと入れるとfontsの中にfakejapaneseがあるのでチェックを入れてRun→Yesを押して暫く待つ
" Winetricks Commands Finished!!"と出たらClose
左下の"Install Software"を選ぶ
インストーラがある場合は"Choose Setup Executable"を選ぶ。(単にzipを展開しただけで使えるソフトの場合は"Copy a Folder Inside"で良いが、フォルダ名はシンプルにした方が良さそう)
最後に実行するexeファイルを聞いてくるので適切なものを選ぶ(分からない場合は片っ端から選んで"Test Run")

6からのカスタマイズは後からも実行可能で、Wrapperアプリ上で右クリックして、"パッケージの内容を表示"で、"Wineskin"アプリがあるのでそれを実行する。

字が小さい

WineskinのAdvancedからToolsタブで"Config Utility(winecfg)"を選び、"画面"で96dpiとなっているものを変える。今のMacだと168dpiあたりだが、ちゃんと適用されるかはアプリの仕様次第。

アプリ(Wineskin Wrapper)を消したい

アイコンを変えたい場合

icoextractみたいなexeやdllからアイコンを引っこ抜くツールを使えば変更可能だが、リバースエンジニアリングの類な気もするので要注意。

CASIOっぽい関数電卓アプリ

2022-05-21T08:20:00+09:00

大学配布のCASIOの関数電卓を模擬したものを探してみた。カバンの中に入れっぱなしにしておくよう言ってはいるものの，忘れたときに使えるよう準備しておくと良い。

Android

Scientific calculator plus advanced 991 calc

ほぼカシオの関数電卓。作りようが無いといえばそうなのだが，下のとほぼ同じ感じもする。Androidのアプリはよくわからない。

ENG表示の設定が可能で，SI接頭辞表示モードがあるのは便利。(3000→3kみたいな感じ)

数学計算機991、300プラス

ほぼカシオ。メニューのアイコンとか設定のレイアウトも上のアプリとほぼ同じでどういう関係かはよく分からない。

HiEdu Calculator He-580 Pro

ほぼカシオ。Proじゃない版もあるのだが，こちらの環境だと表示が崩れる。190円なので常用するなら買っても良い。

iOS

NCalc Scientific Calculator+

キーボードデザインについてはfx-991esとかCASIOを名指しで指定しているだけあってよく似ている。 ENG表示とSI接頭辞表示モードがあり便利。 370円払わないとゾーニング無しの何でもありな動く広告が出る。macOS版もある。

探すポイント

現在市場にある関数電卓としてはCASIO, TI, HP(RPN), SHARPあたり。以下がそれらのポイント。

CASIOっぽさ

最近のHPの廉価版，CANONの関数電卓はCASIOと同じファームウェアを使っているように思える

S←→Dキー(CANONはF←→Dキー)がある
SHIFT, ALPHAキーがある
991, 115, 300なんとかという名前

TIっぽさ

ガワの下が丸みを帯びているのも特徴。だいたいTI-84かTI-89Tiを意識したデザイン。

「何とか84」「何とか89」という名称
2nd, ALPHAキー(SHARPも)

HP(RPN)っぽさ

HP Prime以外はあまり売る気が無さそう(HP300+はマニュアルのリンクすら間違えてる)。個人的にはHP-35sとかHP-48gといったRPN電卓の方が複素数の演算も使い易いがまたそれは別の機会に。何もわからず使おうとすると本当に何もできないので調べてから使いましょう。あとRPNでも複素数を楽に使える機種は少ない。

Enterというデカいキーがある
f, gキーまたはオレンジ，水色キー
11, 12, 15, 16, 42, 48あたりが名前に入る

SHARPっぽさ

一時期SHARP製も配られたことがあった。カーソルがデカいのも特徴。

D1, D2みたいなカスタムキー
3の下に(-)キー
▶DRG(角度単位の変更)
2nd, ALPHAキー(TIも)

colour-scienceで三刺激値のプロットとか

2022-05-15T09:30:00+09:00

色彩工学・光学関係で便利そうなcolour-scienceなのだが，Tutorialに載ってないことをやろうとした途端に破綻する初見殺し。

等色関数のプロット

一つだけプロットする場合

colour.MSDS_CMFSで定義されているdictもどきのLazyCaseInsensitiveMapping(後で説明)。ここのStiles & Burch 1955 2 Degree RGB CMFsとかがkeyという鬼畜で，plot_single_cmfsで単にプロットしたい場合のkeyでもある。

import colour.plotting as cplt
cplt.plot_single_cmfs('Stiles & Burch 1955 2 Degree RGB CMFs')

複数プロットする場合

等色関数の名前をリストにしてplot_multi_cmfsに渡すだけでよい。

cmfs = ['Stiles & Burch 1959 10 Degree RGB CMFs', 'CIE 1964 10 Degree Standard Observer']
cplt.plot_multi_cmfs(cmfs)

LazyCaseInsensitiveMapping

dictもどきのclassでdomain(波長)をkeyとしたdataと，labelsとかの情報で構成されている。

cmf = colour.MSDS_CMFS['Stiles & Burch 1955 2 Degree RGB CMFs']
cmf

でドバーっと中身が出てくるが容易に拾えない。

domain

これが中身を拾うためのkeysになる。(内部で処理してるにせよ一致が保証されないfloat型をkeyにして大丈夫なのかと思うが)

cmf.domain
Out:
array([ 390.,  395.,  400.,  405.,  410.,  415.,  420.,  425.,  430.,
        435.,  440.,  445.,  450.,  455.,  460.,  465.,  470.,  475.,
        480.,  485.,  490.,  495.,  500.,  505.,  510.,  515.,  520.,
        525.,  530.,  535.,  540.,  545.,  550.,  555.,  560.,  565.,
        570.,  575.,  580.,  585.,  590.,  595.,  600.,  605.,  610.,
        615.,  620.,  625.,  630.,  635.,  640.,  645.,  650.,  655.,
        660.,  665.,  670.,  675.,  680.,  685.,  690.,  695.,  700.,
        705.,  710.,  715.,  720.,  725.,  730.])

なので，

cfms = colour.MSDS_CMFS['Stiles & Burch 1955 2 Degree RGB CMFs']
for wl in cfms.domain:
    print(f'{wl}: {cfms[wl]}')

で

390.0: [ 0.0018397  -0.00045393  0.012152  ]
395.0: [ 0.0046153 -0.0010464  0.03111  ]
400.0: [ 0.0096264 -0.0021689  0.062371 ]
405.0: [ 0.018979  -0.0044304  0.13161  ]
410.0: [ 0.030803  -0.0072048  0.2275   ]
415.0: [ 0.042459 -0.012579  0.35897 ]
420.0: [ 0.051662 -0.016651  0.52396 ]
425.0: [ 0.052837 -0.02124   0.68586 ]
430.0: [ 0.044287 -0.019936  0.79604 ]
435.0: [ 0.03222  -0.016097  0.89459 ]
440.0: [ 0.014763  -0.0073457  0.96395  ]
445.0: [-0.0023392  0.001369   0.99814  ]
450.0: [-0.02913  0.01961  0.91875]
455.0: [-0.060677  0.043464  0.82487 ]
460.0: [-0.096224  0.070954  0.78554 ]
465.0: [-0.13759  0.11022  0.66723]
470.0: [-0.17486  0.15088  0.61098]
475.0: [-0.2126   0.19794  0.48829]
480.0: [-0.2378   0.24042  0.36195]
485.0: [-0.25674  0.27993  0.26634]
490.0: [-0.27727  0.33353  0.19593]
495.0: [-0.29125  0.40521  0.1473 ]
500.0: [-0.295    0.4906   0.10749]
505.0: [-0.29706   0.59673   0.076714]
510.0: [-0.26759   0.70184   0.050248]
515.0: [-0.21725   0.80852   0.028781]
520.0: [-0.14768   0.91076   0.013309]
525.0: [-0.035184  0.98482   0.002117]
530.0: [ 0.10614    1.0339    -0.0041574]
535.0: [ 0.25981    1.0538    -0.0083032]
540.0: [ 0.41976   1.0512   -0.012191]
545.0: [ 0.59259   1.0498   -0.014039]
550.0: [ 0.79004   1.0368   -0.014681]
555.0: [ 1.0078    0.99826  -0.014947]
560.0: [ 1.2283    0.93783  -0.014613]
565.0: [ 1.4727    0.88039  -0.013782]
570.0: [ 1.7476   0.82835 -0.01265]
575.0: [ 2.0214    0.74686  -0.011356]
580.0: [ 2.2724     0.6493    -0.0099317]
585.0: [ 2.4896     0.56317   -0.0084148]
590.0: [ 2.6725    0.47675  -0.007021]
595.0: [ 2.8093     0.38484   -0.0057437]
600.0: [ 2.8717     0.30069   -0.0042743]
605.0: [ 2.8525     0.22853   -0.0029132]
610.0: [  2.76010000e+00   1.65750000e-01  -2.26930000e-03]
615.0: [  2.59890000e+00   1.13730000e-01  -1.99660000e-03]
620.0: [  2.37430000e+00   7.46820000e-02  -1.50690000e-03]
625.0: [  2.10540000e+00   4.65040000e-02  -9.38220000e-04]
630.0: [  1.81450000e+00   2.63330000e-02  -5.53160000e-04]
635.0: [  1.52470000e+00   1.27240000e-02  -3.16680000e-04]
640.0: [  1.25430000e+00   4.50330000e-03  -1.43190000e-04]
645.0: [  1.00760000e+00   9.66110000e-05  -4.08310000e-06]
650.0: [  7.86420000e-01  -1.96450000e-03   1.10810000e-04]
655.0: [  5.96590000e-01  -2.63270000e-03   1.91750000e-04]
660.0: [  4.43200000e-01  -2.62620000e-03   2.26560000e-04]
665.0: [  3.24100000e-01  -2.30270000e-03   2.15200000e-04]
670.0: [  2.34550000e-01  -1.87000000e-03   1.63610000e-04]
675.0: [  1.68840000e-01  -1.44240000e-03   9.71640000e-05]
680.0: [  1.20860000e-01  -1.07550000e-03   5.10330000e-05]
685.0: [  8.58110000e-02  -7.90040000e-04   3.52710000e-05]
690.0: [  6.02600000e-02  -5.67650000e-04   3.12110000e-05]
695.0: [  4.14800000e-02  -3.92740000e-04   2.45080000e-05]
700.0: [  2.81140000e-02  -2.62310000e-04   1.65210000e-05]
705.0: [  1.91170000e-02  -1.75120000e-04   1.11240000e-05]
710.0: [  1.33050000e-02  -1.21400000e-04   8.69650000e-06]
715.0: [  9.40920000e-03  -8.57600000e-05   7.43510000e-06]
720.0: [  6.51770000e-03  -5.76770000e-05   6.10570000e-06]
725.0: [  4.53770000e-03  -3.90030000e-05   5.02770000e-06]
730.0: [  3.17420000e-03  -2.65110000e-05   4.12510000e-06]

みたいな出力が得られる。(dataはndarray)

自力でプロット

綺麗ではないが力技で拾ってプロット

import numpy as np
import matplotlib.pyplot as plt
import colour

cmf = colour.MSDS_CMFS['Stiles & Burch 1955 2 Degree RGB CMFs']
data = np.empty((len(cmf.domain),len(cmf.labels)))
for i, wl in enumerate(cmf.domain):
    data[i,] = cmf[wl]
plt.plot(cmf.domain, data)
plt.legend(cmf.labels)
plt.show()

`numpy_print_options`

試行錯誤してたらnumpy_print_optionsというものがあるらしく

from colour.utilities import numpy_print_options
with numpy_print_options():
    print(cmf)

で，表示だけできるのは分かったが特に便利な何かという訳ではない。

TeXでPDFに埋め込んだ数式情報の救出

2022-05-15T09:20:00+09:00

LaTeXiTとかTeX2imgでPDFに埋め込んだTeXソースを拾い出したい。

結論から言うと TeX2imgはPyPDF2で読める。LaTeXiTは面倒過ぎて放棄。

tex2imgの場合

PyPDF2でPDFファイルを開いてページを取得する。前提として1ページもので数式が出力されてるPDFの equation.pdf を扱う。

import PyPDF2
f = open('equation.pdf', 'rb')
reader = PyPDF2.PdfFileReader(f)
page = reader.getPage(0)

pageはPyPDF2._page.PageObjectだがdictと考えて良い。

In : page.keys()
Out: dict_keys(['/Type', '/Parent', '/Resources', '/Contents', '/MediaBox', '/Rotate', '/Annots', '/ArtBox', '/BleedBox', '/CropBox', '/TrimBox'])

みたいな感じで，注釈として'/Annots'に入ってるので，ここを掘る。

In : page['/Annots']
Out: [IndirectObject(9, 0), IndirectObject(10, 0)]

のような感じでIndirectObjectのリストになっているので、とりあえず先頭の要素を指定してgetObjectで取得する。

In : page['/Annots'][0].getObject()
Out:
{'/Popup': {'/Parent': {...},
  '/Type': '/Annot',
  '/Subtype': '/Popup',
  '/Rect': [4, 0, 132, 64]},
 '/Type': '/Annot',
 '/AP': {'/N': {'/Filter': '/FlateDecode',
   '/Type': '/XObject',
   '/Subtype': '/Form',
   '/FormType': 1,
   '/BBox': [0, 0, 0, 0],
   '/Resources': {'/ProcSet': ['/PDF']}}},
 '/Rect': [0, 0, 0, 0],
 '/Contents': '%%TeX2img Document\n% LaTeX compiler: platex\n% DVI driver: dvipdfmx\n\\documentclass[fleqn,papersize]{jsarticle}\n\\usepackage{amsmath,amssymb}\n\\usepackage[dvipdfmx]{graphicx,color}\n\\pagestyle{empty}\n\\parindent = 0pt\n\n\\renewcommand{\\kanjifamilydefault}{\\gtdefault} \n% 日本語書体をゴシック体に\n\\renewcommand{\\familydefault}{\\sfdefault} \n% 欧文書体をHelveticaに\n\\setlength{\\textwidth}{100mm}\n\n\\begin{document}\n複素電圧$ \\dot{V}$や複素電流$ \\dot{I}$から瞬時電圧$v$や瞬時電流$i$を求めるには$\\sqrt{2} e^{j\\omega t} $を乗じた虚部を求めれば良い。\n\n\\begin{eqnarray*}\n\\mbox{複素電圧:} \\dot{V} &=& V e^{j0^\\circ} = V\\angle 0^\\circ = V \\dots (4.35) \\\\\n\\mbox{複素電流:} \\dot{I} &=& I e^{j\\theta } = I\\angle \\theta = I (\\cos \\theta + j\\sin \\theta) \\dots (4.36) \n\\end{eqnarray*}\nとすると\n\\begin{eqnarray*}\nv(t) &=& \\Im [ \\dot{V} \\times \\sqrt{2} e^{j\\omega t} ] =  \\Im [ \\sqrt{2} V e^{j \\omega t}] \\\\\n& = & \\Im[ \\sqrt{2}V (\\cos \\omega t + j \\sin \\omega t ) ]\\\\\n& = & \\sqrt{2}V \\sin \\omega t = V_m \\sin \\omega t\\\\\ni(t) &=& \\Im [ \\dot{I} \\times \\sqrt{2} e^{j\\omega t} ] =  \\Im [ \\sqrt{2} I e^{j \\theta}  e^{j \\omega t}]  = \\Im [ \\sqrt{2} I e^{j ( \\omega t + \\theta)}] \\\\\n& = & \\Im[ \\sqrt{2}I \\{ (\\cos ( \\omega t + \\theta) + j \\sin( \\omega t + \\theta) \\} ] \\\\\n & =&  \\sqrt{2}I \\sin (\\omega t + \\theta) = I_m \\sin ( \\omega t+ \\theta)\n\\end{eqnarray*}\n\\end{document}',
 '/F': 32,
 '/Subtype': '/Text'}

と、これもdictで'/Contents'に対象がある。

In : page['/Annots'][0].getObject()['/Contents']
Out: '%%TeX2img Document\n% LaTeX compiler: platex\n% DVI driver: dvipdfmx\n\\documentclass[fleqn,papersize]{jsarticle}\n\\usepackage{amsmath,amssymb}\n\\usepackage[dvipdfmx]{graphicx,color}\n\\pagestyle{empty}\n\\parindent = 0pt\n\n\\renewcommand{\\kanjifamilydefault}{\\gtdefault} \n% 日本語書体をゴシック体に\n\\renewcommand{\\familydefault}{\\sfdefault} \n% 欧文書体をHelveticaに\n\\setlength{\\textwidth}{100mm}\n\n\\begin{document}\n複素電圧$ \\dot{V}$や複素電流$ \\dot{I}$から瞬時電圧$v$や瞬時電流$i$を求めるには$\\sqrt{2} e^{j\\omega t} $を乗じた虚部を求めれば良い。\n\n\\begin{eqnarray*}\n\\mbox{複素電圧:} \\dot{V} &=& V e^{j0^\\circ} = V\\angle 0^\\circ = V \\dots (4.35) \\\\\n\\mbox{複素電流:} \\dot{I} &=& I e^{j\\theta } = I\\angle \\theta = I (\\cos \\theta + j\\sin \\theta) \\dots (4.36) \n\\end{eqnarray*}\nとすると\n\\begin{eqnarray*}\nv(t) &=& \\Im [ \\dot{V} \\times \\sqrt{2} e^{j\\omega t} ] =  \\Im [ \\sqrt{2} V e^{j \\omega t}] \\\\\n& = & \\Im[ \\sqrt{2}V (\\cos \\omega t + j \\sin \\omega t ) ]\\\\\n& = & \\sqrt{2}V \\sin \\omega t = V_m \\sin \\omega t\\\\\ni(t) &=& \\Im [ \\dot{I} \\times \\sqrt{2} e^{j\\omega t} ] =  \\Im [ \\sqrt{2} I e^{j \\theta}  e^{j \\omega t}]  = \\Im [ \\sqrt{2} I e^{j ( \\omega t + \\theta)}] \\\\\n& = & \\Im[ \\sqrt{2}I \\{ (\\cos ( \\omega t + \\theta) + j \\sin( \\omega t + \\theta) \\} ] \\\\\n & =&  \\sqrt{2}I \\sin (\\omega t + \\theta) = I_m \\sin ( \\omega t+ \\theta)\n\\end{eqnarray*}\n\\end{document}'

で拾えた。

In : print(page['/Annots'][0].getObject()['/Contents'])
%%TeX2img Document
% LaTeX compiler: platex
% DVI driver: dvipdfmx
\documentclass[fleqn,papersize]{jsarticle}
\usepackage{amsmath,amssymb}
\usepackage[dvipdfmx]{graphicx,color}
\pagestyle{empty}
\parindent = 0pt

\renewcommand{\kanjifamilydefault}{\gtdefault}
% 日本語書体をゴシック体に
\renewcommand{\familydefault}{\sfdefault}
% 欧文書体をHelveticaに
\setlength{\textwidth}{100mm}

\begin{document}
複素電圧$ \dot{V}$や複素電流$ \dot{I}$から瞬時電圧$v$や瞬時電流$i$を求めるには$\sqrt{2} e^{j\omega t} $を乗じた虚部を求めれば良い。

\begin{eqnarray*}
\mbox{複素電圧:} \dot{V} &=& V e^{j0^\circ} = V\angle 0^\circ = V \dots (4.35) \\
\mbox{複素電流:} \dot{I} &=& I e^{j\theta } = I\angle \theta = I (\cos \theta + j\sin \theta) \dots (4.36)
\end{eqnarray*}
とすると
\begin{eqnarray*}
v(t) &=& \Im [ \dot{V} \times \sqrt{2} e^{j\omega t} ] =  \Im [ \sqrt{2} V e^{j \omega t}] \\
& = & \Im[ \sqrt{2}V (\cos \omega t + j \sin \omega t ) ]\\
& = & \sqrt{2}V \sin \omega t = V_m \sin \omega t\\
i(t) &=& \Im [ \dot{I} \times \sqrt{2} e^{j\omega t} ] =  \Im [ \sqrt{2} I e^{j \theta}  e^{j \omega t}]  = \Im [ \sqrt{2} I e^{j ( \omega t + \theta)}] \\
& = & \Im[ \sqrt{2}I \{ (\cos ( \omega t + \theta) + j \sin( \omega t + \theta) \} ] \\
 & =&  \sqrt{2}I \sin (\omega t + \theta) = I_m \sin ( \omega t+ \theta)
\end{eqnarray*}
\end{document}

LaTeXiTの場合

pdfminerみたいなパッケージでTextだけ拾うなら簡単。埋め込んだTeXソースについては，エンコード済み埋め込みデータとして存在しているので，データを拾ってエンコードして，という感じになりそうだが面倒過ぎて放棄。

書籍紹介 "OpenCVではじめようディープラーニングによる画像認識"

2022-05-04T19:20:00+09:00

著者の方からご献本頂いたので早速読みました。

技術評論社 OpenCVではじめようディープラーニングによる画像認識

情報の取捨選択が良いとこ突いててPythonのcv2モジュールに絞ったうえで，リファレンスとまでは行かないにせよOpenCVの関数を良い感じで網羅しています。案外知られていない?OpenCVのdnnモジュールを使った推論のやり方についても説明があり，タイトルの通り画像認識までの最短経路の構成です。

サンプルは動かしたことがあるくらいの人が次のステップに進むのにも良い感じで，ひとまずPythonのソースは読めるけど。。。という企業の方にもお勧めしやすい内容です。

Canvas用のQuiz作成ツール

2022-05-03T19:20:00+09:00

色々試した結果QTI形式だとCanvasへのインポートは問題が発生しない(設定→インポートでQTI形式を選ぶ)。Moodleのコースエクスポートも使えるが，コースのインポートなのでミスると全部吹き飛ぶ。

Quizの簡単な記述法としてはMoodleでのテキスト記述のGIFT Formatがあるが，Canvasでは工夫しないと使えない。

結論としてはざっくり2択

Pythonが使えてMarkdownが好きならtext2qtiでMarkdownからQTIに変換
php7が使える環境ならGIFT Format拡張機能とgift2qtiでGIFTからQTIに変換

Markdown から QTI

text2qti (要Python, 動作確認済み)

配布元のページのサンプルを見れば書き方は直ぐに分かる。

上記のより発展的な使い方(Github, bitbucket連携)

GIFT FormatからQTI

MoodleでのGIFT Format利用を想定したツールが殆どで，QTIへの変換についてはgift2qti一択な状況。 GIFT FormatをCanvasで利用するには

gift2qtiで変換してインポート
GIFT Formatで書いた問題をMoodleのコースに入れて，エクスポートしたデータをCanvasにインポート

の手段しかない。既にパーサーはあるのでCanvas側が本気になればXMLへのコンバートなので楽にインポートできる筈なのだが。

GIFT Format拡張機能 (要VS Code, 動作確認済み)

VS Codeでガシガシ補間してくれながらプレビュー付きで使える。

Moodle Test Creatorアプリ(Windows, 動作未確認)

起動までは確認したが面倒そうなので放置。

gift2qti (要PHP7, 動作確認済み)

ローカルのWebサイトとして動作する。PHP 7.x まで利用可能(現行のPHP8だと動かない)。PHP7が動く環境があるならCanvasへプラグインのような形で取り込みも可能。

デモサイトもあるが常用はお勧めしない。

macOSでhomebrewのphp7を使った例

php 7.xのインストールとソースの入手

brew install php@7.4
git clone https://github.com/csev/gift2qti.git

でgift2qtiフォルダに移動してからサーバーとして起動すれば良い。強引だがrcファイルを書き換えなくとも下記でいける。

起動方法

cd gift2qti
PATH=/usr/local/opt/php@7.4/bin:$PATH php -S localhost:8000

あとはローカルのサーバ(コマンドで指定したport 8000)を開けば良い。

(動作確認できず) BlackBoard形式からQTI

ASP.NETで動くらしい。IISをローカルで起動すれば動くと思われるが，デモサイトで生成したデータのインポートは失敗

以下未確認いろいろ

qtiConverter App テキストから変換(Macのみ)
CSV2QTI CSVから変換(Python)
Kansas State Universityのcsv2qti CSVから変換

Google Cloud Shellの日本語化(gcc込み)

2022-04-20T21:20:00+09:00

Webブラウザ上でコーディングとshellによる操作が可能なCloud Shell Editorがとても便利なので，夏季集中のコンピュータプログラミングで利用できないかと画策中。

機能的にはエディタはVS Codeの拡張機能組込み版みたいな感じで，Shellの方はDebianが動いている。

$ cat /etc/issue
Debian GNU/Linux 11 \n \l

ただし，どちらも日本語は表示は可能でもメニュー等は英語のまま。せめてShellのメッセージやmanを日本語化しようということで，Debianの日本語化の方法を一通り実行。

確認作業

ここで説明している作業を実施しても，セッションが切れると環境がリセットされるが，短時間ブラウザを閉じた程度だと継続してくれている。

locale -a

とやってja_JP.utf-8が存在していれば作業不要。

日本語化

以下をコピペする

sudo sh -c "echo 'ja_JP.UTF-8 UTF-8' >>  /etc/locale.gen"
sudo locale-gen
sudo apt update; sudo apt install task-japanese -y
wget -c https://github.com/gcc-mirror/gcc/raw/releases/gcc-10/gcc/po/ja.po
msgfmt -o gcc.mo ja.po
sudo cp gcc.mo /usr/share/locale/ja/LC_MESSAGES/gcc-10.mo
echo "export LANG=ja_JP.utf-8" >> ~/.profile
source ~/.profile

わかりやすいかは疑問だが英語で思考停止する人には良い。

分けて説明

localeとしてja_JP.utf-8が有効になっていないので/etc/locale.genファイルに追記し，locale-genで生成する。あとtask-japaneseは日本語manとか。

sudo sh -c "echo 'ja_JP.UTF-8 UTF-8' >>  /etc/locale.gen"
sudo locale-gen
sudo apt update; sudo apt install task-japanese -y

$ file /usr/bin/gcc
/usr/bin/gcc: symbolic link to gcc-10

で出てきたgcc-10に合わせている。

wget -c https://github.com/gcc-mirror/gcc/raw/releases/gcc-10/gcc/po/ja.po
msgfmt -o gcc.mo ja.po
sudo cp gcc.mo /usr/share/locale/ja/LC_MESSAGES/gcc-10.mo

シェルを開いたときにja_JP.utf-8が環境変数LANGになるよう設定して読み込み

echo "export LANG=ja_JP.utf-8" >> ~/.profile
source ~/.profile

Raspberry-pi+Slackで入退室管理

2022-04-15T19:20:00+09:00

コロナ禍で研究室がスッカラカンな状態でしたが，今年度からはかなり人の出入りも増えてきたので入退室記録のシステムを作りました。使ったのはSonyのICカードリーダー RC-S380。Windows, macOS以外だと選択肢がこれ以外ほぼ無い状態のようです。

特定のiSerialNumberのUSB機器を探す
機器のUSB busとaddressを取得して接続
数秒おきにNFCリーダーの入力待機
NFCリーダーで学生証のIDを読む
音を鳴らす
予め用意したdictに従ってID->人名変換をする
Slackにメッセージを投げる
3に戻る

と，やってることは至ってシンプル。メッセージについては各自について入室状況を保持してトグル処理を考えたものの，大抵タッチし忘れたときに破綻するので毎日リセットとか色々面倒なので，入室用と退室用でICカードリーダーを別にする最もシンプルな方法に決定。

一番面倒だったのはpynfcとRC-S380の接続で，USBのバス番号は接続状況で変わる可能性があるのと，入室用と退室用を確実に決め打ちできるシリアルナンバー(iSerialNumber)をpyUsbでスキャン。ちなみにidVendor 0x054cはSony。

import usb
devs = usb.core.find(find_all = True, idVendor=0x054c)
for dev in devs:
    print(dev)

でずらずらと表示される一覧のiSerialNumberがそれ。ただしstringなので注意。 find(serial_number='xxxxx')となる。

もう一つの課題としては，どう自動実行するかで，Raspberry piの起動時にサービスとして走らせる方法がよく紹介されているものの，それも面倒なので

crontab -e

で @rebootを指定して入室待機と退室待機の2つのスクリプトを走らせる手抜きで対応。

import nfc
import binascii
import usb
import requests
import datetime
import time
import subprocess
'''
https://api.slack.com/
からCreate an appでbotを作る
https://note.com/npaka/n/n4bcb38a1ea74
らへん参照。多少UIは変わってるが問題ない。
そっちのテストは
https://api.slack.com/methods/chat.postMessage/test
からやる
CHANNELで指定するチャンネルは予め作るBotを指定してインストールしておく必要あり(チャンネルの設定→インテグレーション)
'''
TOKEN = 'ここに取得したtokenが入る'
CHANNEL = '入退室記録'
url = "https://slack.com/api/chat.postMessage"
headers = {"Authorization": "Bearer "+TOKEN}

# 入室USB ID '1412926' #うちのはこれだったが当然個体で変わる
# 退室USB ID '1413147'
usbid = '1412926' #これで入室用か退室用かを決める(もうちょいエレガントな方法もあるが手抜き)
if usbid == '1412926':
    msg_valid = ' が入室しました :tada: '
    msg_warn = ' が入室しました。 :warning: '
    mp3file = 'Enter.mp3'
else: 
    msg_valid = ' が退室しました :wave:'
    msg_warn = ' が退室しました。 :warning: '
    mp3file = 'Leave.mp3'
members = { #IDと名前の対応テーブル
    '0000000000000000': 'aaaaa',
    '1111111111111111': 'Momma'
}

def process(tag):
    idm = binascii.hexlify(tag.idm).decode('utf-8')
    dt_now = datetime.datetime.now().strftime('%Y%m%d-%H:%M:%S')
    try:
        who = members[idm]
        data  = {
           'channel': CHANNEL,
           'text': dt_now + ' ' + who + msg_valid,
        }
    except:
        data  = {
           'channel': CHANNEL,
           'text': dt_now + f' 不明ID {idm} '+ msg_warn,
        }
        print(f'Unknown ID {idm}')
    r = requests.post(url, headers=headers, data=data)
    # pythonからスマートに音が出ないのでsubprocessに逃げた
    subprocess.Popen(['mpg123', mp3file])

'''
シリアルナンバー決め打ちでUSB デバイスを探す
'''
def find_reader(serial_str):
    dev = usb.core.find(serial_number = serial_str)
    return dev

def main():
    dev = find_reader(usbid)
    usb_address = f'usb:{dev.bus:#03}:{dev.address:#03}'
    while True:
        time.sleep(3)
        with nfc.ContactlessFrontend(usb_address) as cf:
            tag = cf.connect(rdwr={'on-connect': process})

if __name__ == '__main__':
    main()

で，完成。↓のような感じで運用(スピーカーの裏にRaspberry piがある)

Slackにはこんな感じで送られてくる。

Moorebot Scout

2022-04-09T09:20:00+09:00

KickstarterでROSも使える面白そうな自律走行ロボット Moorebot Scoutが出ていたのでバッカーになってました。去年6月に発送予定ということで去年の卒研にも使おうと思っていたところで半導体・部材の世界的不足に巻き込まれ，半年くらい遅れて届いた3体。まともに触るタイミングがまるで無かったのですが新年度ということでファームウェアアップデート。

Classroomから受講者名簿の生成

2022-04-08T20:20:00+09:00

長期に渡り使われてきたCSTポータルIIが遂に廃止となりました。ClassroomとCanvasが乗り換え先な訳ですが，ClassroomはSIS (Student Information System)との連携前提なので学生番号という概念がなく，Web UIだけだと受講者を選択してメール送信を選んでようやくユニークな情報に到達する面倒な状態なのでGoogle Apps Scriptで特定の担当コースの学生情報(アドレス,氏名)を抽出してみました。

Classroom APIで情報取得する際はページ単位(30個/ページがデフォルト)で持って来ようとするので，ページあたりのデータ数を増やしてもっと寄越せと指定しても仕様で「いっぱいくれと言われてもあげないよ」と書かれており，

取得(pageToken(今どこまで読んだか)も返される)
読んだデータを別バッファにpush
貰ったpageTokenを示しつつ取得
pageTokenがnullになるまで繰り返し

という処理になる。 ↓は手を抜いていて実際には

  var cList = Classroom.Courses.list();

だと30個までしかコースは取得できないのだが30個以上コース持つことは無いだろうということでそのまま。

function myFunction() {
  // 一覧を抽出するコース名 (Classroom)上の名前
  var courseName = '画像処理';
  var cList = Classroom.Courses.list();
  var myCourses = cList.courses;
  for (i = 0; i < myCourses.length; i++) {
    Logger.log(myCourses[i]) //デバッグ用に表示
    //コース名はアーカイブされているものは重複しても許されるので courseStateの確認が必要
  if (myCourses[i]['name'] == courseName && myCourses[i]['courseState'] != 'ARCHIVED') {
      var inviteClassId = myCourses[i]['id'];
    }
  }
  var pageToken = "";
  var studentsString = "";
  //どう頑張っても小塊でしか拾ってくれない(デフォ30)ので，Students.list での取得時にトークンを渡す
  //トークンは取得ごとに更新されるので do - whileの最後に nextPageTokenに置換えると次のページを取得できる
  do {
    var search = Classroom.Courses.Students.list(inviteClassId, {"pageToken": pageToken});
    for (i = 0; i < search['students'].length; i++) {
      //ここは雑にカンマ区切りのstringを作ってしまう。データごとに改行を入れる
      studentsString = studentsString + "\n" +  
      search['students'][i]['profile']['emailAddress'] + "," + search['students'][i]['profile']['name']['fullName']
      +"," + search['students'][i]['profile']['name']['familyName']+"," + search['students'][i]['profile']['name']['givenName']
    }
    pageToken = search.nextPageToken;
  } while(pageToken)
  var contentType = 'text/plain';
  var charset = 'utf-8';
  // スクリプトの場所を取得する術がなさそうなのでまんま実行。MyDriveのルートにファイルが作られる
  var blob = Utilities.newBlob('',contentType,courseName+'.csv').setDataFromString(studentsString, charset)
  DriveApp.createFile(blob);
}

※挙動が不明だったので冗長に書いてます

実際にはGoogle Driveで新規作成からGoogle Apps Scriptを選んで(なければ追加)，サービスからClassroom APIを追加し，ソースをコピペして実行すれば良い。

CanvasのSandbox WSL2編

2022-04-01T06:00:00+09:00

LMSのCanvasのSandbox作成のWSL2編。WSL2ならではの問題でハマった。

WSL2 + Ubuntu 18.04 は自力で入れましょう
18.04必須です(20.04は×)
doryが必要(Webサービスをlocal動作させる際，偽のFQDNをいい感じにmapしてくれるらしい)
WSL2上でのdocker諸々必要
mutagenが必要(dockerのバインドマウントを高速化)

まず時間を合わせとツール入れ

sudo ntpdate time.google.com
sudo apt update; sudo apt upgrade -y
sudo apt install ruby build-essential git

doryを入れる

doryは普通にgemで入る

sudo gem install dory

Canvasのソースを拾ってくる

git clone https://github.com/instructure/canvas-lms.git
cd canvas-lms

依存アプリを入れて環境構築

要mutagenなのだがhomebrewしか楽に入れる方法がない。

Homebrewのコマンド

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

を実行するのだが，その後に設定が必要。admin不要としたいがために/home/linuxbrewへインストールされるらしい。

test -d ~/.linuxbrew && eval "$(~/.linuxbrew/bin/brew shellenv)"
test -d /home/linuxbrew/.linuxbrew && eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"
test -r ~/.bash_profile && echo "eval \"\$($(brew --prefix)/bin/brew shellenv)\"" >> ~/.bash_profile
echo "eval \"\$($(brew --prefix)/bin/brew shellenv)\"" >> ~/.profile

とかやって

source ~/.profile

の後に

brew install hello

で確認できる。

で

brew install mutagen-io/mutagen/mutagen
brew install mutagen-io/mutagen/mutagen-compose

でmutagenとmutagen-composeを入れる。

WSL2固有の作業

ここからはWSL2固有の問題で，IPv6優先の設定が災いしてgemsとyarnの導入で必ずコケる。後に載せたdiff通りDockerfileに記載するだけでは解決しない。( /etc/gai.confに echo precedence ::ffff:0:0/96 100とか書いてるのがそれ)

./script/docker_dev_setup.sh --mutagen

を実行するとまず

> Bundle install...

のところでGem::RemoteFetcher::UnknownHostError timed outでコケる。これはhostsに rubygems.org に対応するIPを書いて解決する。また，その後で

> Yarn install....

のところで必ず getaddrinfo EAI_AGAIN registry.yarnpkg.comでコケるので 8.8.8.8 を /etc/resolv.conf に書き込んだりする。

実際の対処方法は，この時点でコンテナは出来上がっているので，canvas-lms-web-1 に入り込んで上記を書き込む。

まず，hostコマンドでrubygems.orgのIPを確認する

host rubygems.org

で

rubygems.org has address 151.101.65.227
rubygems.org has address 151.101.193.227
rubygems.org has address 151.101.129.227
rubygems.org has address 151.101.1.227

と出た例を以下に示す。

docker exec -it --user=root canvas-lms-web-1 /bin/bash

で canvas-lms-web-1 のコンテナにrootで入り

echo "151.101.65.227    rubygems.org" >> /etc/hosts
echo "151.101.193.227    rubygems.org" >> /etc/hosts
echo "151.101.129.227    rubygems.org" >> /etc/hosts
echo "151.101.1.227    rubygems.org" >> /etc/hosts
echo "nameserver 8.8.8.8" >> /etc/resolv.conf
exit

で書き換え完了。このままscript/docker_dev_setup.shを再度実行するとまたbuildされてしまうので，同ファイルをコピーして

cp script/docker_dev_setup.sh script/docker_dev_build_assets.sh

としたうえで，その中を

create_log_file
init_log_file "Docker Dev Setup"
os_setup
message 'Now we can set up Canvas!'
# copy_docker_config
# setup_docker_compose_override
# build_images
# docker_compose_up
# check_gemfile
build_assets
create_db
display_next_steps

のようにコケたところから再開するようにコメントアウトして，そのスクリプトを実行する

./script/docker_dev_build_assets.sh

で Success !と出たら成功。

mutagen-compose up

mutagen-composeでupする(ちなみにupで開始だからdownとやるとcontainersが全部消える)。

mutagen-compose up

で，暫く待ってるとwebpack_1からのログが終わってjobs_1からのログが流れるので，ブラウザで http://localhostを開くとCanvasのログイン画面になれば順調。

Canvasのアカウント作成

この状態だとアカウントが無い状態なのでcontainerの中のrailsでアカウントを作成する。

docker ps

で確認してIMAGEがcanvas-lms_webのNAMESを見る(たぶんcanvas-lms_web_1)。

docker exec -u 0 -it canvas-lms_web_1 /bin/bash

でコンテナに入ると

root@xxxxxxxxxxx:/usr/src/app#

のようなプロンプトになるので

rails db:initial_setup

を実行すると色々聞かれる。

※アカウント名(the account name)なのだが，特殊な用語で大学-学部-学科のようなツリーを考えたときの大学に相当する

1: development:public
What email address will the site administrator account use? > [ログインIDになるメールアドレスを入力]
Please confirm > [ログインIDになるメールアドレスを入力]
What password will the site administrator use? > [パスワードを入力]
Please confirm > [パスワードを入力]
What do you want users to see as the account name? This should probably be the name of your organization. > [他のユーザーから見たアカウント名]
To help our developers better serve you, Instructure would like to collect some usage data about your Canvas installation. You can change this setting at any time.:
1. Opt in
2. Only send anonymized data
3. Opt out completely
> [開発元に情報を送るかどうかなので2の匿名化か3の拒否が無難]
Thank you for participating in anonymous usage collection.
You can change this feature at any time by running the rake task 'rake db:configure_statistics_collection'
........................................................................................
Notifications Loaded
No notification files found for Assignment Publishing Reminder
No notification files found for Assignment Grading Reminder
No notification files found for Assignment Due Date Reminder
No notification files found for Rubric Assessment Invitation
No notification files found for Migration Export Ready
No notification files found for Migration Import Finished
No notification files found for Migration Import Failed

Initial data loaded

で完了。が，doryのproxyはあくまでもWSL2上で機能していて，Windowsでは使えないので http://localhost/ を開くとCanvasのログイン画面が出てくる。

git diff

たぶん不要な情報もあるが動いてるからそのまま

diff --git a/Dockerfile b/Dockerfile
index f973e5f232..f4c0d79620 100644
--- a/Dockerfile
+++ b/Dockerfile
@@ -33,9 +33,11 @@ ARG USER_ID
 # Without it, some linux distributions are unable to write at all to the host mounted volume.
 RUN if [ -n "$USER_ID" ]; then usermod -u "${USER_ID}" docker \
         && chown --from=9999 docker /usr/src/nginx /usr/src/app -R; fi
-
+RUN echo "precedence ::ffff:0:0/96  100" >> /etc/gai.conf
+RUN apt-get update; apt-get install wget -y
 RUN curl -sL https://deb.nodesource.com/setup_14.x | bash - \
-  && curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
+  && wget --quiet -O - /tmp/pubkey.gpg https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
+  # && curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
   && echo "deb https://dl.yarnpkg.com/debian/ stable main" > /etc/apt/sources.list.d/yarn.list \
   && printf 'path-exclude /usr/share/doc/*\npath-exclude /usr/share/man/*' > /etc/dpkg/dpkg.cfg.d/01_nodoc \
   && echo "deb http://apt.postgresql.org/pub/repos/apt/ $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list \
@@ -64,7 +66,12 @@ RUN if [ -e /var/lib/gems/$RUBY_MAJOR.0/gems/bundler-* ]; then BUNDLER_INSTALL="
   && gem uninstall --all --ignore-dependencies --force $BUNDLER_INSTALL bundler \
   && gem install bundler --no-document -v $BUNDLER_VERSION \
   && find $GEM_HOME ! -user docker | xargs chown docker:docker
+# RUN gem update --system
 RUN npm install -g npm@latest && npm cache clean --force
+RUN echo "151.101.193.227 rubygems.org" >> /etc/hosts
+RUN echo "151.101.1.227 rubygems.org" >> /etc/hosts
+RUN echo "151.101.129.227 rubygems.org" >> /etc/hosts
+RUN echo "151.101.65.227 rubygems.org" >> /etc/hosts

 USER docker

diff --git a/Dockerfile.jenkins b/Dockerfile.jenkins
index 9f5a765399..a4f2ca3520 100644
--- a/Dockerfile.jenkins
+++ b/Dockerfile.jenkins
@@ -28,8 +28,10 @@ ENV BUNDLE_APP_CONFIG /home/docker/.bundle
 WORKDIR $APP_HOME

 USER root
+RUN apt-get update; apt-get install wget -y
 RUN curl -sL https://deb.nodesource.com/setup_14.x | bash - \
-  && curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
+  && wget --quiet -O - /tmp/pubkey.gpg https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
+  # && curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
   && echo "deb https://dl.yarnpkg.com/debian/ stable main" > /etc/apt/sources.list.d/yarn.list \
   && printf 'path-exclude /usr/share/doc/*\npath-exclude /usr/share/man/*' > /etc/dpkg/dpkg.cfg.d/01_nodoc \
   && echo "deb http://apt.postgresql.org/pub/repos/apt/ $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list \
diff --git a/build/Dockerfile.template b/build/Dockerfile.template
index 61e680d71b..ec0cde9222 100644
--- a/build/Dockerfile.template
+++ b/build/Dockerfile.template
@@ -42,8 +42,10 @@ RUN if [ -n "$USER_ID" ]; then usermod -u "${USER_ID}" docker \
         && chown --from=9999 docker /usr/src/nginx /usr/src/app -R; fi

 <% end -%>
+RUN apt-get update; apt-get install wget -y
 RUN curl -sL https://deb.nodesource.com/setup_14.x | bash - \
-  && curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
+  && wget --quiet -O - /tmp/pubkey.gpg https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
+  # && curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \
   && echo "deb https://dl.yarnpkg.com/debian/ stable main" > /etc/apt/sources.list.d/yarn.list \
   && printf 'path-exclude /usr/share/doc/*\npath-exclude /usr/share/man/*' > /etc/dpkg/dpkg.cfg.d/01_nodoc \
   && echo "deb http://apt.postgresql.org/pub/repos/apt/ $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list \
diff --git a/script/common/utils/dory_setup.sh b/script/common/utils/dory_setup.sh
index e04d4165cf..10a6d1b3d9 100755
--- a/script/common/utils/dory_setup.sh
+++ b/script/common/utils/dory_setup.sh
@@ -16,9 +16,9 @@ function check_for_dory {

 function start_dory {
   message 'Starting dory...'
-  if dory status | grep -q 'not running'; then
-    confirm_command 'dory up'
-  elif ! dory status; then
+  if sudo dory status | grep -q 'not running'; then
+    confirm_command 'sudo dory up'
+  elif ! sudo dory status; then
     message "Something went wrong with dory! Exiting script."
     exit 1
   else

GithubのToken

2022-03-24T21:00:00+09:00

Githubの自分のリポジトリにgitコマンドから何かするときにパスワードではなくTokenが必要になる。普段はGUIなツールなので意識しないがPelicanでこのサイトを更新するときには必要。

Tokenの生成ページ https://github.com/settings/tokens

基本的には repo: Full control of private repositories にチェックを入れた状態で生成する。期間は30日くらいにしておく。

あとはgitでパスワードを聞かれたときにTokenをコピペすれば良い。

CanvasのSandbox

2022-03-24T20:00:00+09:00

LMSのCanvasのSandbox作成。やることは簡単でスクリプト一発の筈だったのだが結構面倒だった。 gitとかの基本的なツールはあって当たり前なので省略するが

この手順はmacOS (Monterey)
doryが必要(Webサービスをlocal動作させる際，偽のFQDNをいい感じにmapしてくれるらしい)
docker諸々必要
mutagenが必要(dockerのバインドマウントを高速化)

あたりが条件

doryを入れる

brew install dory

Canvasのソースを拾ってくる

git clone https://github.com/instructure/canvas-lms.git
cd canvas-lms

依存アプリを入れて環境構築

ここの通りにDocker環境のセットアップを実行すると足りないものを指摘してくれるのだが，先に依存するアプリも入れてしまう

brew install mutagen-io/mutagen/mutagen
brew install mutagen-io/mutagen/mutagen-compose
./script/docker_dev_setup.sh --mutagen

Docker Desktopが無いと言われる

で，Docker Desktopをインストールしてあるのに無いと言われてコケるので script/common/utils/docker_desktop_setup.sh の最後の

function check_for_docker_desktop {
  if ! mdfind "kMDItemKind == 'Application'" |grep -qE 'Docker.app|Docker\ Desktop.app'; then
    echo "  Docker Desktop is not installed!"
    echo "  Refer to https://docs.docker.com/docker-for-mac/install/ for help installing."
    echo "  Once Docker Desktop is installed rerun this script."
    exit 1
  fi
}

のexit 1を消す泥縄で対応。(エラーになっても終了させない)

またコケるが再度実行すると通る

その後コケるが，docker_dev_setup.logを見ても↓のような感じで原因不明だが，もう一度実行すると何故かエラーなく通る

Gem files will remain installed in /home/docker/.gem/gems/ruby-debug-ide-0.7.2
for inspection.
Results logged to
/home/docker/.gem/extensions/x86_64-linux/2.7.0/ruby-debug-ide-0.7.2/gem_make.out

An error occurred while installing ruby-debug-ide (0.7.2), and Bundler cannot
continue.
Make sure that `gem install ruby-debug-ide -v '0.7.2' --source
'https://rubygems.org/'` succeeds before bundling.

In Gemfile:
  ruby-debug-ide
  /o\ Something went wrong. Check /xxxxxxxxx/sandbox/canvas-lms/log/docker_dev_setup.log for details.

ということでもう一度実行

./script/docker_dev_setup.sh --mutagen

今度はセットアップが完了する。

mutagen-compose up

mutagen-composeでupする(ちなみにupで開始だからdownとやるとcontainersが全部消える)。

mutagen-compose up

で，暫く待ってるとwebpack_1からのログが終わってjobs_1からのログが流れるので，ブラウザで http://canvas.dockerを開くとCanvasのログイン画面になれば順調。

Canvasのアカウント作成

この状態だとアカウントが無い状態なのでcontainerの中のrailsでアカウントを作成する。

docker ps

で確認してIMAGEがcanvas-lms_webのNAMESを見る(たぶんcanvas-lms_web_1)。

docker exec -u 0 -it canvas-lms_web_1 /bin/bash

でコンテナに入ると

root@xxxxxxxxxxx:/usr/src/app#

のようなプロンプトになるので

rails db:initial_setup

を実行すると色々聞かれる。

※アカウント名(the account name)なのだが，特殊な用語で大学-学部-学科のようなツリーを考えたときの大学に相当する

1: development:public
What email address will the site administrator account use? > [ログインIDになるメールアドレスを入力]
Please confirm > [ログインIDになるメールアドレスを入力]
What password will the site administrator use? > [パスワードを入力]
Please confirm > [パスワードを入力]
What do you want users to see as the account name? This should probably be the name of your organization. > [他のユーザーから見たアカウント名]
To help our developers better serve you, Instructure would like to collect some usage data about your Canvas installation. You can change this setting at any time.:
1. Opt in
2. Only send anonymized data
3. Opt out completely
> [開発元に情報を送るかどうかなので2の匿名化か3の拒否が無難]
Thank you for participating in anonymous usage collection.
You can change this feature at any time by running the rake task 'rake db:configure_statistics_collection'
........................................................................................
Notifications Loaded
No notification files found for Assignment Publishing Reminder
No notification files found for Assignment Grading Reminder
No notification files found for Assignment Due Date Reminder
No notification files found for Rubric Assessment Invitation
No notification files found for Migration Export Ready
No notification files found for Migration Import Finished
No notification files found for Migration Import Failed

Initial data loaded

で完了。doryのおかげでhttp://canvas.dockerでログインできるようになってる。

github-wiki-see

2021-12-04T20:20:00+09:00

昔は研究室Webサーバ内にwikiを設置していたものの，SPAM対策やら色々面倒になりGithubのリポジトリ内Wikiでいいかと引っ越した訳ですが，2019年からGoogle等の検索エンジンのクロールをGithubが拒否するようになってます。理由は色々あるらしいですが，robots.txtから Disallow: /*/wiki*を削除したもののx-robots-tag: noneがヘッダに埋め込まれるせいでGithubの検索から以外は探せない状態が続いています。(ここで議論されてました)

例えばffmpegを使おうとしてeiichiromomma ffmpegで検索してもGithubのWikiが出てこない。出てくるのはgithub-wiki-seeなる怪しいサイト。

見た目的に変なサイトと思えてしまいますが，本来であれば検索エンジンに拾われたであろうGithub Wikiの内容をクロールして検索エンジンに渡して，オリジナルのWikiのURLを提示する。というサイトのようです。私も最初訝しんでブロックしてましたが，問題無いようなので利用して下さい。

改善しないなら，ここ(Github Pages)に今のWikiの内容をマージするのもアリかなと。ただフォルダ構造変えないとダメになるのでそれはそれで面倒。

研究室への問い合わせと2020-2021の状況について

2021-11-28T10:59:00+09:00

研究室への問い合わせ

12/2,3はViEW2021 ビジョン技術の実利用ワークショップの運営やってるので対応できません。スミマセン。(学生さんは聴講参加無料なので，この分野を覗いてみたい人は是非参加してみてください。) 質問受け付けは全てZoomで実施します。(Zoom URLはドライブの方に掲示)

12/4(土) 11:00-12:00
12/6(月) 17:00-18:00
12/7(火) 12:00-13:00
時間が合わない人は可能な範囲で個別に調整するので momma.eiichiro@nihon-u.ac.jp まで連絡

近況

コロナ禍なかなか収束しませんませんね。Blogに載せられる活動がほぼ無い状況なので1年以上更新も止まってました。写真はどうなんでしょうかね。マスクマンだらけなので社会情勢の記録にはなりますが。

緊急事態宣言下ではもちろんリモートですが，卒研の活動については学部生は半数までという制限もあります(最近)。

学生の研究室への登校は任意(要事前申請)
連絡はコロナ禍の前からSlack (教育支援プログラムをありがたく使わせて貰ってます)
ゼミはZoomでのリモート
個別のミーティングは研究室で対面だったりZoomだったり

研究室Webサーバー(Wordpress)の移設

先日サーバーPCの置いてあった建屋で停電が起き，再起動出来たり出来なかったりと不安定な状況になりました。厄介なことに，研究室や自宅にサーバPCを持って帰って検証しようとすると起動して，建屋で再開させようとすると起動しない。 Wordpressで運用してるのですが，過去のサーバー移設の際もかなり面倒だったのと，放置してたgithubioのブログでのPelicanがmarkdown記述でかなり楽なのもあって，これを機会にWordpressを辞めてPelican運用に変更しました。(移設については別記事で)

という訳で，技術メモも含めた研究室のWebページという扱いで運用して行きます。

Wordpress to Pelican

2021-11-27T19:20:00+09:00

WordpressからPelicanへの移行メモ

前置き

Wordpressサーバが停電から電源復旧せず。時々起動。本番物理環境(寒い8号館)で作業するのはダルい。
本体は持ち運び可能なNUC
IPは固定のグローバル

サーバが起動してるうちにバックアップ

IPの取得をDHCPに

/etc/network/interfaces をdhcp用に書き換える。ここらへんの作業は大した話ではない。再起動すればローカルのネットワーク内にアクセス可能なWebサーバが取り敢えず起動した状態になる。 ifconfigなりip addressでIPアドレスを調べておく。

嘘吐きサーバと嘘吐きクライアント

本番物理環境以外で起動してもWebサーバはServerNameに基いて喋るのでDHCPで取得したIP直打ちでブラウザから開こうとしても蹴られる。ServerNameをIPにする手段もあるがSSLの扱いとか諸々上手く行かないうえに，サーバ内でlynxやw3mで開いて保存してもsshで同じ問題に当たるので，

サーバの/etc/hosts でDHCPから割り当てられたIPと使っていたFQDN(www.cvm....)を紐付ける。
クライアント(macOS)の/private/etc/hostsも同様にサーバのFQDNがDHCPでサーバが取得したIPに紐付ける。

でローカル内で共謀させる。これでクライアントで今迄開いていたようにwww.cvm....を開くとローカルのサーバへアクセスできるし，sshやscpが機能する。

xmlをエクスポート

Wordpress to Wordpressならpluginで移行ツールも山程あるがPelicanはxmlが必要なので「ツール」-「エクスポート」で全データのXMLを吸い出す。あとは/var/www/htmlにWordpressのフォルダがあるのでwp-contentsのuploadsフォルダをまるごと持ってくる(ここに画像等のデータが入ってる)

pelican-import

python環境でpelicanが使える前提。importツールも勝手に入る。

pelican-import --dir-cat --wpfile -o wpoutput -m markdown --disable-slugs ../cvmlab.WordPress.2021-11-27.xml

--dir-cat: Wordpressでのカテゴリごとにフォルダを掘って出力
--wpfile: Wordpressからのコンバート
-o wpoutput: wpoutputフォルダに出力
-m markdown: Markdown形式で出力
--disable-slugs: Pelicanはslugをファイル名やフォルダ名に使うのでWordpressのは使わないよう指定しないと後でカオスになる

という感じでカテゴリごとにフォルダが掘られ，mdファイルが配置される。エラーが出たらipythonを起動し，

%run /path/to/pelican-import --wpfile -o output -m markdown --disable-slugs ../cvmlab.WordPress.2021-11-27.xml

という感じで実行し，その後で

%debug

とするとデバッガに入れる。大抵itemsに詰まったデータのitemを処理してる最中に起きるので，

item

でエラーが発生したitemの中身を表示して，Visual Studio Code等のエディタでxmlを開き該当箇所を探すと変な文字が紛れてたりするので消す。また実行してエラーが出なくなるまで繰り返し。

整形諸々

一応出力できたが問題は山積み

-e0----.mdみたいなファイル名になりコマンド実行時にオプション扱いされる
- multi-byteな文字の問題だろうが以後コマンドでファイル名を指定する作業の際に--(ハイフン二つ)を前に置くとファイル名として扱ってくれる
- pelicanで変換する際は問題にならないので放置
Pelicanはカテゴリは1つだけという制限
- 色々手はあるが組合せが面倒なので全部開いて手作業で一つにした
- Tagsは複数指定できるらしいが今後1つだけにすれば良いやということでそのまま
画像のリンクはwordpress内へのリンクのまま(当たり前)
- gsedで一気に置換する
- sedでは"/"の代わりに別のセパレータ("|"とか)を指定すればURLをそのまま置換できる
  - Pelicanで使うcotnents/imagesの中にuploadsフォルダをまんまコピーしておく

find . -type f | xargs gsed -i.bak -e "s|https://www.cvm.ele.cst.nihon-u.ac.jp/wp/wp-content/|{static}/images/|g"

で後は全ページチェックしておかしなところを直していくしか無いのだが，過去記事なので致命的な問題の指摘が来たら直すってことで。

あとはPelicanの通常作業

make html
make serve

でlocalhost:8000を開いて確認。

問題無ければリリースする。

theme

あちこちに載ってるので大した話は無いが適当な場所で

git clone --recursive https://github.com/getpelican/pelican-themes

でpelicanconf.pyに

THEME='/path/to/zurb-F5-basic'

のような感じで書いて

make html
make serve

でlocalhost:8000を開いて確認する。

このままでも良いのだが

pelican-themes -i /path/to/theme

としてインストールすると，THEMEの記述をパス不要で名前だけにもできる。

落とし穴

Makefileが古く

pelican-quickstart

を実行し直してMakefileを作り直せと言われたので実行したら，githubのmaster→mainの名称変更があって以後mainのbranchに投げられるように変わってた。

リポジトリの設定でデフォルトのbranchをmainに変更
同じくSitesの設定でgithub ioのサイトに反映させるbranchをmainに変更

が必要だった。

前期が終わりました

2020-07-31T08:48:00+09:00

コロナ禍で久々の更新です。卒業式もなく学位記伝達のみだったり，学部生は4正式に配属されてから一度も研究室に来てなかったりと特殊な状況ですが，M1, M2は入構可となってから1ヶ月くらいでリカバリーしてもらうところです。

講義は全てオンデマンド式の講義で曜日無関係な収録の日々ではあるものの，そこは画像が専門なので，タダでは転ばずノウハウを溜めましたので，皆さんも参考にして下さい。お陰で自宅にクロマキー環境まで作ってYoutuber状態ですが。

まだタワー・スコラに来たことすら無い2年生もいるかも知れませんので(?)，3Dモデルを噂の3D Scanner Appで作ってみました。

卒研発表会2020

2020-02-27T18:15:00+09:00

例年だとB3と師匠の名誉教授にご参加頂き開催するところですが，例の肺炎対策ということで門馬とのポスターを使った試問ということにしました(距離は取ってます)。B3はネットでポスターを確認して Sli.do で質疑という試みもしました。今年度は上から水が降ったせいでリソースを大幅に取られたり色々ありましたが，どうにかM0の2名が研究会にも出せたし何とかなりました。皆様お疲れ様でした。Cavaで乾杯だけして解散。

卒論下見発表会

2020-01-30T17:12:00+09:00

卒論も大詰めということで下見発表会を開催しました。打ち上げも開催したいところですが，テストに追われていたり前日まで無理をしている人もいたりということで，昼にピザを差し入れするだけにしておきました。

忘年会

2019-12-19T20:10:00+09:00

数日前に飲み会をやったばかりですが，今度はB4+院生の忘年会。たまたまM1の誕生日ということでケーキでお祝い。

B3自己紹介LT飲み会

2019-12-16T20:08:00+09:00

仮配属が決定した3年生を集めて，自己紹介LT飲み会を開催しました。例年誰かしら欠けてて何度も自己紹介LTをやってますが，今度の3年生は集りが良く全員揃いました。

進捗報告+飲み会2019-11

2019-11-21T19:02:00+09:00

研究の進捗報告会+飲み会でした。飲み会は人が少なく院生+M0で。ペプシが24本当たったとかでM1が配布中。

研究室見学について

2019-09-20T18:42:00+09:00

仮着手の季節が来ました。見学は以下の時間に受付けています。

9/21(土) -16:00
9/25(水) 11:30-13:00
9/27(金) 11:30-13:00
9/28(土) 11:00-12:30
10/6(土) 電気工学科オープンラボ 9:30-17:00
10/9(水) 11:30-13:00
10/11(金) 11:30-13:00

これら以外の場合は事前にアポイントを取ってくれると助かります

研修旅行2019

2019-09-10T19:56:00+09:00

今年の研修旅行は日帰りで恵比須の東京都写真美術館を見た後にヱビスビール記念館に行って，夜はバーベキューでした。外で飲み食いするのもたまには良いもんです。

研究会+部門優秀論文発表賞表彰

2019-08-28T18:23:00+09:00

徳島大学で開催の知覚情報/次世代産業システム合同研究会に参加してきました。研究発表に加えて昨年度現M2の木鉛君が受賞した部門優秀論文発表賞の表彰も実施され，「非整備環境におけるセンシングとAI技術調査専門委員会」委員長の谷口先生から表彰状を授与されました。

デモ大会その2+自己紹介LT飲み会

2019-06-20T18:17:00+09:00

前回に引続きデモ大会です。UE4+ViveProでちゃんと作り込んできてました。

その後打上げを兼ねた自己紹介LT飲み会(全員揃うまで続きます)です。写真は誕生日で浮かれる田久保君。

デモ大会その1

2019-06-06T18:16:00+09:00

こちらから指定した機器やアルゴリズムを使ったデモ大会です。残念なCNNのプレゼンが秀逸でした。

輪講2019-5-16

2019-05-16T18:13:00+09:00

進学や就活で忙しいところですが輪講を開催しました。思いの外しっかり資料を作ってきてくれてました。

自己紹介LT飲み会2019-4

2019-04-25T21:54:00+09:00

恒例の自己紹介LT飲み会を開催しました．ちょっと酒が回ったところでの自己紹介プレゼンはリラックスできて楽しいものです．

これから1年間頑張りましょう．

部門優秀論文発表賞

2019-03-31T17:44:00+09:00

大学院生の木鉛君が電気学会D部門で部門優秀論文発表賞を受賞しました．おめでとう!

卒業・修了

2019-03-25T18:04:00+09:00

今年も学部生，大学院生が巣立って行きました．卒業・修了おめでとうございます．

卒研発表会2019

2019-02-28T17:59:00+09:00

新しい研究室で初の卒研発表会を実施しました．人が多過ぎて酸欠になりそうだったので来年からは発表会は実験室を借ります．

優秀研究発表賞の投票の結果，三澤さん，彦坂君，小網さんが受賞となりました．

授業アンケート結果(電気回路I及び演習)

2019-02-12T17:45:00+09:00

データの加工が割と面倒なのでここ数年サボっていましたが，下図のような集計となりました．今年は諸事情によりABクラス1部屋で160名でしたのでうるさくならないか心配でしたが大丈夫でした．

それなりに好意的な回答かなと思います．自由記述欄については幾つかピックアップします．(コメントありがとうございます)

解答を示してくれる・ポータルにスライドを置いてくれるのは助かった
課題が多いです
スライド配布資料へのメモ書きの時間が欲しい
授業のスピードが速い
マグロウヒルが難しい
もっと，やる気のない生徒との差別化をしてほしい
わかりやすかった

時間に関しては最後の総復習とのバランスの問題なのでもう少し見直す予定です．マグロウヒルが難しいのは確かですが解説付きの基本問題を解いていると分かってくるものです(他に丁度良い問題集がなかなか無いという理由もあります)．

ちなみに上記のグラフは今回はPythonのpandasで自動生成できるようにしました．来年からは楽になるかも．

https://github.com/eiichiromomma/CVMLAB/blob/master/notebooks/201904%20QA.ipynb

進捗報告飲み会2018-12

2018-12-20T20:42:00+09:00

卒研での進捗報告をして貰いました．

その後は恒例の飲み会です．

B3自己紹介LT飲み会

2018-11-30T20:48:00+09:00

恒例の仮配属者の懇親Lightning Talk+飲み会です。皆プレゼン上手いですね。

進捗報告+飲み会2018-11

2018-11-08T20:43:00+09:00

記事のアップロードが遅くなりましたが進捗報告+飲み会です。

研究室の見学について

2018-09-22T15:24:00+09:00

卒研の仮配属の季節になりました。見学を希望される方は下記の時間に来て下さい。

[9/22(土) -16:00]
[9/24(月) 16:00-17:00]
[9/26(水) 12:00-13:00]
[9/29(土) 11:00-12:30]
[10/5(金) 11:30-13:00]
[10/6(土) 電気工学科オープンラボ 9:30-17:00]

これら以外を希望される場合は事前にメール等頂けると助かります。

2018年度(第51回)照明学会全国大会

2018-09-12T18:53:00+09:00

M2程君とM1中澤君が神戸大学で発表してきました。神戸といえば牛。

研究室旅行

2018-09-03T18:23:00+09:00

ワインと肉の旅行でした。晴れて良かった。

Roomba

2018-08-10T18:08:00+09:00

来ました。

引越しほぼ完了

2018-08-02T23:03:00+09:00

ダンボール20箱以上持ち込んだ書籍ですが、新規に設置した本棚にほぼぴったり納まりました。これで引越しも一段落。

という訳で引越し祝となりました。

電気学会知覚情報/次世代産業システム合同研究会(広島工業大学)

2018-07-30T22:51:00+09:00

M2天野君、M1木鉛君、中島君と研究会に行ってきました。

広島ということでお好み焼きも堪能しました。

ちゃんと発表も。

MESH

2018-07-20T19:20:00+09:00

タワー・スコラでの研究室在室状況をMESH+Slack(+IFTTT+iruca)で確認できるようにしました。グラフィカルなプログラミングで，動きタグの倒し方で在室状況，明かりタグで部屋の照明状況を常時Slackで確認できます。写真には無いけどボタンタグで呼び鈴機能も追加。

デモ大会2と移転準備

2018-07-12T19:13:00+09:00

デモ大会その2と，タワー・スコラ移転準備をしたので，そのまま酒類のストック減らしでピザをとっての飲み会です。

Turtlebot3

2018-06-21T17:34:00+09:00

ROSやSLAM関係が面白いのでTurtlebot3を入手しました

デモ大会

2018-06-07T17:29:00+09:00

一人20分と長めの持ち時間で各研究テーマにちなんだデモということで，SLAMやAR等をやって貰いました。ただのプレゼンとは違う面白さがあります。

自己紹介LT飲み会2018-5

2018-05-12T21:17:00+09:00

恒例の自己紹介LT飲み会を開催しました。食事と酒が進んだところで自己紹介Lightning Talk(数分のプレゼン)をやって貰っています。

今年も面白いメンバーが揃いました。今回は全員揃わなかったのでまた開催します。

新しい研究室

2018-04-20T20:26:00+09:00

今日は内覧でした。↓こんな感じの景色です。

[cardboard id="636"]

卒業

2018-03-25T20:44:00+09:00

更新遅くなりましたが，M2が3名，B4が7名巣立って行きました(うち3名は進学)。いつでも遊びに来て下さい。

[cardboard id="633"]

ピザ祭

2018-03-12T22:00:00+09:00

照明学会東京支部の技術セミナーでした。参加したメンバーでピザ祭。

卒研発表会2018

2018-02-27T21:54:00+09:00

今年は7名の発表でした。恒例の投票の結果，進学予定の3名が1, 2, 3フィニッシュでした。副賞はステーキと大トロ・中トロ・赤身の高級寿司。来年のメンバーも頑張りましょう。

卒研報告会

2018-01-18T23:00:00+09:00

一昨日にB3の自己紹介LT兼新年会をやったのですが撮り忘れました。

今日はB4の報告会です。

無限cheezaの筈が全部食われました

Micro-CAPの意外(?)な使い方

2017-12-28T19:29:00+09:00

4年次設置の電子回路CADで使っているMicro-CAPですが，他のSPICE系回路シミュレータには(たぶん)無いDynamic AC解析機能があります。

こんな感じです。簡単に言うと電気回路理論の問題が解けます。

青い四角形が複素電流で最初の数字が大きさ，カンマの後の数字が偏角です。これは相互インダクタンスの回路で下がT型等価回路へ変換した回路で，同じ枝電流になっています。で，ピンクの楕円の方が複素電圧です。グランドの位置を変えているのは節点電圧法で解いた場合の電位を出すためです。電圧と電流は直角座標系での表示も出来ます。

電源はVoltage SourceのSineを使いAC解析の方に実効値を入れて初期位相はdegree
計算が楽なのでω=1000として扱う
- Lの値はインピーダンス表記から1/1000
- Cの値はインピーダンス表記の逆数の1/1000
- Analysis-Dynamic ACで出てくるダイヤログで周波数を1000/6.28
相互インダクタンスはAnalog Primitives-Passive ComponentsのKを使う(磁気結合)
- k=M/√(L1・L2)でkを決める

という感じで演習の解答の確認にも使ってます。

ちなみにMicro-CAP 11は評価版を制限付きですが使えます。日本語のマニュアルとUIが欲しい人はCQ出版のMicro-CAP 9を買いましょう。

macOSでRealsense

2017-12-28T19:00:00+09:00

CreativeのSenz3dがmacOSでも使えるらしいので試してみた。

インストール(macOS)

librealsenseは公式サポートではないがIntel謹製のライブラリらしい。 Homebrewにも存在するがPython wrapperが欲しいので自前でビルドする。

git clone https://github.com/IntelRealSense/librealsense.git
mkdir build
cd build
ccmake ..

で

BUILD_CV_EXAMPLES: OpenCVの実装例
BUILD_PCL_EXAMPLES: PCL(Point Cloud Library)の実装例
BUILD_PYTHON_BINDINGS: Python用のpackage(Python3)

をONにして，

BUILD_WITH_OPENMP: OpenMPだがmacOSだとエラーになる。動くようにしても大して速くならないとのこと

をOFFにしておく。あとはOpenCVなりPCLなりが入っている環境なら問題無く動く。

-- Installing: /usr/local/lib/librealsense-file.a
-- Installing: /usr/local/bin/rs-capture
-- Installing: /usr/local/bin/rs-save-to-disk
-- Installing: /usr/local/bin/rs-multicam
-- Installing: /usr/local/bin/rs-pointcloud
-- Installing: /usr/local/bin/rs-align
-- Installing: /usr/local/bin/rs-sensor-control
-- Installing: /usr/local/bin/rs-depth
-- Installing: /usr/local/bin/rs-color
-- Installing: /usr/local/bin/rs-distance
-- Installing: /usr/local/bin/rs-terminal
-- Installing: /usr/local/bin/rs-enumerate-devices
-- Installing: /usr/local/bin/realsense-viewer
-- Installing: /usr/local/bin/rs-data-collect
-- Installing: /usr/local/bin/rs-depth-quality
-- Installing: /usr/local/bin/live-test
-- Installing: /usr/local/lib/pyrealsense2.2.8.3.cpython-36m-darwin.so
-- Installing: /usr/local/lib/pyrealsense2.2.cpython-36m-darwin.so
-- Installing: /usr/local/lib/pyrealsense2.cpython-36m-darwin.so
-- Installing: /usr/local/lib/pybackend2.2.8.3.cpython-36m-darwin.so
-- Installing: /usr/local/lib/pybackend2.2.cpython-36m-darwin.so
-- Installing: /usr/local/lib/pybackend2.cpython-36m-darwin.so
-- Installing: /usr/local/bin/rs-imshow
-- Installing: /usr/local/bin/rs-grabcuts
-- Installing: /usr/local/bin/rs-latency-tool
-- Installing: /usr/local/bin/rs-dnn
-- Installing: /usr/local/bin/rs-pcl

という感じに面白いサンプルも入る。

サンプル

下のWrapperのサンプル以外のrs-*がそれ。名前のまんまなのでそれぞれ実行すると分かる。 realsense-viewerは至れり尽せり。

Pythonパッケージ

pythonのpyrealsense2は適切な場所に置く必要がある。例えば

cd /usr/local/lib/python3.6/site-packages/
ln -s /usr/local/lib/pyrealsense2.cpython-36m-darwin.so pyrealsense2.so
ln -s /usr/local/lib/pybackend2.cpython-36m-darwin.so pybackend2.so

のような感じで使える。

Wrapperのサンプル

rs-imshow: OpenCVのサンプル(imshow)
rs-grabcuts: OpenCVのサンプル(Grabcutsの実装)
rs-latency-tool: OpenCVのサンプルだがmacOSが白画面で応答しなくなった
rs-dnn: OpenCVのサンプル(SSD+距離計測, build/wrappers/opencv/dnnへ移動して実行)
rs-pcl: PCLのサンプル

Pythonパッケージの使用例

ここのを少し弄って動くようにした。

import pyrealsense2 as rs
pipeline = rs.pipeline()
pipeline.start()
while True:
    frames = pipeline.wait_for_frames()
    depth = frames.get_depth_frame()
    if not depth: continue
    coverage = [0]*64
    for y in range(480):
        for x in range(640):
            dist = depth.get_distance(x, y)
            if 0 < dist and dist < 1:
                coverage[int(x/10)] += 1
        if y%20 is 19:
            line = ""
            for c in coverage:
                line += " .:nhBXWW"[int(c/25)]
            coverage = [0]*64
            print(line)

で距離画像をASCII Art化して表示してくれる。ローテク加減が面白い。 ※固定長フォントでお楽しみ下さい

                                    .
                                  nWBnBWWX:
                               h :WWWWWWWWWn.
                               WnWWWWWWWWWWWB
                             .nXhWWWWWWWWWWWW:
                         .:hWWWWhWWWWWWWWWWWW:
                    :WXBXXWWWWWW:hWWWWWWWWWWn n: .
                   nWWWWWWWWWWWWX.:hhBXXh:n. XWWXX
                  hWWWWWWWWWWWWWWX: hWBh: .:WWWWWBB
                 :WWWWWWWWWWWWWWXWWB:.. :BWWWWWXnXX
                 XWWWWWBhWWWWWWWWWWWWWWWWWWWWWW:hB.














                                  nWX:hWWX:
                               B :WWWWWWWWWn.
                               WnWWWWWWWWWWWB
                             .:XhWWWWWWWWWWWW.
                          .hWWWWnWWWWWWWWWWWW:
                    :XBhBXWWWWWW:hWWWWWWWWWWn n.
                   hWWWWWWWWWWWWB :BhBXXh:n: XWWXB
                  hWWWWWWWWWWWXWWX: hWXhn .:WWWWWhX
                 .WWWWWWWWWWWWWWWWWB:.  :BWWWWWWnBh
                 BWWWWXBhWWWWWWWXWWWWWWWWWWWWWWhXB:














                                  BWnnBWWB
                              :. hWWWWWWWWX.
                               WnWWWWWWWWWWXh
                              :XBWWWWWWWWWWWX.
                          .BWWWXnWWWWWWWWWWWW
                    nXBhBBWWWWWW.XWWWWWWWWWW..n.
                   hWWWWWWWWWWWWn hhBBXXhnh.:WWWXB
                  hWWWWWWWWWWWXWWh  WWXh: .nWWWWXBh
                 :WWWWWWWWWWWWWXWWWh..  nXWWWWWXhWB.
                 XWWWWWBhWWWWWWWXWWWWWWWWWWWWWXnBBn














                                  XW.nBWWB
                              n. BWWWWWWWWh:
                              :WnWWWWWWWWWWXn
                              hWBWWWWWWWWWWWX
                          :BWWWBnWWWWWWWWWWWW
                    nBhhBXWWWWWW:XWWWWWWWWWW.:n..
                   BWWWWWWWWWWWWn hBBXXXnnh :WWWBB
                  hWWWWWWWWWWWXWWh. WWXh. .nWWWWXBn
                 .WWWWWWWWWWWWWXWWWh..  nBWWWWWXhXh
                 XWWWWWXBWWWWWWWXWWWWWWWWWWWWWWnhn













                                       .
                                 :WhnXWWW:
                              n :WWWWWWWWWBn.
                              BhBWWWWWWWWWWX:
                              hhWWWWWWWWWWWWh
                          :BWWXnBWWWWWWWXWWWn
                    :BBhhWWWWWWX:XWWWWWWWWWB :n:
                   hWWWWWWWWWWWWn hnBBXX::: hWWWBB
                  hWWWWWWWWWWWXWWB..WWhn. nBWWWWWBh
                 :WWWWWWWWWWWWWXWWWB:...hXWWWWWXhXh.
                 XWWWWWXXWWWWWWWXWWWWWWWWWWWWWXhXB.











                                  BB:
                              .hhWWWWWBn.
                              XWWWWWWWWXh
                            ..WWWWWWWWWWWW
                            nBWWWWWWWWWWWW
                             hBWWWWWWWWWWX
                           :hB.nXXhXWWXnn
                        :XWWWWX:. WWWWWn  XWB.
                   .XWWWWWWWWWXWB. ::. .nWWWWWXh.
                  .WWWWWWWWWWWXWWWWBhBXWWWWWWWWWWn.
                 .WWWWWWWWWWWWWXWWWWWXWWWWWWWWWWWWX
                 BWWWWWWWWWWWWWXWWWWWWWWWWWWWWWWWWh.
                 XWWWWh:BWWWWWWWWWWWWWWWWWWBhh:XWn











                               nXX.
                            :hXWWWWWBnn
                            WWWWWWWWWWB:
                          :nWWWWWWWWWWWW
                           BWWWWWWWWWWWW
                           nBWWWWWWWWWWX
                         .nB.nWBXWWWBn:  :
                      .hWWWWX: .WWWWW: .XWWXn.
                  .XWWWXWWWWWWB:.::. :BBWWWWWWWn
                 :WWWWWWWWWWXWWWWBBXWWWBWWWWWWWWWh
                .WWWWWWWWWWWWWXWWWWXXWWWWWWWWWWWWW:
                hWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWB
                XWWWXnnXWWWWWWWWWWWWWWWWWWWXhhXWBh











                              :Bh:
                           .nBWWWWWXhh:
                           BWWWWWWWWWXh
                          :XWWWWWWWWWWWh
                          .BWWWWWWWWWWWh
                           :WWWWWWWWWWW:
                         nBB.BBhXWWXB:  nh:
                     .:hWWWWh. BWWWWh .BWWWXh:.
                  .XWWWWWWWWXWB..:.  BWWWWWWWWWB
                 :WWWWWWWWWWWWWWWBBBXWXWWWWWWWWWWh
                .WWWWWWWWWWWWhXWWWWXXWWWWWWWWWWWWWh
                hWWWWWWWWWWWWWWWWXWWWWWWWWWWWWWWWXh
                BWWWX: hBWWWWWWWWWWWWWWWWWWX:hXWhn:











                                :B:
                              :hXWWWWh
                             .hWWWWWWWX
                             nhWWWWWWWW.
                               nBBXXBn.
                            . .. hWXX
                        hB...XXWBn...nWh:. .n.
                      hWWWWXWWWBWWWWWWWWWhBWW.
                     :WWWWWWWWWWWWWWWWWWWWXWXn:
                     hWWWWWWWWWWWWWWWWWWWWWhBXh
                     nWWWWWWWWWWWWWWWWWWWXh.nBB
                     BXBn :WWWWWWWXWWWXXWWWWB:
                           nBhWWWWWWWXBWWWXhn:





















                               .  .h:..   .
                            .   BXWWWB: .nBhn
                           n:.   .:       ::.






















                                 hXWh..    .
                                   :.      .






















                                :WWWn:.  ..
                                  :.       .






















                                .BBX:.:.  ..
                                  ::






















                                .hBX       .
                                  nn





















                                 n :.
                                .:n:      .
                                .hXh













                                hW:.:
                               nXWWWXh:
                               WWWWWWWn
                               nWXXXXB.
                           .   : .Bh: :B
                         hhW: BWnn..:BWX
                        .nXWnhWWWWWWWWWh.. ..
                        nWWhBWWWWWWWWWX:nn
                         :B:hWWWWWWWWWWhnn  .
                             hhhXWWWWWWhn:
                                .BXhBnh  ..












                               :Bn.
                              nXWWWWXh.
                             nWWWWWWWWW
                             :WWWWWWWWX
                            ..:BXXXBhh. :
                           :BWn .WBXn n:::.
                       nBXBXWWWWh:.:nXWXnXWXW
                      nWXWWWWWWhXWWWWWWWWWWXB:
                     .WWWWWWWWWWWWWWWWWWWWXhWX:
                     :WWWXXWWWWWWWWWWWWWWX nBn.
                      BWBh:hWWWWWWWWWWWWWB.nnh.
                        .   :hBBWWWWWWW::    .











                               nn
                            .nWWWWhhnh:
                            BWWWWWWWWXX
                            WWWWWWWWWWWn
                           .BWWWWWWWWWW
                            .XWWWWWXXWn .
                         nWWX ::WWWWn  :WB .
                    .::hhWWWWXn.hhhn nWBWWWWXBn
                    XWWWWWWWWWWWBhhBWWWBWWWWWWB:
                   :WWWWWWWWWWXWWWWWWWWWWWWWWXWW
                   hWWWWWWWWWWWWWWWWWWWWWWWXWWWX.
                   nWXWh:WWWWWWWWWWWWWWWWWX.WWWX.
                   :XXXn nBWWWWWWWWWWWWWWX.BWX:.











                              hXB:
                           :hWWWWWBBnhn
                           WWWWWWWWWWWXh
                           WWWWWWWWWWWWB
                           WWWWWWWWWWWWn
                           hWWWWWWWWWWW.
                        nXWn:XBXWWXBhn  Xh:
                     ::WWWWWn :WWWWW..nWWWWXh::
                  :WWWWWWWWXWWn::...nWWXWWWWWWWB
                  WWWWWWWWWWWWWWWWWWWWWXWWWWWWWWB
                 nWWWWWWWWWWWXWWWWWWWWWWWWWWWWWWX
                 :WWWWXWWWWWWWWWWWWWWWWWWWWXWWWWX
                  BBnB:nXWWWWWWWWWWWWWWWWW.nWWWWB

Oculus

2017-12-15T13:00:00+09:00

新しいやつが来ました。

新しい研究室で全員これ被って仮想空間を広く使うのも悪くない。

ドローン作業中

2017-12-09T13:00:00+09:00

この後プロペラ破損

受賞

2017-12-05T21:21:00+09:00

共同研究をしている本学歯学部の古市先生が「光学印象機器の3Dデータを活用した窩洞形成評価システムの研究．」と題した発表で，第10回日本総合歯科学会総会・学術大会で優秀口演賞を受賞されました。おめでとうございます。

KivyでOpenCV

2017-12-05T08:00:00+09:00

他のGUIで表示してみる

OpenCVのPythonモジュールではQtが絡むと色々と厄介になる。ビルド時のライブラリの依存の問題でシステムに入ってるQtやAnacondaに入ってるQtやその他諸々のQtをCMakeが拾ってきて，何も考えずにビルドするとビルドは問題なく終わるのに参照次第ではimportすら出来ない。(当たり前) という訳でQt抜きのパッケージになるケースが非常に多い。

PyQtかPySideかという選択肢もあるが，試しにKivyを使ってみたら結構簡単だった。頑張ればOpenCVでのQt-highguiみたいにSaveボタンを付けたり(これは簡単)，拡大して画素値を出したりも出来そうだ。

サンプル

こんな感じでWebCAM-スライダ-ボタンという並び。KivyのSliderは何故かラベルが無いのでちょっと工夫して付け足してる。

構造としてはAppを継承したメインのクラスがあり，buildでUIの構築(と初期設定)，SliderとButtonにbindしたコールバック，Clock.schedule_intervalで指定してるupdateで更新。 update内でOpenCV周りの処理を行なってImageのtextureを書き換えて表示といった流れになる。

# -*- coding: utf-8 -*-
from kivy.app import App
from kivy.uix.boxlayout import BoxLayout
from kivy.uix.button import Button
from kivy.uix.slider import Slider
from kivy.uix.image import Image
from kivy.uix.label import Label
from kivy.graphics.texture import Texture
from kivy.clock import Clock
import cv2

class CvCamera(App):
    def build(self): #UIの構築等
        self._cap = cv2.VideoCapture(0)
        # ButtonやSlider等は基本size_hintでサイズ比率を指定(絶対値の時はNoneでsize=)
        # Verticalの中に置くhorizontalなBoxLayout (ここだけ2column)
        layout2 = BoxLayout(orientation='horizontal', size_hint=(1.0, 0.1))
        self.s1Label = Label(text = 'Slider', size_hint=(0.3, 1.0), halign='center')
        slider1 = Slider(size_hint=(0.7, 1.0))
        slider1.bind(value=self.slideCallback)
        # 日本語フォントを使いたいときはfont_nameでフォントへのパス
        button1 = Button(text='ボタン', size_hint=(1.0, 0.1), font_name='/usr/local/texlive/texmf-local/fonts/truetype/cjk-gs-integrate/ipag.ttf')
        button1.bind(on_press = self.buttonCallback) #bindでイベントごとにコールバック指定
        # Imageに後で画像を描く
        self.img1 = Image(size_hint=(1.0, 0.7))
        # Layoutを作ってadd_widgetで順次モノを置いていく(並びは置いた順)
        layout = BoxLayout(orientation='vertical')
        layout.add_widget(self.img1)
        # ここだけ2columnでLabelとSliderを並べる
        layout.add_widget(layout2)
        layout2.add_widget(self.s1Label)
        layout2.add_widget(slider1)
        # 1columnに戻る
        layout.add_widget(button1)
        #カメラ待ち
        while not self._cap.isOpened(): 
            pass
        # 更新スケジュールとコールバックの指定
        Clock.schedule_interval(self.update, 1.0/30.0)
        return layout

    def slideCallback(self, instance, value):
        # Slider横のLabelをSliderの値に
        self.s1Label.text = 'Slider %s' % int(value)

    def buttonCallback(self, instance):
        # 何かのフラグに使える
        print('Buttn <%s> is pressed.' % (instance))

    def update(self, dt):
        # 基本的にここでOpenCV周りの処理を行なってtextureを更新する
        ret, img = self._cap.read()
        img = cv2.flip(img, 0)
        texture1 = Texture.create(size=(img.shape[1], img.shape[0]), colorfmt='bgr')
        texture1.blit_buffer(img.tostring(), colorfmt='bgr', bufferfmt='ubyte')
        self.img1.texture = texture1

if __name__ == '__main__':
    CvCamera().run()

PCLのサンプル

2017-10-24T22:24:00+09:00

講義でも紹介したPoint Cloud Libraryのサンプル置き場です。PCL, CMake, Qtのある環境が必要です。

https://github.com/eiichiromomma/pcl_samples

Google Drive File Stream

2017-10-17T22:00:00+09:00

Google Driveからの乗り換え

Google Driveのデスクトップアプリ(PCに同期させるアプリ)は2018年3月に廃止が決定。置き換えソフトであるGoogle Drive File Streamアプリは，これまで大学との契約形態については未対応だったが配布開始された模様。 Google Driveアプリを使われていた方は乗り換えが必要で，かなり挙動が違った。特にCドライブの容量が厳しく他のドライブに退避させていた方は注意が必要。

「マイドライブ」と「チームドライブ」は外付けドライブのフォルダとしてマウントされる
データは基本的にクラウドに保持(ネットに繋っていないと見えない)
オフラインでも使えるようにするにはフォルダやファイルを選択して右クリックメニューで「オフラインで使用可能にする」
オフライン用のキャッシュはc:\Users\username\AppData\Local\Google\DriveFSに保存される
Google DriveをCドライブ以外で運用していた場合には，Cドライブの容量を食い潰されるうえに設定で変更できない
既存のGoogleドライブからの引き継ぎは無い(インストーラorアプリがGoogleドライブの停止を推奨してくる)
旧GoogleドライブのフォルダはGoogle Drive File Streamに以降した後は手動で削除する必要がある(消さなくても良いが同期しないうえに容量を食う)
同期中はマウント状態が不安定になる(恐らく改善される)
特に大量のファイルを同期させようとするとエクスプローラーが応答しなくなるが，暫く放置すると同期が終わって正常な状態になる

別ドライブにキャッシュを置く方法(無保証)

Google Drive File Streamをインストールする前に以下の作業をする。(後でもDriveFSをコピーしてしまえば出来るが入れる前の方が安全)

Windows

大容量HDDがHドライブのとき，コマンドプロンプトで

h:
cd \
mkdir DFSCache

でh:\DFSCacheを作成して，そこへのシンボリックリンクをGoogle Drive File Streamアプリが作成する筈フォルダ名で作成する。(usernameは自分のホームフォルダに置き換える)

mklink /d c:\Users\username\AppData\Local\Google\DriveFS h:\DFSCache

としてからGoogle Drive File Streamをインストールすると，h:\DFSCacheにもりもりファイルが溜まる。

Mac

/Users/username/Library/Application Support/Google/DriveFS にキャッシュが置かれるので，これを外付けドライブ等へのシンボリックリンクにする。

sudo mkdir /Volumes/extdrive/DriveFS
sudo chown username:staff DriveFS
cd /Users/username/Library/Application\ Support/Google
ln -s /Volumes/extdrive/DriveFS DriveFS

でextdrive上に逃がせる。

ひき続きvcpkg

2017-10-15T23:00:00+09:00

vcpkg

現状でのメモ。

FreeBSDのportsみたいなものでソースを拾ってきてビルドするシステムなので巨大ライブラリの場合はNuGetのように直ぐ使えるものではない
先日のに追記した通り英語の言語パックが必要。( 英語言語パック )
おまじないレベルだがchcp 65001しておく
buildtrees以下に展開されてビルドするがvcpkg removeでもそれらは削除されない
buildtrees以下は平気で100G越えてくるので要注意
buildtrees以下はインストールしてしまえば消しても実用上問題ない
- 各OSSのソースレベルデバッグは当然出来ない
- サンプルも消える
msmpiでコケる時はdownloadsにインストーラがあるのでそれを使ってインストールしておく
必要なファイルはinstalledに配置され，手動，integrate，cmake(toolchain)で使える
NativeなCMakeで使うのはここの最後にあるが微妙
import/export機能があるので，速いマシンでパッケージをビルド→export→他マシンでimportすれば同一環境を作れる

vcpkgのninja

2017-10-13T23:00:00+09:00

vcpkgでハマる

追記

↓で色々頑張ったのだが結局のところ英語以外の環境はあちこちでトラブルが発生する。諦めてVisual Studioの英語言語パックをインストールしたら解決した。

旧記事

vcpkgを試してみようと，とりあえずPower Shellで

git clone https://github.com/Microsoft/vcpkg.git
cd vcpkg
.\vcpkg install opencv:x64-windows

とやったらzlibのビルドで

Error: Building package zlib:x86-windows failed with: BUILD_FAILED
Please ensure you're using the latest portfiles with `.\vcpkg update`, then
submit an issue at https://github.com/Microsoft/vcpkg/issues including:
  Package: zlib:x86-windows
  Vcpkg version: 0.0.91-2017-10-12-9e19c24d2911ff1ef648aeed0c596e3987eafebf

Additionally, attach any relevant sections from the log files above.

みたいなエラーでコケる。エラーログを見てみると

"C:/local/vcpkg/downloads/cmake-3.9.3-win32-x86/bin/cmcldeps.exe" RC C:\local\vcpkg\buildtrees\zlib\src\zlib-1.2.11\win3
2\zlib1.rc "CMakeFiles\zlib.dir\win32\zlib1.res.d" CMakeFiles\zlib.dir\win32\zlib1.res ": CN[h t@C:  " "C:/Program Files
 (x86)/Microsoft Visual Studio 14.0/VC/bin/amd64_x86/cl.exe" C:\PROGRA~2\WI3CF2~1\8.1\bin\x64\rc.exe -DNO_FSEEKO -DZLIB_
DLL -D_CRT_NONSTDC_NO_DEPRECATE -D_CRT_SECURE_NO_DEPRECATE -IC:\local\vcpkg\buildtrees\zlib\src\zlib-1.2.11 -IC:\local\v
cpkg\buildtrees\zlib\x86-windows-rel /DWIN32 /foCMakeFiles\zlib.dir\win32\zlib1.res C:\local\vcpkg\buildtrees\zlib\src\z
lib-1.2.11\win32\zlib1.rc

途中変な文字化けをしているのでchcpでutf-8にしていないせいかと

chcp 65001

とやってから実行してみたが何の変化も無し。 zlibのportsを見てみると，どうもninjaを使っているらしい。そしてこれ。という訳でvcpkg/ports/zlib/portfile.cmakeの

    PREFER NINJA

をコメントアウト。ようやくビルドできた。

Google Apps ScriptでDriveとGMail連携

2017-09-23T21:00:00+09:00

参加者が撮った写真を自動でWebアルバムみたいに表示したい

という要望があったので，この手の連携となればIFTTTだろと調べてみたのだが，不特定多数からの受付が出来なさそうなので諦め。

GMailだとusername@gmail.comなアドレスについて，username+tag@gmail.comでも受信できる技があるので，それをトリガにGoogle Photosに保存できるだろと少し調査。取り敢えずGoogle Driveなら直ぐ出来そうなので

特定のアドレスに送られたメールの添付ファイルをGoogle Driveのフォルダに自動で保存する(メールはゴミ箱へ)

という処理に。

e-mail: username+tag@gmail.com
Google Driveのフォルダ: Test

で，ググって出てきたスクリプトだと

var subject = Threads[i].getMessages()[0].getSubject();
if(subject=="Target"){

みたいな処理だったので，ならToでもできるだろって事で

var to = Threads[i].getMessages()[0].getSubject();
if(to=="username+tag@gmail.com"){

としたら，Outlookが

to:<username+tag@gmail.com>

で送ってくるのでFalseになる。調べたら部分一致はindexOfでイケるらしいので下記で成功。

function gmailFileUploader() {
  var Threads = GmailApp.getInboxThreads();　
  for(var i=0;i<50;i++){　
    var status = Threads[i].isUnread();
    if(status==true){　
      var to = Threads[i].getMessages()[0].getTo();
      if(to.indexOf("username+tag@gmail.com")>-1){
        var attachments = Threads[i].getMessages()[0].getAttachments();　
        var folders = DriveApp.getFoldersByName("Test");
        while(folders.hasNext()){
          var folder = folders.next();
          for(var j = 0;j<attachments.length;j++){
            var data = DriveApp.createFile(attachments[j]);
            folder.addFile(data); 
          }
        }
        Threads[i].moveToTrash(); //保存終了したらゴミ箱に移動
      }
    }
  }    
}

研究室見学の受付時間について2017

2017-09-21T09:07:00+09:00

仮配属の季節になりました。下記が研究室見学並びに質問の受付時間です。希望する方は下記日時に8号館812室へ来て下さい。事前に momma.eiichiro\@nihon-u.ac.jp まで連絡貰えると助かります。下記以外で希望する場合には必ずメールで事前に連絡をお願いします。

9/23(土) 15:30-17:00
9/25(月) 15:30-17:00
9/27(水) 16:00-17:30
9/30(土) [16:15]{style="color: #ff0000;"}-17:00
10/5(木) 15:30-17:00
10/6(金) 16:30-18:00

※ 時間は急用により変更する可能性があるので小まめにこのページを確認をして下さい

電気学会知覚情報次世代産業システム合同研究会

2017-09-02T23:22:00+09:00

電気学会の研究会に参加してきました。会場の千歳科学技術大学はうちの船橋キャンパスどころではない広大な敷地で，大自然に囲まれた環境でした。(雪で閉じ込められたこともあるとか)

今回はM2吉瀬君，M1天野君(今回デビュー戦)の発表がありました。思ったより落ち着いて発表できていたかと思います。私も発表+座長でしんどかったです。

美味しいビールを飲んだ翌日は，青木研の見学会でした。

泳ぐ天野君

中間報告+自己紹介LT飲み会

2017-08-08T23:21:00+09:00

盆前に中間報告+自己紹介LT飲み会開催です。これで全員揃ったかなというところで10月にまた新メンバーが来そうですね。

1名遅刻を待ったので，結構飲んでからスタートとなり面白い報告会でした。

学部連携ポスターセッション

2017-07-22T19:54:00+09:00

歯学部との共同研究の発表があり、優秀ポスター賞を共著の村山先生が受賞されました。皆も頑張って旨いもの食べましょう。

macOSでOpenCL

2017-07-03T22:00:00+09:00

macOSでOpenCLを頑張ってみた

折角Radeonを搭載しているiMacもあるのでOpenCLでDeep Learningのframeworkが動かないかと弄ってみた。

ArrayfireとかCaffeのOpenCLブランチとかcltorchとかPyOpenCLとか色々と試してみて、ArrayfireやPyOpenCLは一応GPU使って動いてる感までは得られた。

が、OpenCL自体が遅くCPUより処理が遅い。おまけにArrayfireは何かやらかすとmacOSごと調子悪くなる(要再起動)。つらい

イベント参加者で飲み会

2017-06-17T17:57:00+09:00

公開イベントに参加したメンバーで軽く打上げ。。。の筈がいつもの通りでした。食事はイベント前に食べたのでつまみは軽め。

輪講その2

2017-06-16T17:51:00+09:00

今回の輪講は「やってみた」系です。決められた時間内にデモをやるのは結構難しいので良い経験かと思います。

授業評価

2017-05-22T18:29:00+09:00

埼玉大での「プログラミング演習」の授業評価が送られてきました。

自由記述で「難しかった」が3件、「説明不足」が2件。内容に関する高評価が3件。回答が62/86とやや少なかったのが残念ですが、遠慮無く書いてくれとお願いしたり、ダメな授業に対する効果的な悪評価の付け方を指南した割には、まずまずの評価といった所でしょうか。今後のプログラミングの機会に役立ってくれると嬉しいです。

そういえばサーバ移転のゴタゴタで電気回路の評価を載せ忘れてましたね。今度載せます。

輪講その1

2017-05-19T17:46:00+09:00

ゼミで輪講をやりました。今回は調査中心です。プレゼンテーションI, IIをやったせいか皆プレゼンは上手いです。

macOSでTensorflow

2017-05-18T08:00:00+09:00

macOSでTensorflowを頑張ってみた

ここの通りやってもCPUによってはまだ改善点があるようで

W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.
W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are availab

とでる。bazelでビルドする時にAVX2とFMAも加えてみる。

$ conda create --name tf35 python=3.5 scipy numpy jupyter ipython scikit-learn scikit-image matplotlib pandas h5py
$ activate tf35
$ brew install bazel swig
$ git clone https://github.com/tensorflow/tensorflow.git
$ cd tensorflow
$ git checkout v1.0.1
$ ./configure
$ bazel build -c opt --copt=-mavx --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx2 --copt=-mfma //tensorflow/tools/pip_package:build_pip_package
$ bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
$ pip uninstall tensorflow keras
$ pip install /tmp/tensorflow_pkg/tensorflow-1.0.1-cp35-cp35m-macosx_10_7_x86_64.whl
$ pip install keras

で

curl -O https://raw.githubusercontent.com/fchollet/keras/master/examples/mnist_cnn.py
echo 'K.clear_session()' >> mnist_cnn.py

とした後に

python mnist_cnn.py

でmnistが動く。

Using TensorFlow backend.
x_train shape: (60000, 28, 28, 1)
60000 train samples
10000 test samples
Train on 60000 samples, validate on 10000 samples
Epoch 1/12
60000/60000 [==============================] - 100s - loss: 0.3406 - acc: 0.8961 - val_loss: 0.0818 - val_acc: 0.9734
Epoch 2/12
60000/60000 [==============================] - 96s - loss: 0.1207 - acc: 0.9643 - val_loss: 0.0533 - val_acc: 0.9822
Epoch 3/12
60000/60000 [==============================] - 95s - loss: 0.0891 - acc: 0.9743 - val_loss: 0.0461 - val_acc: 0.9852

1epochあたり100s(Core i7のiMac)。Core i5のmac miniだと

Epoch 10/12
60000/60000 [==============================] - 195s - loss: 0.0391 - acc: 0.9883 - val_loss: 0.0277 - val_acc: 0.9905
Epoch 11/12
60000/60000 [==============================] - 219s - loss: 0.0379 - acc: 0.9893 - val_loss: 0.0306 - val_acc: 0.9899
Epoch 12/12
60000/60000 [==============================] - 247s - loss: 0.0359 - acc: 0.9887 - val_loss: 0.0266 - val_acc: 0.9909

ちなみにGeForce 970だと1 epochあたり9s。これだけ頑張っても10倍遅い。GeForce 1080だと1 epochあたり4s。つらい

Openpose

2017-05-05T15:54:00+09:00

前の投稿の

https://github.com/CMU-Perceptual-Computing-Lab/caffe_rtpose

がPython, MATLABにwrapされたのが

https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation

でC++の方は

https://github.com/CMU-Perceptual-Computing-Lab/openpose

として正式公開?

Body + Hands + Face Estimation、Body + Face Estimation、Body + Handsも面白そう。

例のアレ

2017-05-01T19:59:00+09:00

作業してる裏で3月の研究会で見て面白そうだったアレを動かしてみました。

たまに誰も居ない筈のところの地縛霊に応答するけど、チューニングせずに動かしたせいかは不明。取り敢えず楽しい。Web Camでも確認。

サーバーを入れ替えました

2017-04-27T19:23:00+09:00

遊びで入れたMac OS X Serverでズルズルと続けてましたが、飽きたのでLinuxでサーバーを立て直しました。

WordpressもMigrationツールのお陰でいまのところトラブル無く移行できたかも?

研究室の飲み会の投稿は消えてしまったので今度写真付きでアップします …

自己紹介LT飲み会2017-4

2017-04-26T17:40:00+09:00

今年度のメンバーでの自己紹介LT飲み会を開催しました。今年は寿司がダメな人もいるのでピザやらピンチョスやらも追加してます。

FacebookとWordpressの連携テスト

2017-04-08T23:23:00+09:00

Wordpress公式のJetpackを使うと良いらしい。

GNU nano

2017-04-01T09:00:00+09:00

GNU nano

自分では滅多に使わないが、とりあえずUnix系の環境を触らせるときにオススメのエディタGNU nanoの紹介記事を更新。

.nanorcについては思い切り勘違いしてた。というか初期設定ファイルがソースパッケージにしか無いのは変だ。

NA (Excel)

2017-03-31T23:00:00+09:00

Excelで欠損値のグラフ

Excelで欠損値のあるデータのグラフを描こうとすると線が切れる。

欠損値のところに=NA()を入れておくと補完してくれるらしい。

VSCodeとClang

2017-03-05T11:00:00+09:00

VSCodeの補完

代表的な補完拡張の中にclangを使ったものがあるが、CMakeが

set (CMAKE_EXPORT_COMPILE_COMMANDS ON)

で吐いてくれるcompile_commands.jsonに対応していない。 C/C++ Clang Command Adapterではsettings.jsonの"clang.cxxflags"にコンパイラへのオプションを一つずつ並べないと有効にならない。

CMakeの出力はアホみたいにオプションが多くて流石に手入力はやりたくないので

cat compile_commands.json | gsed -e 's/ -/",\n"-/g'

とすると良い感じに変換できる。-oから先は不要なのでそれまでをsetting.jsonに貼り付ければ良い。

YouCompleteMe

2017-03-05T10:00:00+09:00

YouCompleteMe

C/C++の場合、clangを使ったVimの入力支援。他言語も色々ある。 NeoBundleで使おうとして色々なサイトを漁ったが結局ycmdとの連携がよくわからない。結論としてVundleを使う。やり方は元サイトに書かれている通りで、システムのclangとかは面倒になったので試していない。ユーザごとにclangをビルドする羽目になるが確実に動く。

Conway's Game of Life

2017-02-18T10:22:00+09:00

9月から今年2月にかけて埼玉大で非常勤をやってきました。プログラミング演習ということでC言語の講義です。

使った環境はコマンドラインベースでということで同大演習室に導入済みのcygwinのgccでしたがセキュリティの関係でgdbが使えないという問題もありやや苦労しました。デバッガの話はCode::Blocksでカバーしましたが、デバッガが使えない公式環境になってしまったのは申し訳なかったですね。

講義・演習の方はMoodleのOnline Judgeプラグインを活用しました。2.4までしか対応していないプラグインだったものの、三重大の大山先生からパッチを頂きMoodle2.8で無事動作。課題も常時受け入れられるようさくらVPSで環境を立ち上げての運用でした。来年度はうちのプログラミングの授業でも活躍するかも?

Online Judgeは会津大のAOJが有名です。プログラミングの習得にも役立ちます。独学にはpaizaラーニングもお薦めです。こっちは来年度のメンバーに受講して貰っています。

で、課題の方はタイトルにも書いたライフゲーム、魔方陣のbrute-force解法、アスキー文字だけのシューティングゲーム、同じくアスキー文字だけのSnakeゲームとしました。雛形を渡してそれを弄るような感じです。OSSや標準以外のライブラリに触れて貰う目的もあり後者はncursesライブラリを使ったプログラミングです。ライフゲームについてはlibpngを使ってのPNG画像出力+imagemagickでのアニメーション化とかもやりました。↓みたいなアニメーションが作れます。

Ubuntuでの日本語入力

2017-02-15T21:00:00+09:00

fcitx+skk

skkを愛用している訳だがUbuntuでfcitx+skkの環境だと謎のタイミングでskkのオンオフが切り変わる。

設定をよくよく確認してみると「入力メソッド起動のその他のキー」なる項目があってデフォルトで左SHIFTが設定されていた。

WindowsのCapsをIMEのオンオフに割り当ててるように(これも極めて迷惑だが)、確かに左SHIFTを押す度に切り替わる。

という訳で「無効」にすると余計な動作が収まった。

Pelicanセットアップ

2017-02-12T12:00:00+09:00

メモ用のブログ作成

Markdownで書き溜めて、後でgithubのwikiに上げようと思ったまま放置されてたネタ置き場の作成。

こっちの記事が元ネタだがgithub.ioのところで躓いてた。

作業に関してはこっちの方が簡潔。日付けの管理もこのサイト設定を使ってみた。

GitHub Pages作成

自分のアカウントでusername.github.ioのリポジトリを作成して、作業したい所にcloneしておく。以下cloneした中での作業

Pelicanの設定と更新作業

pelican-quickstart

でGithub Pagesを使う設定にしておく。あとはcontent内にmarkdown形式のファイルを置いてから

make html
make serve

で http://localhost:8000 から作業内容を確認できる。

Title: Hello world
Date: 2017-02-12 11:45
Category: Memo
Tags: pelican, python
Slug: 20170212_post
Author: eiichiromomma
Summary: Hello world


# お試し

- python
- pelican
- markdown

確認したら

make github

でpushしてくれる。.gitignore云々を説明しているページもあるが、outputの中身だけpushされるので不要な気もする。

設定

いちいちslugにタイムスタンプを埋め込むのも面倒なので、上のサイトの受け売りでディレクトリを掘るようにpelicanconf.pyを設定。ちなみにファイル名は無関係らしい。

#pelicanconf.py
#ファイル名からslugを取得
FILENAME_METADATA = '(?P<date>\d{4}-\d{2}-\d{2})-(?P<slug>.*)'
#得られたslugからhtml生成時のurlと保存先を指定
ARTICLE_URL = '{date:%Y}/{date:%m}/{date:%d}/{slug}/'
ARTICLE_SAVE_AS = '{date:%Y}/{date:%m}/{date:%d}/{slug}/index.html'

としておけば年月日でディレクトリを掘ってくれる。