用語集（データ処理，データベース，ディープラーニング分野）

CuRRET データベース (Columbia-Utrecht Reflectance and Texture Database)

反射率とテクスチャに関するデータベース

• BRDF データベース: 60 以上のサンプルについて，反射率を計測したもの．
• BRDF パラメータデータベース: BRDF モデル（the Oren-Nayar model とthe Koenderink et al. representation の2つ）のフィッティングパラメータ (fitting parameter) を含む．
• BTF データベース: 60 以上のサンプルについての画像テクスチャに関する計測値

CuRRET データベース (Columbia-Utrecht Reflectance and Texture Database)は次の URL で公開されているデータセット（オープンデータ）である．

URL: https://www.cs.columbia.edu/CAVE/software/curet/html/about.php

DeepFace

DeepFace は，ArcFace 法による顔識別の機能や，顔検出，年齢や性別や表情の推定の機能などを持つ．

ArcFace 法は，距離学習の技術の１つである． 画像分類において，種類が不定個であるような画像分類に使うことができる技術である． 顔のみで動くということではないし， 顔の特徴を捉えて工夫されているということもない．

DeepFace の URL: https://github.com/serengil/deepface

ArcFace 法の概要は次の通り

• 顔のコード化：顔画像を，数値ベクトル（数値の並び）に変換する．
• 顔のコードについて，同一人物の顔のコードは近くになるように，違う人物の顔のコードは遠くなるように，顔のコードを作り直す．そのときディープラーニングを使う．これを「距離学習」という．
• 距離学習の学習済みモデルを使う．距離学習がなかったときと比べて，顔認識の精度の向上が期待できる．

【関連項目】 ArcFace 法, 顔検出, 顔識別 (face identification), 顔認識, 顔に関する処理

Google Colaboratory で，DeepFace による顔識別の実行，年齢，性別，表情の推定の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

• ディレクトリ内の全画像ファイルとの顔識別を行い，それぞれの顔画像ファイルとの距離を表示．
• 年齢，性別，表情の推定．

1. インストールと設定

   !pip3 install deepface
   !git clone --recursive https://github.com/serengil/deepface
   from deepface import DeepFace
   import pandas as pd
   pd.set_option('display.max_rows', None)
   print(pd.get_option('display.max_rows'))
   

2. 顔画像の準備

   単一のディレクトリ ./deepface/tests/dataset に，処理したい顔画像をすべて入れておく

3. 顔識別の実行

   ディレクトリ内の全画像ファイルとの顔識別を行い，それぞれの顔画像ファイルとの距離を表示．

   df = DeepFace.find(img_path="./deepface/tests/dataset/img38.jpg", db_path="./deepface/tests/dataset", distance_metric='euclidean')
   a = df.sort_values('VGG-Face_euclidean')
   print(a)
   

4. 年齢，性別，表情の推定の実行

   obj = DeepFace.analyze(img_path = "./deepface/tests/dataset/img38.jpg", actions = ['age', 'gender', 'emotion'])
   print(obj)
   

DeepLab2

セグメンテーションの機能を持つ TensorFlow のライブラリである． DeepLab, Panoptic-DeepLab, Axial-Deeplab, Max-DeepLab, Motion-DeepLab, ViP-DeepLab を含む．

DeepLab2 の公式のデモ（Google Colaboratory のページ）の実行により，下図のように panoptic segmentation の結果が表示される．

そのデモのページの URL: https://colab.research.google.com/github/google-research/deeplab2/blob/main/DeepLab_Demo.ipynb#scrollTo=6552FXlAOHnX

【関連情報】

• 文献

  Mark Weber, Huiyu Wang, Siyuan Qiao, Jun Xie, Maxwell D. Collins, Yukun Zhu, Liangzhe Yuan, Dahun Kim, Qihang Yu, Daniel Cremers, Laura Leal-Taixe, Alan L. Yuille, Florian Schroff, Hartwig Adam, Liang-Chieh Chen, DeepLab2: A TensorFlow Library for Deep Labeling, CoRR, abs/2106.09748v1, 2021.

  https://arxiv.org/pdf/2106.09748v1.pdf

• DeepLab2 の GitHub のページ: https://github.com/google-research/deeplab2
• DeepLab2 の Google Colaboratory のページ: https://colab.research.google.com/github/google-research/deeplab2/blob/main/DeepLab_Demo.ipynb

【関連項目】 semantic segmentation, panoptic segmentation, depth estimation

Ubuntu での Deeplab2 のインストール

ttps://github.com/google-research/deeplab2/blob/main/g3doc/setup/installation.md の記載による．

1. Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

   sudo apt -y update
   sudo apt -y install protobuf-compiler
   cd /usr/local
   sudo rm -rf deeplab2
   sudo git clone https://github.com/google-research/deeplab2.git
   sudo chown -R $USER deeplab2
   sudo rm -rf models
   sudo git clone https://github.com/tensorflow/models.git
   sudo chown -R $USER models
   # システム Python の環境とは別の Python の隔離された環境（システム Python を使用）を作成
   sudo apt -y update
   sudo apt -y install python3-venv
   python3 -m venv ~/a
   source ~/a/bin/activate
   sudo pip3 install tensorflow tf-models-official pillow matplotlib cython 
   sudo pip3 install "git+https://github.com/philferriere/cocoapi.git#egg=pycocotools&subdirectory;=PythonAPI"
   # install pycocotools
   cd /usr/local
   sudo git clone https://github.com/cocodataset/cocoapi.git
   sudo chown -R $USER cocoapi 
   cd ./cocoapi/PythonAPI
   make
   # deeplab2
   export PYTHONPATH=$PYTHONPATH:/usr/local
   export PYTHONPATH=$PYTHONPATH:/usr/local/deeplab2
   # orbit
   export PYTHONPATH=$PYTHONPATH:/usr/local/models
   # pycocotools
   export PYTHONPATH=$PYTHONPATH:/usr/local/cocoapi/PythonAPI
   # 
   cd /usr/local
   protoc deeplab2/*.proto --python_out=.
   # 
   cd /usr/local
   bash deeplab2/compile.sh
   # Model training test (test for custom ops, protobuf)
   python deeplab2/model/deeplab_test.py
   # Model evaluator test (test for other packages such as orbit, cocoapi, etc)
   python deeplab2/trainer/evaluator_test.py
   

DeepLabv3

セマンティック・セグメンテーションのモデル． 2021年発表．

【関連項目】 モデル, Residual Networks (ResNets)

DenseNet121, DenseNet169

CoRR, abs/1608.06993

Keras の DenseNet121 を用いて DenseNet121 を作成するプログラムは次のようになる． 「weights=None」を指定することにより，最初，重みをランダムに設定する．

m = tf.keras.applications.densenet.DenseNet121(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)

Keras の DenseNet169 を用いて DenseNet169 を作成するプログラムは次のようになる． 「weights=None」を指定することにより，最初，重みをランダムに設定する．

m = tf.keras.applications.densenet.DenseNet169(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)

Keras の応用のページ: https://keras.io/ja/applications/

【関連項目】 モデル, 画像分類

PyTorch, torchvision の DenseNet121 学習済みモデルのロード，画像分類のテスト実行

Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

1. 前準備

   前準備として，Python のインストール, PyTorch のインストール を行う．

   Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

   次に，pip を用いて，pillow のインストールを行う．

   pip install -U pillow
   

2. ImageNet データセット で学習済みのDenseNet121 モデルのロード

   PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

   import torch
   import torchvision.models as models
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   m = models.densenet121(pretrained=True).to(device)
   

3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

   from PIL import Image
   import requests
   from IPython.display import display
   # ダウンロードとロード
   url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
   response = requests.get(url)
   img = Image.open(requests.get(url, stream=True).raw)
   # 確認表示
   display(img)
   
4. 画像の前処理．PyTorch で扱えるようにするため．

   from PIL import Image
   from torchvision import transforms
   img = Image.open(filename)
   preprocess = transforms.Compose([
       transforms.Resize(256),
       transforms.CenterCrop(224),
       transforms.ToTensor(),
       transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
   ])
   input_tensor = preprocess(img)
   input_batch = input_tensor.unsqueeze(0)
   

5. 推論 (inference) の実行

   「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

   import torch
   if torch.cuda.is_available():
       input_batch = input_batch.to('cuda')
   m.eval()
   with torch.no_grad():
       output = m(input_batch)
   

6. 結果の表示

   import urllib
   url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
   try: urllib.URLopener().retrieve(url, filename)
   except: urllib.request.urlretrieve(url, filename)
   with open("imagenet_classes.txt", "r") as f:
       categories = [s.strip() for s in f.readlines()]
   # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
   probabilities = torch.nn.functional.softmax(output[0], dim=0)
   print(probabilities)
   top5_prob, top5_catid = torch.topk(probabilities, 5)
   for i in range(top5_prob.size(0)):
       print(categories[top5_catid[i]], top5_prob[i].item())
   

   Google Colaboratory での結果

   Windows での結果

   Linux での結果

PyTorch, torchvision の DenseNet169 学習済みモデルのロード，画像分類のテスト実行

Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

1. 前準備

   前準備として，Python のインストール, PyTorch のインストール を行う．

   Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

   次に，pip を用いて，pillow のインストールを行う．

   pip install -U pillow
   

2. ImageNet データセット で学習済みのDenseNet169 モデルのロード

   PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

   import torch
   import torchvision.models as models
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   m = models.densenet169(pretrained=True).to(device)
   

3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

   from PIL import Image
   import requests
   from IPython.display import display
   # ダウンロードとロード
   url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
   response = requests.get(url)
   img = Image.open(requests.get(url, stream=True).raw)
   # 確認表示
   display(img)
   
4. 画像の前処理．PyTorch で扱えるようにするため．

   from PIL import Image
   from torchvision import transforms
   img = Image.open(filename)
   preprocess = transforms.Compose([
       transforms.Resize(256),
       transforms.CenterCrop(224),
       transforms.ToTensor(),
       transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
   ])
   input_tensor = preprocess(img)
   input_batch = input_tensor.unsqueeze(0)
   

5. 推論 (inference) の実行

   「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

   import torch
   if torch.cuda.is_available():
       input_batch = input_batch.to('cuda')
   m.eval()
   with torch.no_grad():
       output = m(input_batch)
   

6. 結果の表示

   import urllib
   url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
   try: urllib.URLopener().retrieve(url, filename)
   except: urllib.request.urlretrieve(url, filename)
   with open("imagenet_classes.txt", "r") as f:
       categories = [s.strip() for s in f.readlines()]
   # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
   probabilities = torch.nn.functional.softmax(output[0], dim=0)
   print(probabilities)
   top5_prob, top5_catid = torch.topk(probabilities, 5)
   for i in range(top5_prob.size(0)):
       print(categories[top5_catid[i]], top5_prob[i].item())
   

   Google Colaboratory での結果

   Windows での結果

   Linux での結果

depthimage

depth image は遠近である depth を示す画像． 画素ごとの色や明るさで depth を表示する．

画像からの depth image の推定は，ステレオカメラや動画から視差を得る方法が主流である．

monodepth2 法

単一のカメラでの画像から depth image を推定する方法としては，ディープラーニングを用いる monodepth2 法 (2019 年発表) が知られる．

monodepth2 の GitHub のページ: https://github.com/nianticlabs/monodepth2

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. インストール

   !pip3 install -U numpy pillow matplotlib torch torchvision opencv-python scikit-image
   !git clone --recursive https://github.com/nianticlabs/monodepth2
   
2. depth image プログラム実行

   %cd monodepth2
   !python test_simple.py --image_path assets/test_image.jpg --model_name mono+stereo_640x192
   
3. 画像表示

   from IPython.display import Image, display
   display(Image('assets/test_image.jpg'))
   display(Image('assets/test_image_disp.jpeg'))
   
4. 他の画像で試してみた場合
   
   

Detectron2

GitHub のページ: https://github.com/facebookresearch/detectron2

ドキュメント: https://detectron2.readthedocs.io/en/latest/tutorials/getting_started.html

関連プロジェクトのページ: https://github.com/facebookresearch/detectron2/tree/master/projects

Yuxin Wu and Alexander Kirillov and Francisco Massa and Wan-Yen Lo and Ross Girshick, Detectron2, https://github.com/facebookresearch/detectron2, 2019.

【関連項目】 ADE20K データセット, インスタンス・セグメンテーション (instance segmentation)

Google Colaboratory で，Detectron2 のインスタンス・セグメンテーションの実行

インストールは次のページで説明されている．

https://github.com/facebookresearch/detectron2/releases

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. NVIDIA CUDA ツールキット のバージョンを確認

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   
3. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   
4. Detectron2 のインストール

   NVIDIA CUDA ツールキット 11.1, PyTorch 1.10 がインストール済みの場合には，次のようになる

   「cu111/torch1.10」のところは， NVIDIA CUDA ツールキット のバージョン， PyTorch のバージョンに合わせる

   !pip3 install detectron2==0.6 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu111/torch1.10/index.html
   
5. Detectron2 のソースコードをダウンロード

   必要に応じて，中のファイルを利用できるように準備しておく．

   !curl -LO https://github.com/facebookresearch/detectron2/archive/refs/tags/v0.6.tar.gz
   !tar -xvzof v0.6.tar.gz
   
6. coco (common object in context) データセットの中の画像ファイルをダウンロード

   https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

   !curl -O http://images.cocodataset.org/val2017/000000439715.jpg
   from IPython.display import Image, display
   display(Image('000000439715.jpg'))
   
7. インスタンス・セグメンテーションの実行

   https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

   「im = cv2.imread('000000439715.jpg')」で，処理したい画像ファイルをロードしている．

   import detectron2
   from detectron2 import model_zoo
   from detectron2.engine import DefaultPredictor
   from detectron2.config import get_cfg
   from detectron2.utils.visualizer import Visualizer
   from detectron2.data import MetadataCatalog, DatasetCatalog
   cfg = get_cfg()
   # add project-specific config (e.g., TensorMask) here if you're not running a model in detectron2's core library
   cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
   cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # set threshold for this model
   # Find a model from detectron2's model zoo. You can use the https://dl.fbaipublicfiles... url as well
   cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")
   predictor = DefaultPredictor(cfg)
   import cv2
   im = cv2.imread('000000439715.jpg')
   outputs = predictor(im)
   
8. インスタンス・セグメンテーションの結果の確認

   https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

   # look at the outputs. See https://detectron2.readthedocs.io/tutorials/models.html#model-output-format for specification
   print(outputs["instances"].pred_classes)
   print(outputs["instances"].pred_boxes)
   
9. インスタンス・セグメンテーションの結果の表示

   https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

   # We can use `Visualizer` to draw the predictions on the image.
   v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
   out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
   import matplotlib.pyplot as plt
   plt.imshow(out.get_image()[:, :, ::-1])
   

Windows での Detectron2 のインストールと動作確認

次の記事に記載の手順による．

https://dgmaxime.medium.com/how-to-easily-install-detectron2-on-windows-10-39186139101c

1. コマンドプロンプトを管理者として実行．
2. torch, torchvision, torchaudio のインストール

   PyTorch のページで確認のにち，次のようなコマンドを実行（実行するコマンドは，PyTorch のページの表示されるコマンドをそのまま使う）．

   python -m pip install install torch==1.9.1+cu111 torchvision==0.10.1+cu111 torchaudio===0.9.1 -f https://download.pytorch.org/whl/torch_stable.html
   

3. opencv-python, cython のインストール

   python -m pip install opencv-python cython
   

4. pycocotools のインストール

   python -m pip install "git+https://github.com/philferriere/cocoapi.git#egg=pycocotools&subdirectory;=PythonAPI"
   

5. Detectron2 のインストール

   https://github.com/DGMaxime/detectron2-windows を使用している．

   cd c:\
   rmdir /s /q detectron2-windows
   git clone https://github.com/DGMaxime/detectron2-windows.git
   cd detectron2-windows
   pip install -e .
   python tests/test_windows_install.py
   

Linux での Detectron2 のインストール

python -m pip install detectron2==0.5 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu111/torch1.9/index.html

diffusion model

Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, Surya Ganguli, Deep Unsupervised Learning using Nonequilibrium Thermodynamics, arXiv:1503.03585 [cs.LG].

display

IPython の display は，画像表示の機能がある． display は，Jupyter Qt Console や Google Colaboratory などで動く

次の Python プログラムは，画像ファイルのダウンロードとロードと確認表示を行う．確認表示で display を用いている．

from PIL import Image
import requests
from IPython.display import display
# ダウンロードとロード
url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
response = requests.get(url)
img = Image.open(requests.get(url, stream=True).raw)
# 確認表示
display(img)

次の Python プログラムは，Iris データセットのロードと確認表示を行う． Pandas データフレームの df にロードしている． 確認表示で display を用いている．

import pandas as pd
from sklearn.datasets import load_iris
from IPython.display import display
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = iris.target_names[iris.target]
display(df)

Pandas データフレームのすべての行を表示したいときは，次のように 「pd.set_option('display.max_rows', None)」を使用する

import pandas as pd
from sklearn.datasets import load_iris
from IPython.display import display
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = iris.target_names[iris.target]
pd.set_option('display.max_rows', None)
display(df)

Dlib

Dlib は，数多くの機能を持つソフトウエア． Python, C++ のプログラムから使うためのインタフェースを持つ．

Dlib の機能には，機械学習，数値計算，グラフィカルモデル推論，画像処理，スレッド，通信，GUI，データ圧縮・一貫性，テスト，さまざまなユーティリティがある．

Dlib には，顔情報処理に関して，次の機能がある．

• 顔検出 (face detection)
• 顔ランドマーク (facial landmark)の検出
• 顔のアラインメント
• 顔のコード化

ディープニューラルネットワークの学習済みモデルも配布されている

Dlib の URL: http://dlib.net/

Dlib の各種機能は: 別ページにまとめている．

【関連項目】 FairFace, Max-Margin 物体検出 , 顔検出 (face detection), 顔ランドマーク (facial landmark), 顔のコード化

Windows での Dlib のインストール

Dlib のインストールは，複数の方法がある． ここでは，次の方法のいずれかを紹介する．

• ソースコードからインストールする場合

  Dlib の最新版などを，自分のパソコンにあうもの（NVIDIA CUDA ツールキットを使うなど）をインストールしたいなど場合には， ソースコードからビルドして，インストールする． その詳細は，別ページで説明している．

• 「python -m pip install dlib」でインストールする場合

  次のような手順になる．

  1. 前準備

     7-Zip のインストール, Python のインストール

  2. Windows で，コマンドプロンプトを管理者として実行する．
  3. dlib のインストール

     次のように操作する．

     python -m pip install dlib
     

     このとき，「インストールできない」というエラーメッセージが出た場合がある． Python のバージョンによっては，Dlib のインストールのために， C++ ビルドツール (Build Tools) のインストール, cmake のインストールを必要とするようである． C++ ビルドツール (Build Tools) のインストール, cmake のインストールを行ってから，もう一度試してみる．

  4. 確認

     次を実行する．エラーメッセージが出なければ OK．

     python -c "import dlib; print(dlib.__version__)" 
     

  5. 学習済みデータなどのダウンロードと展開（解凍）

     ここでは， c:\dlib\python_examples にダウンロードし，展開（解凍）する．

     終了するまで，しらばく待つ．

     cd c:\
     mkdir dlib
     cd c:\dlib
     mkdir python_examples
     cd c:\dlib\python_examples
     curl -O http://dlib.net/files/mmod_human_face_detector.dat.bz2
     curl -O http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2
     curl -O http://dlib.net/files/shape_predictor_5_face_landmarks.dat.bz2
     curl -O http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
     "c:\Program Files\7-Zip\7z.exe" e mmod_human_face_detector.dat.bz2
     "c:\Program Files\7-Zip\7z.exe" e dlib_face_recognition_resnet_model_v1.dat.bz2
     "c:\Program Files\7-Zip\7z.exe" e shape_predictor_5_face_landmarks.dat.bz2
     "c:\Program Files\7-Zip\7z.exe" e shape_predictor_68_face_landmarks.dat.bz2
     del mmod_human_face_detector.dat.bz2
     del dlib_face_recognition_resnet_model_v1.dat.bz2
     del shape_predictor_5_face_landmarks.dat.bz2
     del shape_predictor_68_face_landmarks.dat.bz2
     

  なお，学習済みデータが必要なくなったときは，次のように操作して消去する．

  rmdir /s /q c:\dlib\python_examples
  

Ubuntu での Dlib のインストール

• Ubuntu での Dlib のインストール手順は， 別ページで説明している．

Dlib の顔検出

Dlib の顔検出 は次の仕組みで行われる．

Dlib には，ディープラーニングの CNN (convolutional neural network) を用いた物体検出 が実装されている． そこでは，Max-Margin 物体検出法が利用されている（文献は次の通り）． それにより，Dlib の顔検出 が行われる．

Davis E. King, Max-Margin Object Detection, CoRR, abs/1502.00046, 2015

Dlib の顔検出の詳しい手順: 別ページで説明している．

Docker

Docker はコンテナのソフトウエア．

【関連情報】

• Install Docker Engine のページ: https://docs.docker.com/engine/install/
• Docker の概要（本サイト内の資料）: [PDF], [PPTX]

Ubuntu での Docker Engine のインストールと確認

Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

この手順は， Install Docker Engine のページ: https://docs.docker.com/engine/install/による．

1. Ubuntu で OS のシステム更新

   sudo apt -y update
   sudo apt -yV upgrade
   sudo /sbin/shutdown -r now
   

2. 旧バージョンの削除

   sudo apt remove docker docker-engine docker.io containerd runc docker-ce docker-ce-cli
   

3. Docker の公式の GPG キー

   curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
   sudo apt -y update
   

4. stable レポジトリのセットアップ

   echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
     $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
   

5. 前提ソフトウエアのインストール

   sudo apt -y install apt-transport-https ca-certificates curl gnupg lsb-release
   sudo apt -y install software-properties-common linux-image-generic 
   

6. Docker Engine のインストール

   sudo apt -y install docker-ce docker-ce-cli containerd.io
   

7. Docker Engine のインストールの確認

   sudo docker run hello-world
   

8. 権限の設定

   sudo usermod -aG docker $USER
   

9. 自動起動の設定

   sudo systemctl unmask docker.service
   sudo systemctl enable docker
   sudo systemctl is-enabled docker
   

DUTS データセット

DUTS データセットは，saliency detection のためのデータセットである． 10,553枚の訓練画像と5,019枚のテスト画像を含む．

• 訓練画像は ImageNet DET training/val set から収集された．
• テスト画像は ImageNet DET training/val set とSUN データセットから収集された．

いずれも手動でアノテーションされている．

次の URL で公開されているデータセット（オープンデータ）である．

URL: http://saliencydetection.net/duts/

• Papers with Code: https://paperswithcode.com/dataset/duts
• ImageNet データセットの文献

  J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei, Imagenet: A large-scale hierarchical image database, CVPR, 2009.

• SUN データセットの文献

  J. Xiao, J. Hays, K. A. Ehinger, A. Oliva, and A. Torralba, SUN database: Large-scale scene recognition from abbey to zoo, CVPR, 2010.

• DUTS データセットの文献

  Lijun Wang, Huchuan Lu, Yifan Wang, Mengyang Feng, Dong Wang, Baocai Yin, and Xiang Ruan, Learning to detect salient objects with image-level supervision, CVPR, 2017.

  https://openaccess.thecvf.com/content_cvpr_2017/papers/Wang_Learning_to_Detect_CVPR_2017_paper.pdf

Early Stopping

from kernel.callbacks import EarlyStopping
cb = EarlyStopping(monitor='var_loss', patience = 10)

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test), callbacks=[cb])

EasyOCR

• 公式のソースコード（GitHub のページ）: https://github.com/JaidedAI/EasyOCR
• 公式のオンラインデモ: https://www.jaided.ai/easyocr/

【関連項目】 OCR

Google Colaboratory で，EasyOCR による日本語読み取りの実行

公式の手順 (https://github.com/JaidedAI/EasyOCR)による

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. EasyOCR のインストール

   !pip3 install git+git://github.com/jaidedai/easyocr.git
   
2. 処理したい画像ファイルを Google Colaboratory にアップロードする
3. OCR の実行

   「ja」は「日本語」の意味．

   import easyocr
   reader = easyocr.Reader(['ja'])
   result = reader.readtext('1.png')
   
4. 結果の確認

   from IPython.display import display
   display(result)
   

JAIDED AI による EasyOCR のオンラインデモ

JAIDED AI による EasyOCR のオンラインデモの URL: https://www.jaided.ai/easyocr/

EdgeBoxes 法

エッジから，オブジェクトのバンディングボックス（包含矩形）を求める方法．

• 文献

  C. L. Zitnick and P. Doll ́ar. Edge boxes: Locating object proposals from edges, ECCV, 2014.

• Papers with code の EdgeBoxes のページ: https://paperswithcode.com/method/edgeboxes

【関連項目】 物体検出

EfficientDet

zylo117 による EfficientDet の実装 (GitHub) のページ: https://github.com/zylo117

【関連項目】 物体検出

Google Colaboratory で，EfficientDet のインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）

# install requirements
!pip3 install pycocotools numpy opencv-python tqdm tensorboard tensorboardX pyyaml webcolors
!pip3 install torch==1.4.0
!pip3 install torchvision==0.5.0
# run the simple inference script
!git clone https://github.com/zylo117/Yet-Another-EfficientDet-PyTorch
!mkdir Yet-Another-EfficientDet-PyTorch/weights
!(cd Yet-Another-EfficientDet-PyTorch/weights; curl -L -O https://github.com/zylo117/Yet-Another-Efficient-PyTorch/releases/download/1.0/efficientdet-d0.pth)
!(cd Yet-Another-EfficientDet-PyTorch; python3 efficientdet_test.py)

Eigen 3

Eigen は， 設計演算，行列，ベクトル，数値解析，その他関連のアルゴリズムの機能を持ったソフトウエア．

URL: https://eigen.tuxfamily.org/index.php

Windows で Eigen 3 のインストール

Windows での Eigen 3 のインストールは，複数の方法がある．

• vcpkg を使う．ここで説明している．
• ソースコードからビルド．ここで説明している．その詳細は: 別ページで説明している．

ここでは， vcpkg を使う方法と， ソースコードからビルドする方法を説明する．

• ソースコードからビルドする方法
  1. 前準備

     C++ ビルドツール (Build Tools) のインストール, Git のインストール, cmake のインストールが必要．

  2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

     c:\eigen 下にインストールするものとして説明する．

     cd c:\
     rmdir /s /q eigen
     git clone --recursive https://gitlab.com/libeigen/eigen.git
     cd eigen
     rmdir /s /q build
     mkdir build
     cd build
     cmake -G "Visual Studio 16 2019" -T host=x64 ^
         -DCMAKE_BUILD_TYPE=Release ^
         -DCMAKE_INSTALL_PREFIX="c:/eigen" ^
         -DEIGEN_TEST_CUDA=ON ^
     ..
     cmake --build . --config RELEASE
     cmake --build . --config RELEASE --target INSTALL
     cd c:\
     cd eigen
     rmdir /s /q build
     

  3. システム環境変数 EIGEN_ROOT の設定

     次のように設定する．

     c:\eigen

• vcpkg を使う方法
  1. 事前にvcpkg のインストールを行っておく．
  2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

     c:\vcpkg\vcpkg search eigen
     c:\vcpkg\vcpkg install eigen3:x64-windows
     

  3. システムの環境変数 Path に，次を加える．

     c:\vcpkg\installed\x64-windows\bin
     

  Eigen 3.4.90 Windows 10 64 ビット版の非公式ビルド: eigen.zip

  私がビルドしたもの，非公式，無保証，ソースコードを改変せずにビルドした．Eigen の MPL2 ライセンスによる．

  c:\eigen での利用を想定している

Ubuntu で Eigen のインストール

Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

sudo apt -y update
sudo apt -y install libeigen3-dev

Everything

Everything は，Windows で動くファイル検索のソフトウエア．

Everything のページ http://www.voidtools.com/

Windows での Everything のインストール

Windows での cmake のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• wingetを用いてインストールする．

  winget をインストールしたのち，コマンドプロンプトを管理者として実行し，「winget install Everything」を実行．

• Everything のページ http://www.voidtools.com/ からダウンロードしてインストール:

  詳しくは 別ページで説明している．

FaceForensics++ データセット

FaceForensics++ データセットは，自動合成された顔画像のデータセット

• FaceForensics++ は，977本のyoutube動画を使用．Deepfakes, Face2Face, FaceSwap and NeuralTextures を用いて顔データを操作．1000 個の動画を作成
• 動画は，オクルージョンのない，ほぼ正面の顔が含むように選択されている．

FaceForensics++ データセットは，次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/ondyari/FaceForensics

【関連情報】

• FaceForensics++: Learning to Detect Manipulated Facial Images, Andreas Rssler, Davide Cozzolino, Luisa Verdoliva, Christian Riess, Justus Thies, Matthias Niener
• Papers With Code の FaceForensics++ データセットのページ: https://paperswithcode.com/dataset/faceforensics-1

FairFace (Face Arrtibute Dataset for Balanced Race, Gender, and Age)

性別，年齢，人種に関するバイアス (bias) 等の問題がないとされる顔データセットが発表された．2021年発表． 顔の性別，年齢等の予測の精度向上ができるとされている．

• Karkkainen, Kimmo and Joo, Jungseock, FairFace: Face Attribute Dataset for Balanced Race, Gender, and Age for Bias Measurement and Mitigation, Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1548-1558, 2021
• GitHub のページ: https://github.com/dchen236/FairFace

【関連項目】 dlib, 顔のデータベース, 顔ランドマーク (facial landmark), 顔の性別，年齢等の予測

Google Colaboratory での FairFace デモプログラムの実行

顔の性別，年齢等の予測を行う．

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. ソースコード等のダウンロード

   !git clone https://github.com/dchen236/FairFace 
   

3. 公式の GitHub のページの記載により，事前学習済みモデルをダウンロードする

   公式の GitHub のページ: https://github.com/dchen236/FairFace

   ２つのファイルをダウンロードする．

4. いまダウンロードしたファイルについて．

   Google Colaboratory 「fair_face_models」という名前のディレクトリを作る． そして，いまダウンロードしたファイルのファイル名を次のように変えて， 「fair_face_models」ディレクトリの下に置く． （ファイル名については，predict.py の中で指定されているファイル名にあわせる）

5. 実行する

   %cd FairFace
   !python predict.py --csv test_imgs.csv
   

   test_imgs.csv には，次の画像ファイルのファイル名が設定されている．

   自前の画像で動作確認したいときは，画像ファイル名を書いた csv ファイルを準備する

6. 実行結果の確認

   性別，年齢などが推定されている．

   !cat test_outputs.csv
   

   

Windows での FairFace デモプログラムの実行

顔の性別，年齢等の予測を行う．

1. 前準備として pytorch, dlib のインストール，Git のインストールを行っておくこと
2. ソースコード等のダウンロード

   git clone https://github.com/dchen236/FairFace 
   

3. 公式の GitHub のページの記載により，事前学習済みモデルをダウンロードする

   公式の GitHub のページ: https://github.com/dchen236/FairFace

   ２つのファイルをダウンロードする．

4. いまダウンロードしたファイルについて．

   「fair_face_models」という名前のディレクトリを作る． そして，いまダウンロードしたファイルのファイル名を次のように変えて， 「fair_face_models」ディレクトリの下に置く． （ファイル名については，predict.py の中で指定されているファイル名にあわせる）

5. 実行する

   cd FairFace
   python predict.py --csv test_imgs.csv
   

   test_imgs.csv には，次の画像ファイルのファイル名が設定されている．

   自前の画像で動作確認したいときは，画像ファイル名を書いた csv ファイルを準備する

6. 実行結果の確認

   性別，年齢などが推定されている．

   type test_outputs.csv
   

Fashion MNIST データセット

Fashion MNIST データセットは，10 種類のモノクロ画像と，各画像に付いた ラベル（10 種類の中の種類を示す）から構成されるデータセットである．

• 画像の枚数：合計 70000枚．

  （内訳）70000枚の内訳は次の通りである

  60000枚：教師データ

  10000枚：検証データ

• 画像のサイズ: 28x28 である．
• 画素はグレースケールであり，画素値は0～255である．

Fashion MNIST データセットは，次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/zalandoresearch/fashion-mnist

【関連情報】

• TensorFlow データセットの Fashion MNIST データセット: https://www.tensorflow.org/datasets/catalog/fashion_mnist

【関連項目】 Keras に付属のデータセット, MNIST データセット, TensorFlow データセット, オープンデータ, 画像分類

Python での Fashion MNIST データセットのロード（TensorFlow データセットを使用）

次の Python プログラムは，TensorFlow データセットから，Fashion MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

次の Python プログラムでは，TensorFlow データセットから，Fashion MNIST データセットのロードを行う． x_train と y_train を 25枚分表示することにより，x_train と y_train が，モノクロ画像であることが確認できる．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
# MNIST データセットのロード
mnist, mnist_metadata = tfds.load('mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = mnist['train'][0], mnist['train'][1], mnist['test'][0], mnist['test'][1]
plt.style.use('default')
plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
# squeeze は，サイズ1の次元を削除．numpy は tf.Tensor を numpy に変換
    plt.imshow(np.squeeze(x_train[i]), cmap=plt.cm.binary)
    plt.xlabel(y_train[i].numpy())
# 確認表示
plt.show()

Python での Fashion MNIST データセットのロード（Keras を使用）

次の Python プログラムは，Keras に付属のデータセットの中にある Fashion MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

from tensorflow.keras.datasets import fashion_mnist
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

次の Python プログラムは，Keras に付属のデータセットの中にある Fashion MNIST データセットのロードを行う． x_train と y_train を 25枚分表示することにより，x_train と y_train が，モノクロ画像であることが確認できる．

import tensorflow.keras
from tensorflow.keras.datasets import fashion_mnist
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
# Fashion MNIST データセットのロード
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()
plt.style.use('default')
plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(x_train[i], cmap=plt.cm.binary)
    plt.xlabel(y_train[i])
# 確認表示
plt.show()

TensorFlow データセットからのロード，学習のための前処理

【TensorFlow データセット から Fashion MNIST データセット をロード】

結果は，TensorFlow の Tensor である．

type は型，shape はサイズ，np.max と np.mi は最大値と最小値．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
# Fashion MNIST データセットのロード
fashion_mnist, fashion_mnist_metadata = tfds.load('fashion_mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = fashion_mnist['train'][0], fashion_mnist['train'][1], fashion_mnist['test'][0], fashion_mnist['test'][1]
print(fashion_mnist_metadata)
# 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 〜 255 であるのを，0 〜 1 に調整）】
x_train = x_train.numpy().astype("float32") / 255.0
x_test = x_test.numpy().astype("float32") / 255.0
y_train = y_train.numpy()
y_test = y_test.numpy()
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))

Fast-Robust-ICP

ICP の一手法

Fast-Robust-ICP のページ（Git Hub）: https://github.com/yaoyx689/Fast-Robust-ICP

【関連項目】 K 近傍探索 (K nearest neighbour), ICP

Google Colaboratory で，Fast-Robust-ICP の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. インストール
2. Fast-Robust-ICP の実行

   実行でのオプションについては，Fast-Robust-ICP のページ（Git Hub）: https://github.com/yaoyx689/Fast-Robust-ICP

Windows での Fast-Robust-ICP のインストール

1. 前準備

   C++ ビルドツール (Build Tools) のインストール, cmake のインストール, Eigen 3 のインストール, Git のインストール が必要．

   cd c:\
   rmdir /s /q Fast-Robust-ICP
   git clone --recursive https://github.com/yaoyx689/Fast-Robust-ICP
   cd Fast-Robust-ICP
   rmdir /s /q build
   mkdir build
   cd build
   cmake -G "Visual Studio 16 2019" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/Fast-Robust-ICP" ^
       -DEIGEN3_INCLUDE_DIRS="c:/;c:/eigen" ^
   ..
   cmake --build . --config RELEASE
   cmake --build . --config RELEASE --target INSTALL
   

FERET データベース

FERET データベースは顔のデータベース．詳細情報は，次のWebページにある．

https://www.nist.gov/itl/products-and-services/color-feret-database

【関連項目】 顔のデータベース

FFHQ (Flickr-Faces-HQ) データセット

FFHQ (Flickr-Faces-HQ) データセット は，70,000枚の顔画像データセット． 機械学習による顔の生成などの学習や検証に利用できるデータセットである．

• サイズ 1024×102，70,000枚の画像
• 年齢，民族，画像背景はさまざま
• 眼鏡，サングラス，帽子などもさまざま
• Flickr から取得．位置合わせとトリミング済み（Dlib を使用），画像の選別， 顔の彫刻や顔の絵画や顔の写真を除去（Amazon Mechanical Turk を使用）

FFHQ (Flickr-Faces-HQ) データセットは次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/NVlabs/ffhq-dataset

【関連情報】

• 文献

  A Style-Based Generator Architecture for Generative Adversarial Networks, Tero Karras (NVIDIA), Samuli Laine (NVIDIA), Timo Aila (NVIDIA), CoRR, abs/1812.04948

• Papers With Code の FFHQ データセットのページ: https://paperswithcode.com/dataset/ffhq

【関連項目】 顔のデータベース

FFmpeg

FFmpeg は，動画のデコーダとエンコーダに関するソフトウエア．

FFmpeg の公式ページ: https://ffmpeg.org/

fine tuning (ファイン・チューニング)

学習済みモデルを使用する． 学習済みモデルの一部に新しいモデルを合わせた上で，追加のデータを使い学習を行う． このとき，学習済みモデルの部分と，新しいモデルの部分の両方について，パラメータ（重みなど）の調整を行う．

【関連項目】 画像分類 (image classification), 分類, 物体検出

画像分類のモデル DETR での添加学習（woctezuma の Google Colaboratory のページを使用）

woctezuma の Google Colaboratory のページを使用する

URL: https://colab.research.google.com/github/woctezuma/finetune-detr/blob/master/finetune_detr.ipynb#scrollTo=KCrlzjaLQQMm

このプログラムは，物体検出等の機能を持つモデルである DETR を使い， fine tuning (ファイン・チューニング)と，物体検出を行う．

COCO データセットで学習済みの DETR について，確認のため， 物体検出を行ったあと， 風船（baloon）についてのfine tuning (ファイン・チューニング)を行い， 風船（baloon）が検出できるようにしている． 風船（baloon）は，COCO データセット には無い．

1. woctezuma の Google Colaboratory のページを開く

   https://colab.research.google.com/github/woctezuma/finetune-detr/blob/master/finetune_detr.ipynb#scrollTo=KCrlzjaLQQMm

2. torch 1.8.0, torchvision 0.9.0, torchtext 0.9.0 を使うように書き換える

   
   !pip3 uninstall -y torchtext
   !pip3 install torch==1.8.0 torchvision==0.9.0 torchtext==0.9.0
   import torch, torchvision
   print(torch.__version__, torch.cuda.is_available())
   torch.set_grad_enabled(False);
   
3. ソースコードの要点を確認する．

   COCO データセットのクラス名を確認する．

   orange, apple, banana, doc, person などがある．baloon は無い．

   detr_resnet50 の事前学習済みのモデルをダウンロードしている．

   しきい値 0.9, 0.7, 0.0 の 3 通りで実行．しきい値を下げるほど，検出できる物体は増えるが，誤検知も増える傾向にある．

   fine tuning を行うため，風船 (baloon) の画像，そして，風船の領域を示した情報（輪郭線，包含矩形）の情報を使う． 画像は複数．そのうち１枚は次の通り．

   過学習は起きていないようである

   fine tuning により，風船（baloon）を検出できるようになった． しきい値は 0.9, 0.7 の 2通り．
4. 自前のデータでfine tuning を行いたいときは，このページの説明通り，COCO データのフォーマットでデータを準備する．

   そのフォーマットは，/content/data/custom （Google Colaboratory の data/custom の下のファイル）が参考になる．

   自前のデータが準備できたら，Google Colaboratory にアップロードし， 次のコードセルの「/content/data/custom」のところを書き換えて，再度実行する．

fname = '/content/5m126sn2pov30qzu3pc49lampcp6.jpg'
im = Image.open(fname)
scores, boxes = detect(im, detr, transform)

URL: https://github.com/woctezuma/finetune-detr

flann

flann は近似近傍探索の機能を持ったソフトウエア

Windows での flann のインストール

flann のインストールは，複数の方法がある．

ここでは， vcpkg を使う方法を説明する．

1. 事前にvcpkg のインストールを行っておく．
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   c:\vcpkg\vcpkg search flann
   c:\vcpkg\vcpkg install flann[hdf5] hdf5
   

3. システムの環境変数 Path に，次を加える．

   c:\vcpkg\installed\x64-windows\bin
   

FLIC （Frames Labeled In Cinema）データセット

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

次の URL で公開されているデータセット（オープンデータ）である． http://bensapp.github.io/flic-dataset.html

【関連情報】

• 文献

  Sapp, B., Taskar, B.: Modec: Multimodal decomposable models for human pose estimation. In: Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on, IEEE (2013) 3674–3681, https://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Sapp_MODEC_Multimodal_Decomposable_2013_CVPR_paper.pdf

• Papers With Code の FLIC データセットのページ: https://paperswithcode.com/dataset/flic
• TensorFlow データセットの FLIC データセット: https://www.tensorflow.org/datasets/catalog/flic

FordA データセット

FordA データセットは，時系列データである．

FordA データセットは，公開されているデータセット（オープンデータ）である．

URL: http://www.timeseriesclassification.com/description.php?Dataset=FordA

教師データ数：3601

テストデータ数: 1320

モーターセンサーにより計測されたエンジンノイズの計測値．

FSDnoisy18k データセット

20種類， 約 42.5 時間分のサウンドである．

次の URL で公開されているデータセット（オープンデータ）である．

http://www.eduardofonseca.net/FSDnoisy18k/

• 文献

  Eduardo Fonseca, Manoj Plakal, Daniel P. W. Ellis, Frederic Font, Xavier Favory, and Xavier Serra, “Learning Sound Event Classifiers from Web Audio with Noisy Labels”, arXiv preprint arXiv:1901.01189, 2019

【関連項目】 sound data

FZKViewer

URL: https://www.iai.kit.edu/1302.php

Windows での FZKViewer のインストールは 別ページで説明している．

FZKViewer で CityGML のファイルを開くときは， File, Open, Open GML File... と操作する．

ファイルが読み込まれると，次のように表示される．

【関連項目】 CityGML

F 検定 (F test)

帰無仮説: 正規分布に従う２群の標準偏差が等しい ． F 検定を，t 検定の行う前の等分散性の検定に使うのは正しくないという指摘もある．

var.test(s1, s2)

【関連項目】 検定

GAN (generative adversarial network)

GAN (Generative Adversarial Network) では， 生成器 (generator) でデータを生成し， 識別機 (discriminator) で，生成されたデータが正当か正当でないかを識別する．

• 文献

  Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, Generative Adversarial Networks, Proceedings of the 27th International Conference on Neural Information Processing Systems 2014

  https://arxiv.org/pdf/1406.2661v1.pdf

• PyTorch-GAN のページ: https://github.com/eriklindernoren/PyTorch-GAN
• Keras-GAN のページ: https://github.com/eriklindernoren/Keras-GAN
• labmlai/annotated_deep_learning_paper_implementations のページ: https://github.com/labmlai/annotated_deep_learning_paper_implementations

【関連項目】 Applications of Deep Neural Networks, Real-ESRGAN, TecoGAN, Wasserstein GAN (WGAN), Wasserstein GAN with Fradient Penalty (WGAN-GP) ディープラーニング

Git

git はバージョン管理のソフトウエア．Windows 版の git の１つ「git for Windows」には，MinGWが同封されている．

git の URL: https://git-scm.com/

Windows でのGit のインストール

Windows での git のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• wingetを用いてインストールする．

  winget をインストールしたのち，コマンドプロンプトを管理者として実行し，「winget install Git」を実行
• Git のページ https://git-scm.com/ からダウンロードしてインストール:

  詳しくは 別ページで説明している．

Ubuntu でのGit のインストール

Ubuntu での git のインストールは， 端末で，次のコマンドを実行．

sudo apt -y update
sudo apt -y install git

Google アカウント

Google アカウントは，Google のオンラインサービス等の利用のときに使うアカウント． Google オンラインサービスの利用条件などは，利用者で確認すること．

Google Colaboratory

Google Colaboratory の利用により， オンラインで，Web ブラウザを用いて，次のことができる．

• Python のソースコード，説明文の編集．説明文には，リンク、添付ファイルを含めることができる．
• ノートブック内での Python プログラムの実行，実行結果の保存
• 「!pip」などの，システム操作
• 共同編集（相手先で、ソースコードの動作確認を行うなど）．

Google Colaboratory は，オンラインで使用する． Google Colaboratory の使用には，Google アカウントの取得が必要．

Google Colaboratory で TensorFlow, Keras のバージョン確認

Google Colaboratory のコードセルで，次の Python プログラムを実行

import tensorflow as tf
print(tf.__version__)
import keras
print(keras.__version__)

Google Colaboratory で NVIDIA CUDA のバージョン確認

Google Colaboratory のコードセルで，次の Python プログラムを実行

!nvcc -V 

Google Colaboratory のコードセルで，次の Python プログラムを実行

import torch
CUDA_VERSION = torch.__version__.split("+")[-1]
print(CUDA_VERSION)

Google Colaboratory で GPU の確認

!nvidia-smi --query-gpu=gpu_name,driver_version,memory.total --format=csv

Google Colaboratory を使用中であるかを判別する Python プログラム

try:
    from google.colab import drive
    USE_COLAB = True
except:
    USE_COLAB = False

Google Colaboratory での実行結果

Windows のコマンドプロンプトでの実行結果

GPU

GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

Graphviz

Graphviz はグラフデータ構造の機能を持ったソフトウエアである．

URL: https://graphviz.gitlab.io/

Windows での Graphviz のインストール

Windows での Graphviz のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として実行し，「winget install Graphviz」を実行
• Graphviz のページ GraphViz の URL: https://graphviz.gitlab.io/ からダウンロードしてインストール:

  詳しくは 別ページで説明している．

インストールの終了後，C:\Program Files\Graphviz\bin にパスを通す．

Ubuntu での Graphviz のインストール

Ubuntu での graphviz のインストール

sudo apt -y update
sudo apt -y install graphviz libgraphviz-dev python3-graphviz

grep

grep は，正規表現で，テキストファイルの中から行を選択する機能を持つソフトウエア．

Windows での grep のインストール

1. 次のページから grep for Windows をダウンロードし，インストール

   http://gnuwin32.sourceforge.net/packages/grep.htm

2. Windows のシステム環境変数 Path に次の値を追加し，パスを通す．

   Windows での環境変数の設定は，マイコンピュータを右クリック → プロパティ→ 詳細設定 → 環境変数をクリック

   Windowsの画面の表示では、「\」（円マーク）が表示される

   • システム環境変数 Path
   • 追加する値: C:\Program Files(x86)\GnuWin32\bin

He の初期値

He らの方法 (2015年) では，前層のユニット数（ニューロン数）を n とするとき， sqrt( 2 / n ) を標準偏差とする正規分布に初期化する． ただし，この方法は ReLU に特化した手法であるとされている． この方法を使うとき，層の入力は，正規化済みであること．

Kaiming He, Xiangyu hang, Shaoqing Ren and Jian Sun, Delving Deep into Rectifiers: Surpassing Human-Level, Performance on ImageNet Classification, pp. 1026^1-34.

HDF5

Windows での HDF5 のインストール

HDF5 のインストールは，複数の方法がある．

ここでは， vcpkg を使う方法を説明する．

1. 事前にvcpkg のインストールを行っておく．
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   c:\vcpkg\vcpkg search hdf5
   c:\vcpkg\vcpkg install hdf5[zlib] zlib
   

3. システムの環境変数 Path に，次を加える．

   c:\vcpkg\installed\x64-windows\bin
   

HELEN データセット

HELENデータセットは，顔画像と，顔のパーツの輪郭のデータセットである．

• 400×400 画素の顔画像2330枚
• 目，眉，鼻，唇，顎の輪郭を手動で作成．輪郭は，194個の顔ランドマークで扱う．

次の URL で公開されているデータセット（オープンデータ）である．

http://www.ifp.illinois.edu/~vuongle2/helen/

【関連情報】

• Le V., Brandt J., Lin Z., Bourdev L., Huang T.S. (2012) Interactive Facial Feature Localization. In: Fitzgibbon A., Lazebnik S., Perona P., Sato Y., Schmid C. (eds) Computer Vision ECCV 2012. ECCV 2012. Lecture Notes in Computer Science, vol 7574. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-33712-3_49
• Papers With Code の Helen データセットのページ: https://paperswithcode.com/dataset/helen

【関連項目】 顔のデータベース

HMDB51 (a large human motion database) データセット

HMDB51 (a large human motion database) データセット は，人間の行動データセット． 機械学習による行動分類，行動認識，ビデオ検索などの学習や検証に利用できるデータセットである．

• 主に映画から収集．その他，Prelinger archive，YouTube，Google video からも収集．
• 6849個のクリップ
• クリップは，アクションカテゴリ（「ジャンプ」，「キス」，「笑い」など）に分類済み．アクションカテゴリは 51種類．各アクションカテゴリは，最低でも 101個のクリップを含む．
• アクションカテゴリは，次の5つのタイプに分類されている． H.Kuehne，H.Jhuang，E.Garrote，T.Poggio，T.Serreの5種類である．

HMDB51 (a large human motion database) データセット >は次の URL で公開されているデータセット（オープンデータ）である．

https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#introduction

【関連情報】

• H. Kuehne, H. Jhuang, E. Garrote, T. Poggio and T. Serre, "HMDB: A large video database for human motion recognition," 2011 International Conference on Computer Vision, 2011, pp. 2556-2563, doi: 10.1109/ICCV.2011.6126543.
• Papers With Code の HMDB51 データセットのページ: https://paperswithcode.com/dataset/hmdb51
• PyTorch の HMDB51 データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.HMDB51

Hour Grass Network

Hour Grass Network は，stacked hourglass と呼ばれるアーキテクチャを特色とする CNN (convolutional neural network) である．

姿勢推定 (pose estimation) は，画像から，関節 (joint) の (x,y) 座標を得たり， ヒートマップを得る（ヒートマップでは，画素ごとに値を持ち，その値は，関節である確率が高いほど，高い値になる） 姿勢制御では，さまざまなスケールでの情報を扱うことが課題とされ， stacked hourglass で解決できるとされている． hougrass では，最初にプーリングを行い，その後アップサンプリングを行う． hougrass を直接に並べて stacked hourglass を構成する．

Hour Grass Network の文献は次の通りである．

A. Newell, K. Yang, and J. Deng. Stacked hourglass net- works for human pose estimation. In ECCV, 2016, CoRR, abs/1603.06937.

https://arxiv.org/pdf/1603.06937v2.pdf

【関連項目】 姿勢推定

Windows でのインストールと学習

Hour Grass Network を用いた姿勢推定については，次の文献がある．

qhttps://github.com/bearpaw/pytorch-pose

上の文献では，ディープラーニングにより，人体全身の姿勢推定を行っている． その学習は，次の手順で行う

• https://github.com/bearpaw/pytorch-pose の記載通りに，前もって行っておくこと）．
• Git のインストール
• Python 3.6, Scipy 1.1.0, pytorch で動く

git clone https://github.com/bearpaw/pytorch-pose
py -3.6 -m pip install scipy==1.1.0 imutils easydict progress
py -3.6 -m pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
cd pytorch-pose
mkdir .\checkpoint
mkdir .\checkpoint\mpii
mkdir .\checkpoint\mpii\hg_s1_b1
# MPII データセットを用いた学習
py -3.6 .\example\main.py --dataset mpii --arch hg --stack 1 --block 1 --features 256 --checkpoint .\checkpoint\mpii\hg_s1_b1 --anno-path .\data\mpii\mpii_annotations.json --image-path .\mpii\images

Human 3.6M データセット

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

利用には， https://vision.imar.ro/human3.6m/register.php での申請を必要とする．

http://vision.imar.ro/human3.6m/description.php

Catalin Ionescu, Dragos Papava, Vlad Olaru and Cristian Sminchisescu, Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, No. 7, July 2014

iBUG 300-W データセット

iBUG 300-W データセットは， 顔の 68 ランドマーク のデータである．7764枚の顔画像について，手作業で，顔の 68 ランドマークのアノテーションとラベル付が行われている．

顔ランドマーク (facial landmark)は，目，眉，鼻，口，あごのラインなど，顔のパーツの構造を特定でぃる形状予測器 (shape predictor) の学習に使うことができる．

iBUG 300-W データセットの URL: https://ibug.doc.ic.ac.uk/resources/300-W/

【関連項目】 顔の 68 ランドマーク, 顔ランドマーク (facial landmark), 顔のデータベース

image content removal（画像コンテンツの除去）

画像の中で，除去する対象となるオブジェクトの境界などを指定することにより， 指定されたオブジェクトを除去し，除去された部分の画素は， image completion and extrapolation で補う．

次の文献では， 除去する対象となるオブジェクトの境界を正確に指定しなくても， オブジェクトスコアマップ (object score map) を scene parsing network を用いて 推定することにより， image content removal（画像コンテンツの除去）ができるとされている．

• Huang JB, Kang SB, Ahuja N, Kopf J, Image completion using planar structure guidance, ACM Transactions on Graphics (TOG), 2014.

  http://johanneskopf.de/publications/structure_completion/image_completion_using_planar_structure_guidance.pdf

【関連項目】 image completion and extrapolation

ImageMagick

• 画像のサイズの例（幅のピクセル数を 100に指定）

  「100x」のように x を付ける．

  convert -resize 100x -unsharp -quality 100 fruits.jpg 1.jpg
  

• 画像のサイズの例（幅のピクセル数を 100に指定）

  「100x」のように x を付ける．

  こちらは，元ファイルを上書き

  mogrify -resize 100x -unsharp -quality 100 fruits.jpg
  

• 画像の幅が 440 より大きい場合には，幅が 440 になるように縮小する．

  for i in *.png; do
  if [ `identify -format "%[width]" $i` -gt 440 ]; then 
      echo $i
      mogrify -resize 440x -unsharp 0x1+0.5+0 -quality 100 $i
  fi
  done
  

【関連項目】 画像データの形式変換

ImageMagick の主なコマンド

• display --画像の表示，変換
• animate --画像を連続表示してアニメーション
• convert --画像ファイル変換，エフェクト
• mogrify --連続画像の変換・エフェクト，一気に画像フォーマットを変換する．
• montage -- 1個の画像ファイルにたくさんの画像を詰め込む
• identify --画像フォーマットを調べる
• combine --画像を結合

sudo apt -y update
sudo apt -y install imagemagick

image matting

前景の色を F，背景の色を B とし，元画像の色は I = alpha * F + (1 - alpha) * B とする． 元画像 I は既知であり，F, B, alpha は未知であるとする． このとき alpha を推定することを image matting という(alpha image matting　ともいう）．

写真や動画の前景背景分離に用いることができる． 物体検出 や salient object detection との違いとしては， ガラスなどの半透明なもの，髪の毛や網のようなもの，そして，前景が必ずしも画面中央に集まっているとは限らず，画面全域にある（網越しに外を見るような場合）を想定していることがある．

【関連情報】

• Papers with Code の image matting のページ: https://paperswithcode.com/task/image-mattin

【関連項目】 AIM-500 (Automatic Image Matting-500) データセット

Trimap-based matting

trimap では，次の 3つを考える． 前景である画素は白，背景である画素は黒，transaction である画素は灰色の 3通りに 塗り分けた画像を trimap という．

• 前景 (foregdound)
• 背景 (background)
• transition: どちらであるか判断できないか，細かすぎて，塗分けが困難な領域

Trimap-based matting では， 元画像と，その trimap を用いて image matting を行う． ディープラーニングによる Trimap-based matting の手法としては，Xu らの Deep Image Matting (DIM) (2017年)（文献 [1]) などが知られている．

【関連情報】

• 文献 [1], Xu らの Deep Image Matting (DIM)

  Ning Xu, Brian Price, Scott Cohen, Thomas Huang, Deep Image Matting CVPR 2017, CoRR, https://arxiv.org/abs/1703.03872v3

  https://arxiv.org/pdf/1703.03872v3.pdf

Backgroud matting

Backgroud matting は，image matting において背景画像を用いる． つまり，元画像と，追加の背景画像を用いて image matting を行う． 元画像での背景と，追加の背景画像は同一の場所で撮影されたものが想定されている．そのとき，全に一致しなくてもよい（わずかな位置のずれや照明条件の変化は許容される）．

ディープラーニングによるbackground matting Shanchuan Lin らの Backgroud Matting （2021年）（文献 [2]）などが知られる． Backbone に ResNet-50, ASPP (Atrous Spatial Pyramid Pooling, DeepLabV3 のものに従う）．

Background matting では，Trimap を必要としない． ZOOM などのビデオ会議などで，グリーンバックを使わずに，前景と背景を分離するとき， 背景の取得は容易であり， Background matting は有用である．

【関連情報】

• 文献 [2], Shanchuan Lin らの Backgroud Matting

  Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman, Real-Time High-Resolution Background Matting CVPR 2021, also CoRR, https://arxiv.org/abs/2012.07810v1, 2021.

  https://arxiv.org/pdf/2012.07810v1.pdf

Portrait matting

人物や動物に特化した image matting である． 人物や動物が写った写真や動画に対して，image matting を行う． このとき，Trimap や 背景画像などの追加の情報を準備することなく image matting を行う手法が種々提案されている．

Automatic image matting

Trimap や 背景画像などの追加の情報を必要とせず， 人物や動物など以外でも（例えば，半透明のコップ，網ごしの風景写真など） image matting を行うもの． Li らの GFM （文献 [3]）（2020 年）は，ディープラーニングによる Trimap の推定が行われており， Li らの unified semantic model （文献 [4]）（2021 年）は，Salient Opaque, Salient Transparent/Meticulous, Non-Salient の 3種類の画像を扱えるモデルであり，GGM の拡張により，unified semantic model の推定を行っている．

• 文献 [3]

  Jizhizi Li, Jing Zhang, Stephen J Maybank, and Dacheng Tao. End-to-end animal image matting. arXiv preprint arXiv:2010.16188, 2020.

• 文献 [4]

  Jizhizi Li , Jing Zhang and Dacheng Tao, Deep Automatic Natural Image Matting, 2021. https://arxiv.org/pdf/2107.07235v1.pdf

ImageNet データセット

ImageNet データセット は，画像分類や物体検出 のベンチマークである「ImageNet Large Scale Visual Recognition Challenge（ILSVRC）」で使用されている． 機械学習での画像分類 や物体検出 の学習や検証に利用できるデータセットである．

• 14,197,122枚の画像
• 枚数: 60000
• 画像レベルのアノテーション：個々の画像について，あるクラスのオブジェクトの有無（２値）を示るアノテーション
• オブジェクトレベルのアノテーション：画像の中のオブジェクトについて，オブジェクト場所（中心の座標）と幅と高さとオブジェクトのクラスを示すアノテーション
• 画像のサムネイルとURLのみを提供しています（URL をたどって画像を利用する場合には，それぞれの利用条件を利用者で確認すること）

ImageNet データセットは次の URL で公開されているデータセット（オープンデータ）である．

ImageNet データセットの URL: https://image-net.org/

【関連情報】

• 文献: CoRR, abs/1409.0575
• Papers With Code の ImageNet データセットのページ: https://paperswithcode.com/dataset/imagenet
• PyTorch の ImageNet データセット: https://pytorch.org/vision/stable/datasets.html#imagenet
• TensorFlow データセットの imagenet2021 データセット: https://www.tensorflow.org/datasets/catalog/imagenet2012

【関連項目】 画像分類, 物体検出

IMDb データセット

IMDb の URL: https://www.imdb.com/

IMDb での映画の批評は，批評文とスコア（１０点満点）である． IMDb データセットでは，7点以上の批評は positive，4点以下の批評は negative としている．つまり，2種類ある． そして，IMDb データセットには，positive か negative の批評のみが含まれている（中間の点数である 5点，6点のものは含まれていない）．そして， positive，negative の批評が同数である． 学習用として，positive，negative がそれぞれ 25000． 検証用として，positive，negative がそれぞれ 25000．

IMDb データセットのURL: https://ai.stanford.edu/%7Eamaas/data/sentiment/

【関連項目】 Keras に付属のデータセット, TensorFlow データセット, オープンデータ,

Python での IMDb データセットのロード（TensorFlow データセットを使用）

次の Python プログラムは，TensorFlow データセットから，IMDb データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

次のプログラムでは，そして確認表示を行う．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
imdb_reviews, imdb_reviews_metadata = tfds.load('imdb_reviews', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = imdb_reviews['train'][0], imdb_reviews['train'][1], imdb_reviews['test'][0], imdb_reviews['test'][1]
# 確認表示
import pandas as pd
display(pd.DataFrame(x_train[0:14], y_train[0:14]))

Python での IMDb データセットのロード（Keras を使用）

IMDb データセットは，次のプログラムでロードできる．

from tensorflow.keras.datasets import imdb
(x_train, y_train), (x_test, y_test) = imdb.load_data()

Imm 顔データベース (IMM Face Database)

40種類の人間の顔を撮影した240枚の画像． 58個の顔ランドマークが付いている．

URL: http://www2.imm.dtu.dk/pubdb/pubs/3160-full.html

M. M. Nordstr{\o}m and M. Larsen and J. Sierakowski and M. B. Stegmann, The IMM Face Database - An Annotated Dataset of 240 Face Images

http://www2.imm.dtu.dk/pubdb/edoc/imm3160.pdf

【関連項目】 顔のデータベース

iNaturalist データセット

画像のデータセット．アノテーションとしてバウンディングボックスが付けられている．Imbalance の大きさを特徴とする．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/visipedia/inat_comp/tree/master/2017

• クラス数:5,089
• 学習と検証 (validation) 用の 675,000 枚の画像．テスト用の 183,000 枚の画像．
• バウンディングボックス数: 183,000
• Imbalance 値: 453.44

• 文献 Grant Van Horn, Oisin Mac Aodha, Yang song, Yin Cui, Chen Sun, Alex Shepard, Hartwig Adam, Pietro Perona, Serge Belongie, The iNaturalist Species Classification and Detection Dataset CVPR 2018, 2018.

  https://arxiv.org/pdf/2104.00613v2.pdf

• Papers with Code のページ: https://paperswithcode.com/dataset/inaturalist
• TensorFlow のモデルのページ: https://github.com/tensorflow/models

【関連項目】 画像分類, 物体検出

InsightFace

顔検出 (face detection)，顔のアラインメント， 顔検証 (face verification)， 顔識別 (face identification)の機能を持つ．

• 顔検出 (face detection): RetinaFace, SCRFD, blazeface_paddle をサポートしている．

InsightFace の GitHub のページ: https://github.com/deepinsight/insightface

【関連項目】 ArcFace 法, Chandrika Deb の顔マスク検出, Dlib の顔検出, face alignment, MobileFaceNets, 顔検出 (face detection)

Google Colaboratory で，InsightFace による顔検出及び年齢と性別の予測

公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の顔検出及び年齢と性別の予測のプログラムを変更して実行．

このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

• 顔検出のモデル: SCRFD-10GF
• 顔認識のモデル: ResNet50@WebFace600K
• 顔のアラインメント: 2d106, 3d68
• 属性: 年齢，性別

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. InsightFace のインストール

   GPU を使わない場合には「onnxruntime-gpu」でなく，「onnxruntime」をインストールすること．

   !pip3 install -U insightface onnxruntime-gpu opencv-python numpy
   
2. 顔検出及び年齢と性別の予測の実行

   動作確認のため，公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の，顔検出及び年齢と性別の予測のプログラムを実行する．

   このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

   • 顔検出のモデル: SCRFD-10GF
   • 顔認識のモデル: ResNet50@WebFace600K
   • 顔のアラインメント: 2d106, 3d68
   • 属性: 年齢，性別

   このプログラムの実行により，result.jpg ファイルができる．

   import cv2
   import numpy as np
   %matplotlib inline
   import matplotlib.pyplot as plt
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   img = ins_get_image('t1')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   cv2.imwrite("./result.jpg", rimg)
   
3. 顔検出及び年齢と性別の予測の実行

   顔の画像ファイルは何でも良いが，ここでは，画像ファイルをダウンロードしている．

   !curl -O https://www.kkaneko.jp/sample/face/3284.png
   !curl -O https://www.kkaneko.jp/sample/face/3285.png
   !curl -O https://www.kkaneko.jp/sample/face/3287.png
   !curl -O https://www.kkaneko.jp/sample/face/3288.png
   !curl -O https://www.kkaneko.jp/sample/face/3289.png
   !curl -O https://www.kkaneko.jp/sample/face/3290.png
   

   いま準備した画像ファイルについて，顔検出及び年齢と性別の予測の実行

   import cv2
   import numpy as np
   %matplotlib inline
   import matplotlib.pyplot as plt
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   img = cv2.imread('3284.png')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   img = cv2.imread('3285.png')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   img = cv2.imread('3287.png')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   img = cv2.imread('3288.png')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   img = cv2.imread('3289.png')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   img = cv2.imread('3290.png')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   

Windows での InsightFace の Python パッケージのインストールとテスト実行

1. 前準備

   Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

2. InsightFace のインストール

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   GPU を使わない場合には「onnxruntime-gpu」でなく，「onnxruntime」をインストールすること．

   python -m pip install -U insightface onnxruntime-gpu opencv-python numpy
   

3. 顔検出及び年齢と性別の予測の実行

   動作確認のため，公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の，顔検出及び年齢と性別の予測のプログラムを実行する．

   このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

   • 顔検出のモデル: SCRFD-10GF
   • 顔認識のモデル: ResNet50@WebFace600K
   • 顔のアラインメント: 2d106, 3d68
   • 属性: 年齢，性別

   このプログラムの実行により，result.jpg ファイルができる．

   import cv2
   import numpy as np
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   img = ins_get_image('t1')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   cv2.imwrite("./result.jpg", rimg)
   
4. パソコンに接続されたビデオカメラで動作してみる

   import cv2
   import numpy as np
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   app = FaceAnalysis()
   app.prepare(ctx_id=0, det_size=(640, 640))
   v = cv2.VideoCapture(0)
   while(v.isOpened()):
       r, f = v.read()
       if ( r == False ):
           break
       faces = app.get(f)
       rimg = app.draw_on(f, faces)
       cv2.imshow("", rimg)
       if cv2.waitKey(1) & 0xFF == ord('q'):
           break
   

   

Ubuntu での InsightFace の Python パッケージのインストールとテスト実行

1. 前準備

   前準備として，Python のインストール, PyTorch のインストール を行う．

   Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

   次に，pip を用いて，pillow のインストールを行う．

   pip install -U pillow
   

2. インストール操作

   Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

   GPU を使わない場合には「onnxruntime-gpu」でなく，「onnxruntime」をインストールすること．

   sudo apt -y update
   sudo apt -y install python3-numpy libopencv-dev libopencv-core-dev python3-opencv libopencv-contrib-dev opencv-data
   sudo pip3 install -U insightface onnxruntime-gpu
   

3. 顔検出及び年齢と性別の予測の実行

   動作確認のため，公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の，顔検出及び年齢と性別の予測のプログラムを実行する．

   このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

   • 顔検出のモデル: SCRFD-10GF
   • 顔認識のモデル: ResNet50@WebFace600K
   • 顔のアラインメント: 2d106, 3d68
   • 属性: 年齢，性別

   このプログラムの実行により，result.jpg ファイルができる．

   import cv2
   import numpy as np
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   img = ins_get_image('t1')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   cv2.imwrite("./result.jpg", rimg)
   

   
4. パソコンに接続されたビデオカメラで動作してみる

   import cv2
   import numpy as np
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   app = FaceAnalysis()
   app.prepare(ctx_id=0, det_size=(640, 640))
   v = cv2.VideoCapture(0)
   while(v.isOpened()):
       r, f = v.read()
       if ( r == False ):
           break
       faces = app.get(f)
       rimg = app.draw_on(f, faces)
       cv2.imshow("", rimg)
       if cv2.waitKey(1) & 0xFF == ord('q'):
           break
   

Iris データセット

Iris データセットは公開されているデータセット（オープンデータ）である．

次の Python プログラムは，Iris データセットのロードと確認表示を行う． Pandas データフレームの df にロードしている． 確認表示で display を用いている．

import pandas as pd
from sklearn.datasets import load_iris
from IPython.display import display
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = iris.target_names[iris.target]
display(df)

次の Python プログラムは，Iris データセットのロードと確認表示を行う．配列 X, y にロードしている． 確認表示で display を用いている．

import pandas as pd
from sklearn.datasets import load_iris
from IPython.display import display
iris = load_iris()
x = iris.data
y = iris.target
display(x)
display(y)

• seaborn のデータのページ: https://github.com/mwaskom/seaborn-data
• TensorFlow データセットの iris データセット: https://www.tensorflow.org/datasets/catalog/iris

【関連項目】 オープンデータ, データフレーム

JAX: Autograd and XLA のインストール（Ubuntu 上）

URL: https://github.com/google/jax

Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

sudo apt -y install python3-pip
sudo pip3 install -U "jax[cuda111]" -f https://storage.googleapis.com/jax-releases/jax_releases.html

Johns Hopkins 大の COVID-19 データレポジトリ

国別，地域別の感染者データ

URL: https://github.com/CSSEGISandData/COVID-19

次の Python プログラムは， Johns Hopkins 大の COVID-19 データレポジトリからデータをダウンロードし，ロードし，表示する．

!curl -LO https://github.com/CSSEGISandData/COVID-19/raw/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv
import pandas as pd
df = pd.read_csv("./time_series_covid19_confirmed_global.csv")
display(df)
display(df.groupby(['Country/Region'], as_index=False).sum())

【関連項目】 時系列データ

JupyterLab

Jupyter Lab は Python プログラム作成に関する種々の機能を持ったソフトウエア．

JupyterLab について：別ページ で説明している．

Jupyter Qt Console

Jupyter Qt Console は Python コンソールの機能を持ったソフトウエア．

Jupyter Qt Console について：別ページ で説明している．

Jupyter ノートブック (Jupyter Notebook)

Jupyter ノートブックは，Pythonなどのプログラムのソースコード，実行結果などを１つのノートとして残す機能をもったノートブック．

Jupyter ノートブック について：別ページ で説明している．

Keras

Keras は 機械学習のAPI の機能を持つ． Python 言語から利用可能． TensorFlow, CNTK, Theano など，さまざまなディープラーニングのフレームワークの上で動く．

参考 Web ページ

• URL: https://keras.io/ja/
• github: https://github.com/fchollet/keras
• Keras 応用: https://keras.io/applications/

Keras の概要

• Keras のモデルは，複数の層が組み合わさったもの．単純に層を積み重ねたもの（シーケンシャル）や，複雑な構成のもの（グラフ）がある
• Keras の層には，活性化関数，層の種類（カーネル，バイアスなど）を設定できる
• Keras の層には，全結合層，畳み込み（コンボリューション）層などの種類がある
• 学習のために，オプティマイザの設定を行う
• Keras のモデルの構成やオプティマイザの設定は，保存できる
• 学習の結果は，重みになる． チェックポイントにより，重みも保存できる．

次のプログラムでは，損失関数を， categorical crossentropy， 最適化法を 確率的勾配降下法 (SGD 法)， 尺度を accuracy に設定している．

m.compile(optimizer=tf.keras.optimizers.SGD(lr=0.01, momentum=0.9, nesterov=True),
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

※ 目的関数については： https://keras.io/ja/objectives/

【関連項目】 Applications of Deep Neural Networks, TensorFlow, ディープラーニング

Keras のインストール

• Windows でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．
• Ubuntu でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．

Keras-GAN のページ

Avatar Erik Linder-Norén により GitHub で公開されているKeras-GAN のページ．

URL は次の通り．

Keras-GAN のページ: https://github.com/eriklindernoren/Keras-GAN  

Keras でのカーネルの初期化

次のプログラムの中の kernel_initializer の部分． 標準偏差を 0.01 になるように重みを設定している．

m.add(Dense(units=100, input_dim=len(768[0])), kernel.iniializer.TruncatedNormal(stddev=0.01))  

Keras での学習

教師データ x_train と y_train (x_train は入力データの numpy 配列もしくは numpy 配列のリスト，y_train はクラス番号の numpy 配列）を用いて， バッチサイズが 32，エポック数を 10 として学習したいときには，次のコマンドを用いる．

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test))

Keras での検証（バリデーション）

Keras での学習において，「validation_data」を付けることで，検証（バリデーション）が行われる．

このとき，検証（バリデーション）に使うデータ（x_test, y_test）をいろいろ変えながら，Kerasでの検証（バリデーション）を行う．

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test))

結果（上のプログラムでは history）を見て，過学習や学習不足を判断する．history は次のようなプログラムで表示できる．

import pandas as pd
h = pd.DataFrame(history.history)
h['epoch'] = history.epoch
print(h)

Keras でのコンパイル

Keras のモデルのコンパイルにおいては， オプティマイザ（最適化器）と 損失関数とメトリクスの指定を行う必要がある．

Keras でのモデル m のコンパイルのプログラムは「m.compile」のように書く．

Keras に付属のデータセット

データセットは，データの集まりのこと． Python の keras には，次のデータセットを簡単にダウンロードできる機能がある．

• CIFAR-10 データセット: カラー画像 60000枚, カテゴリーラベル (category label)

  CIFAR-10 データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import cifar10
  (x_train, y_train), (x_test, y_test) = cifar10.load_data()
  

• CIFAR100 データセット: カラー画像 60000枚, カテゴリーラベル (category label)

  CIFAR-100 データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import cifar100
  (x_train, y_train), (x_test, y_test) = cifar100.load_data(label_mode='fine')
  

• IMDb データセット: 25000 の映画レビュー

  IMDb データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import imdb
  (x_train, y_train), (x_test, y_test) = imdb.load_data()
  

• Reuters newswire topics データセット: ニュースワイヤ 11228, ラベル

  Reuters newswire topics データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import reuters
  (x_train, y_train), (x_test, y_test) = reuters.load_data()
  

• MNIST データセット: 濃淡画像 70000枚, ラベル

  MNIST データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import mnist
  (x_train, y_train), (x_test, y_test) = mnist.load_data()
  

• Fashion MNIST データセット: 濃淡画像 70000枚, ラベル

  Fashion MNIST データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import fashion_mnist
  (x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()
  

• Boston housing price 回帰データセット: 13属性

  Boston housing price 回帰データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import boston_housing
  (x_train, y_train), (x_test, y_test) = boston_housing.load_data()
  

keras に付属のデータセットを取得するときのオプションについては， https://keras.io/ja/datasets/(日本語版), https://keras.io/datasets/(英語版) に説明されている．

【関連項目】 Boston housing price 回帰データセット, CIFAR-10 データセット, CIFAR100 データセット, IMDb データセット, Reuters newswire topics データセット, MNIST データセット, Fashion MNIST データセット  

Keras の応用

Keras の応用としては， MobileNetV2， Inception-ResNet， ResNet50， DenseNet121, DenseNet169， NASNetなどの画像分類のモデルがある． （その詳細は，https://keras.io/ja/applications/）

Keras では，これらモデルについて，ImageNet データセット での学習済みモデルを，次のようなプログラムで，簡単に使えるようにすることができる．

from tensorflow.keras.applications.mobilenet_v3 import MobileNetV3
m = MobileNetV3(weights='imagenet')

【関連項目】 ResNet50, ResNet101, ResNet152, その他の ResNet, Inception-ResNet, DenseNet121, DenseNet169, NASNet, MobileNetV2

Keras で利用可能な画像分類のモデルは，https://keras.io/api/applications/ で説明されている．

Kinetics Human Action Video Dataset (Kinetics Human Action Video データセット)

400/600/700 種類の人間の行動をカバーする最大65万のビデオクリップの URL リンク集とアノテーションである． それぞれのクリップには，１つの行動クラスがアノテーションされている． ビデオの長さは，約10秒である． 機械学習による行動分類，行動認識，ビデオ検索などの学習や検証に利用できるデータセットである．

ディープラーニングで，人間の行動推定に利用できる．

• 約65万のビデオクリップのURLリンク
• 楽器の演奏などの人間と物体のインタラクション，握手やハグなどの人間と人間のインタラクションを網羅
• 行動クラスの数は 400/600/700
• 各ビデオクリップには1つの行動クラスがアノテーションされている．
• 各ビデオクリップの長さは約10秒である．

Kinetics データセット >は次の URL で公開されているデータセット（オープンデータ）である．

https://deepmind.com/research/open-source/kinetics

【関連情報】

• URL: http://human-pose.mpi-inf.mpg.de/
• URL: https://deepmind.com/research/open-source/kinetics
• 文献

  W. Kay, J. Carreira, K. Simonyan, B. Zhang, C. Hillier, S. Vijayanarasimhan, F. Viola, T. Green, T. Back, P. Natsev, M. Suleyman, and A. Zisserman. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017.

  https://arxiv.org/pdf/1705.06950v1.pdf

• Papers With Code の Kinetics データセットのページ: https://paperswithcode.com/dataset/kinetics
• PyTorch の Kinetics データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.Kinetics400

Google Colaboratory で，Kinetics データセットのダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O https://storage.googleapis.com/deepmind-media/Datasets/kinetics700_2020.tar.gz
!tar -xvzof kinetics700_2020.tar.gz
!ls kinetics700_2020

Windows での Kinetics データセットのダウンロード

mkdir c:\data
mkdir c:\data\kinetics
cd c:\data\kinetics
curl -O https://storage.googleapis.com/deepmind-media/Datasets/kinetics700_2020.tar.gz
"c:\Program Files\7-Zip\7z.exe" x kinetics700_2020.tar.gz
"c:\Program Files\7-Zip\7z.exe" x kinetics700_2020.tar

KITTI データセット

カラーのカメラ，モノクロのステレオカメラ，３次元レーザースキャナなどのさまざまなセンサーのデータから構成される．

• 数時間分の交通シナリオ
• セマンティック・セグメンテーションのグランドトゥルースが含まれているわけではない

http://www.cvlibs.net/datasets/kitti

【関連情報】

• A. Geiger, P. Lenz and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 3354-3361, doi: 10.1109/CVPR.2012.6248074.
• Papers With Code の KITTI データセットのページ: https://paperswithcode.com/dataset/kitti
• PyTorch の KITTI データセット: https://pytorch.org/vision/stable/datasets.html
• TensorFlow データセット の KITTI データセット: https://www.tensorflow.org/datasets/catalog/kitti

【関連項目】 semantic segmentation, オープンデータ, 物体検出

KITTI データセットのビジュアライザ

https://github.com/navoshta/KITTI-Dataset

KITTI データセットの Python インタフェース

https://github.com/utiasSTARS/pykitti

K 近傍探索 (K nearest neighbour)

K 近傍探索 (K nearest neighbour)のアルゴリズムは，次の性質を持つ．

• 事前に、データを複数準備（事前データ）。
• それぞれのデータに、ラベルがついている。
• 新しいデータが１つある。それを、事前データそれぞれすべてと類似度を計算する。
• 類似度が高いもの数個を選ぶ。そして、選ばれた数個のラベルについて多数決を取る
• その結果得られたラベルを識別結果とする

【関連項目】 Fast-Robust-ICP, libnabo, libpointmatcher

ks_1033_data

ks_1033_data は，次のページで CSV ファイルと Excel ファイルで公開されているデータセット（オープンデータ）である．

https://github.com/wireservice/csvkit/tree/master/examples/realdata

【関連項目】 オープンデータ, データフレーム

Google Colaboratory で，ks_1033_data データセットのダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O https://github.com/wireservice/csvkit/tree/master/examples/realdata/ks_1033_data.csv
!ls -al ks_1033_data.csv

L2 正則化

正則化の一手法である． L2 正則化では，重みの二乗の合計に比例したペナルティを，重みに与える．

import tensorflow.compat.v2 as tf
tf.keras.layers.Dense(128, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.001))

LabelMe インタフェース

LabelMe インタフェースは，アノテーションのツール．

• 文献

  Russell BC, Torralba A, Murphy KP, Freeman WT, Labelme: a database and web-based tool for image annotation. Int’l Journal of Computer Vision, 2008.

• 公式ページ (GitHub のページ): https://github.com/wkentaro/labelme

【関連項目】 アノテーション (annotation)

Windows での LabelMe のインストールと確認

公式ページ https://github.com/wkentaro/labelmeの記載に従う．

1. インストール

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   python -m pip install labelme
   

2. 確認のため「labelme」で起動

LaMa

LaMa は，Image Inpainting （イメージインペインティング）のための技術である．2021年発表．

Image Inpainting （イメージインペインティング） 画像の欠落部分を補うことで，画像の中の不要な部分を消すときにも役立つ．

LaMa のデモページ

• LaMa のデモページの URL: https://colab.research.google.com/github/saic-mdal/lama/blob/master/colab/LaMa_inpainting.ipynb#scrollTo=-VZWySTMeGDM
• LaMa のデモページの実行結果の例
  

【関連項目】 image inpainting

LAPACK

lapack は，行列に関する種々の問題（連立１次方程式，固有値問題，などなど多数）を解く機能を持つソフトウエア．BLAS の機能を使う．

netlib の lapack のページ: http://www.netlib.org/lapack

lapack 参照実装の Web ページ: https://github.com/Reference-LAPACK/lapack-release

【関連項目】 clapack, OpenBLAS

Windows での LAPACK のインストール

LAPACK のインストールは，複数の方法がある．

• vcpkg を使う．ここで説明している．
• ソースコードからビルドして，インストールする．その詳細は: 別ページで説明している．

ここでは， vcpkg を使う方法を説明する．

1. 事前にvcpkg のインストールを行っておく．
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   c:\vcpkg\vcpkg search lapack
   c:\vcpkg\vcpkg install blas lapack lapack-reference openblas[threads]:x64-windows
   

3. システムの環境変数 Path に，次を加える．

   c:\vcpkg\installed\x64-windows\bin
   

Ubuntu での LAPACK のインストール

Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

sudo apt -y update
sudo apt -y install libopenblas-dev liblapack-dev

Leeds Sports Pose Dataset (LSP データセット）

スポーツ選手を中心としで，Flickr から収集した2000枚の画像に， 姿勢（ポース）についてのアノテーションを行ったもの． 最も目立つ人物が，およそ150ピクセルになるようにスケーリングされている． 各画像には，14個のジョイント（関節）の位置がアノテーションされている． オリジナル画像の帰属 (attribution) とFlickrのURLは，各画像ファイルのJPEGコメントに記載されている．

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

次の URL で公開されているデータセット（オープンデータ）である．

URL: http://sam.johnson.io/research/lsp.html 【関連情報】

• 文献

  Sam Johnson, and Mark Everingham. Clustered Pose and Nonlinear Appearance Models for Human Pose Estimation. In Frédéric Labrosse, Reyer Zwiggelaar, Yonghuai Liu, and Bernie Tiddeman, editors, Proceedings of the British Machine Vision Conference, pages 12.1-12.11. BMVA Press, September 2010. doi:10.5244/C.24.12.

  http://www.bmva.org/bmvc/2010/conference/paper12/paper12.pdf

• Papers With Code の LSP データセットのページ: https://paperswithcode.com/dataset/lsp
• open-mmlab での記事

  https://github.com/open-mmlab/mmpose/blob/master/docs/en/tasks/3d_body_mesh.md#lsp

Google Colaboratory で，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O http://sam.johnson.io/research/lsp_dataset.zip
!curl -O http://sam.johnson.io/research/lspet_dataset.zip
!unzip lsp_dataset.zip -d lsp_dataset
!unzip lspet_dataset.zip -d lspet_dataset
!ls -la lspet_dataset

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/open?id=1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS

Windows での，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

Windows の場合．次により c:\data\lsp にダウンロードされる．

mkdir c:\data
mkdir c:\data\lsp
mkdir c:\data\lsp\images
cd c:\data\lsp\images
curl -O http://sam.johnson.io/research/lsp_dataset.zip
curl -O http://sam.johnson.io/research/lspet_dataset.zip
"c:\Program Files\7-Zip\7z.exe" x lsp_dataset.zip 
"c:\Program Files\7-Zip\7z.exe" x lspet_dataset

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/open?id=1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS

Ubuntu での，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

Ubuntu の場合．次により，/usr/local/data/lsp/images にダウンロードされる．

mkdir -p /usr/local/data/lsp/images
cd /usr/local/data/lsp/images
curl -O http://sam.johnson.io/research/lsp_dataset.zip
curl -O http://sam.johnson.io/research/lspet_dataset.zip
unzip lsp_dataset.zip -d lsp_dataset
unzip lspet_dataset.zip -d lspet_dataset

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/open?id=1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS

LFW データセット

LFWデータセットには，「in-the-wild」のラベル付きの顔のデータベースである． 合計で 13,233枚，5,749人の顔画像が含まれている．

機械学習による顔認識の学習や検証に利用できるデータセットである．

• 5749 人の顔について，IDが付いている．
• 1680 人については，2つ以上の画像に写っている．他の人は，1宇野画像ににも写っている．

• 文献

  Gary B. Huang, Marwan Mattar, Tamara Berg, Eric Learned-Miller. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. Workshop on Faces in ’Real-Life’ Images: Detection, Alignment, and Recognition, Erik Learned-Miller and Andras Ferencz and Frdric Jurie, Oct 2008, Marseille, France. inria-00321923

  http://vis-www.cs.umass.edu/lfw/lfw.pdf

• E. Learned-Miller, G. B. Huang, A. RoyChowdhury, H. Li, and G. Hua. Labeled faces in the wild: A survey. In Advances in Face Detection and Facial Image Analysis, pages 189–248. Springer, 2016.
• Papers With Code の LFW データセットのページ: https://paperswithcode.com/dataset/lfw
• PyTorch のLFW データセット:
• TensorFlow データセットの LFW データセット: https://www.tensorflow.org/datasets/catalog/lfw

【関連項目】 顔認識 (face recognition), 顔のデータベース

libiconv

Windows での libiconv のインストール

libiconv のインストールは，複数の方法がある．

• vcpkg を使う．ここで説明している．
• ソースコードからビルドして，インストールする．その詳細は: 別ページで説明している．

ここでは， vcpkg を使う方法を説明する．

1. 事前にvcpkg のインストールを行っておく．
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   c:\vcpkg\vcpkg search libiconv
   c:\vcpkg\vcpkg install libiconv
   

3. システムの環境変数 Path に，次を加える．

   c:\vcpkg\installed\x64-windows\bin
   

libnabo

libnabo は，K 近傍探索 (K nearest neighbour) の機能を持つライブラリ．

ANN よりも高速だとされている．

• 文献

  Elseberg, J. and Magnenat, S. and Siegwart, R. and N{\"u}chter, A., Comparison of nearest-neighbor-search strategies and implementations for efficient shape registration, Journal of Software Engineering for Robotics (JOSER), pages 2-12, vol. 3, no. 1, 2012.

• libnabo の URL: https://github.com/ethz-asl/libnabo

【関連項目】 K 近傍探索 (K nearest neighbour)

Windows での libnabo のインストール

ソースコードからビルドする

https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md の手順に従う．

1. 前準備

   Boost のインストール, C++ ビルドツール (Build Tools) のインストール, Eigen 3 のインストール, Git のインストール, grep のインストール が必要．

2. インストール

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   c:\libnabo にインストールされる．

   cd c:\
   rmdir /s /q libnabo
   git clone --recursive https://github.com/ethz-asl/libnabo
   cd libnabo
   rmdir /s /q build
   mkdir build
   cd build
   cmake -G "Visual Studio 16 2019" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libnabo" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DLIBNABO_BUILD_PYTHON=OFF ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
   ..
   msbuild libnabo.sln -p:Configuration=Release
   

3. テストプログラムのビルド

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   c:\libnabo にインストールされる．

   cd c:\libnabo\examples
   cmake -G "Visual Studio 16 2019" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libnabo" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DLIBNABO_BUILD_PYTHON=OFF ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
   ..
   msbuild libnabo.sln -p:Configuration=Release
   

Ubuntu での libnabo のインストール

Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

/usr/local/libnabo にインストールされる．

sudo apt -y update
sudo apt -y install libboost-all-dev libeigen3-dev git cmake cmake-curses-gui cmake-gui
cd /tmp
sudo rm -rf libnabo
sudo git clone --recursive https://github.com/ethz-asl/libnabo
sudo chown -R $USER libnabo
cd /tmp/libnabo
mkdir build
cd build
cmake \
    -DCMAKE_BUILD_TYPE=Release \
    -DCMAKE_INSTALL_PREFIX="/usr/local" \
    -DCMAKE_BUILD_TYPE=RelWithDebInfo \
..
make 
sudo make install
cd /tmp/libnabo/examples
cmake \
    -DCMAKE_BUILD_TYPE=Release \
    -DCMAKE_INSTALL_PREFIX="/usr/local" \
    -DCMAKE_BUILD_TYPE=RelWithDebInfo \
..
make 
sudo make install

libpointmatcher

Iterative Closest Point (ICP) の機能を持ち， 点群 (point cloud) のアラインメントを行うことができる． point-to-point の ICP と，point-to-plane ICP の機能を持つ． point-to-point の ICP では，剛体変換だけでなく，スケールの変更にも対応している．

• 文献

  François Pomerleau, Francis Colas, Roland Siegwart, Stéphane Magnenat, Comparing ICP Variants on Real-World Data Sets, Autonomous Robots, vol. 34, no. 3, pages: 133-148, 2013.

• 文献

  François Pomerleau, Stéphane Magnenat, Francis Colas, Ming Liu, Roland Siegwart, Tracking a Depth Camera: Parameter Exploration for Fast ICP, Proc. of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE Press, pages: 3824-3829, 2011.

• GitHub のページ: https://github.com/ethz-asl/libpointmatcher

【関連項目】 K 近傍探索 (K nearest neighbour), ICP

Windows での libpointmatcher のインストール

ソースコードからビルドする

https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md の手順に従う．

1. 前準備

   Boost のインストール, C++ ビルドツール (Build Tools) のインストール, cmake のインストール, Eigen 3 のインストール, Git のインストール, libnabo のインストール, が必要．

2. インストール

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   c:\libpointmatcher にインストールされる．

   cd c:\
   rmdir /s /q libpointmatcher
   git clone --recursive https://github.com/ethz-asl/libpointmatcher
   cd libpointmatcher
   rmdir /s /q build
   mkdir build
   cd build
   cmake -G "Visual Studio 16 2019" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libpointmatcher" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DBoost_ROOT="c:/Program Files/boost/build" ^
       -Dlibnano_DIR="c:/libnabo/build" ^
       -DNABO_INCLUDE_DIR="c:/libnabo/nabo" ^
       -DNABO_LIBRARY="c:/libnabo/build/Release\nabo.lib" ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
   ..
   msbuild libpointmatcher.sln -p:Configuration=Release
   

Ubuntu での libpointmatcher のインストール

ソースコードからビルドする

公式ページの https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md

1. 前準備

   libnabo のインストール が必要．

2. インストール

   Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

   /usr/local/libpointmatcher にインストールされる．

   sudo apt -y update
   sudo apt -y install libboost-all-dev libeigen3-dev git cmake cmake-curses-gui cmake-gui
   cd /tmp
   sudo rm -rf libpointmatcher
   git clone --recursive https://github.com/ethz-asl/libpointmatcher
   sudo chown -R $USER libpointmatcher
   cd /tmp/libpointmatcher
   mkdir build
   cd build
   cmake \
       -DCMAKE_BUILD_TYPE=Release \
       -DCMAKE_INSTALL_PREFIX="/usr/local" \
       -DCMAKE_BUILD_TYPE=RelWithDebInfo \
   ..
   make
   sudo make install
   

librosa

librosa は， 音声，音楽の機能をもった Python のパッケージである．

• 公式のドキュメントのページ: https://librosa.org/doc/latest/index.html
• 公式の GitHub のページ: https://github.com/librosa/librosa
• 文献:

  McFee, Brian, Colin Raffel, Dawen Liang, Daniel PW Ellis, Matt McVicar, Eric Battenberg, and Oriol Nieto. “librosa: Audio and music signal analysis in python.” In Proceedings of the 14th python in science conference, pp. 18-25. 2015.

【関連項目】 short-time Fourier transform, 音声, 音楽, sound, 音データ（sound data）

Google Colaboratory で，パワースペクトログラムの表示（librosa を使用）

次のプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

次のプログラムは，librosa に付属の音声データである trumpet について，パワースペクトログラムを表示する． 次のプログラムでは，横軸は時間，縦軸は線形スケール（linear scale）で表された周波数である パワースペクトログラムを表示する． stft は short-time Fourier transform を行う． そして，その振幅により色をプロットする．

ここのプログラムのソースコードは， http://librosa.org/doc/main/auto_examples/plot_display.html#sphx-glr-auto-examples-plot-display-py のものを使用(ISC ライセンス）．

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import librosa
import librosa.display
y, sr = librosa.load(librosa.ex('trumpet'))
D = librosa.stft(y)  # STFT of y
S_db = librosa.amplitude_to_db(np.abs(D), ref=np.max)
plt.figure()
librosa.display.specshow(S_db, x_axis='time', y_axis='linear', sr=sr)
plt.colorbar()

Windows での librosa のインストール

Windows での librosa のインストールは，次のようなコマンドで行う．

コマンドプロンプトを管理者として実行し，次のコマンドを実行．

python -m pip install -U numba librosa

Ubuntu での librosa のインストール

Ubuntu での librosa のインストールは，次のようなコマンドで行う．

sudo apt -y install ffmpeg
sudo pip3 install -U numba librosa

インストールするバージョンを指定する場合には，次のように操作する． 「==」のあとはバージョン指定であり，使用したいバージョンを指定する．

sudo apt -y install ffmpeg
sudo pip3 install -U numba==0.48.0 librosa==0.7.0 

ソースコードを使用してインストールする場合には次のように操作する．

sudo apt -y install ffmpeg
sudo pip3 install git+https://github.com/librosa/librosa

LLVM

Windows での LLVM のインストール

Windows での LLVM のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として実行し，「winget install LLVM」を実行
• コマンドプロンプトを管理者として実行し，次のコマンドを実行．

  12.0.1 のところは，インストールしたいバージョン番号を指定すること．

  curl -LO https://github.com/llvm/llvm-project/releases/download/llvmorg-12.0.1/LLVM-12.0.1-win64.exe
  .\LLVM-12.0.1-win64.exe
  

Ubuntu での LLVM のインストール

Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

sudo apt -y update
sudo apt -y install llvm

locate コマンド

Linux では，locate コマンドを用いてファイル検索を行うことができる．

• Ubuntu でのインストール: sudo apt -y install mlocate

  mlocate に m が付いているのは書き間違いではない．

LPIPS (Learned Perceptual Image Patch Similarity)

画像の類似尺度．Richard Zhang らにより 2018年に提案された．

• Windows でのインストール: python -m pip install lpips
• Ubuntu でのインストール: sudo pip3 install lpips

公式ページには，次の Python プログラムのソースコードが掲載されている．

import lpips
loss_fn_alex = lpips.LPIPS(net='alex') # best forward scores
loss_fn_vgg = lpips.LPIPS(net='vgg') # closer to "traditional" perceptual loss, when used for optimization
import torch
img0 = torch.zeros(1,3,64,64) # image should be RGB, IMPORTANT: normalized to [-1,1]
img1 = torch.zeros(1,3,64,64)
d = loss_fn_alex(img0, img1)

このソースコードの Google Colaboratory での実行結果は次の通りである．

• 文献

  Richard Zhang, Phillip Isola, Alexei A. Efros, Eli Shechtman, Oliver Wang, The Unreasonable Effectiveness of Deep Features as a Perceptual Metric, CVPR 2018, also CORR, abs/1801.03924v2

  https://arxiv.org/pdf/1801.03924v2.pdf

• Papers with Code のページ: https://paperswithcode.com/paper/the-unreasonable-effectiveness-of-deep
• GitHub のページ: https://github.com/richzhang/PerceptualSimilarity

【関連項目】SSIM

LReLU (Leaky rectified linear unit)

LReLU (Leaky rectified linear unit) は，次の関数である．

f(x) = x (x>=0), alpha * x (x<0)

LReLUは，活性化関数としてよく使用されるもののうちの１つである． 活性化関数は，ニューロンの入力の合計から，そのニューロンの活性度の値を決めるためのもの． （他には，ReLU，シグモイド関数，ステップ関数，ソフトマックス関数などがある．

Keras で LReLU を使うときは，次のように書く．

m.add(LeakyReLU(alpha=0.01)

LS3D-W データセット

LS3D-W データセットは，３次元の顔ランドマーク (facial landmark)のデータセット．

これは，AFLW，300VW，iBUG 300-W，FDDB の顔画像から生成されたデータセットである．

利用には， https://www.adrianbulat.com/face-alignment での申請を必要とする．

生成手順については，次の文献に記載されている

Bulat, Adrian and Tzimiropoulos, Georgios, International Conference on Computer Vision, 2017, https://openaccess.thecvf.com/content_ICCV_2017/papers/Bulat_How_Far_Are_ICCV_2017_paper.pdf

【関連項目】 顔ランドマーク (facial landmark)

LSTM (Long Short-Term Memory)

LSTM 層を含むようなニューラルネットワークは，次の特徴を持つ

• リカレントニューラルネットワークの一種である
• 状態を維持することで，リカレントニューラルネットワークでの勾配消失問題の解決を目指している．

【関連項目】 Applications of Deep Neural Networks, ディープラーニング, リカレントニューラルネットワーク

LSTM 層(Long Short-Term Memory layer)

LSTM 層では，内部に「状態」を維持する． 状態は，ニューロンの動作のたびに変化するものである． （ふつうのニューロンでは，入力の値から出力が計算される．「状態」という考え方はない）． LSTM 層のニューロンは，今の入力，１つ前の時間の入力，１つ前の時間での状態から出力を求める．

LSUN (Large-scale Scene UNderstanding Challenge) データセット

LSUN (Large-scale Scene UNderstanding Challenge) データセット は， ラベル付きの画像データセットである． 機械学習での画像分類や画像生成の学習や検証に利用できるデータセット．

• 約100万枚のラベル付き画像
• 10種類のシーンカテゴリ
• 20種類のオブジェクトカテゴリが含まれている．

LSUN データセットは次の URL で公開されているデータセット（オープンデータ）である．

https://www.yf.io/p/lsun

【関連情報】

• 文献

  Fisher Yu, Ari Seff, Yinda Zhang, Shuran Song, Thomas Funkhouser and Jianxiong Xiao, LSUN: Construction of a Large-scale Image Dataset using Deep Learning with Humans in the Loop, arXiv:1506.03365

• Papers With Code の LSUN データセットのページ: https://paperswithcode.com/dataset/lsun
• PyTorch の LSUN データセット https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.LSUN
• TensorFlow データセットの LSUN データセット https://www.tensorflow.org/datasets/catalog/lsun

【関連項目】 顔のデータベース

mAP

機械学習による物体検出では， 「mAP」は，「mean average precision」の意味である．

Mapillary Vistas Dataset (MVD)

ストリート（街角）の25,000 枚の画像． インスタンスレベルのアノテーション， 124 のセマンティッククラス．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://www.mapillary.com/dataset/vistas

• 文献

  G. Neuhold, T. Ollmann, S. Rota Bulo, and P. Kontschieder. The mapillary vistas dataset for semantic understanding of street scenes. In ICCV, 2017.

  https://openaccess.thecvf.com/content_ICCV_2017/papers/Neuhold_The_Mapillary_Vistas_ICCV_2017_paper.pdf

【関連項目】 semantic segmentation, インスタンス・セグメンテーション (instance segmentation)

Mask R-CNN

セグメンテーション，物体検出，キーポイント検出等に使用されるモデル．

FPN (Feature Pyramid Network), ResNeXt101 や ResNeXt50 や ResNet101 や ResNet50 を使用．

COCO データセットで学習済みのモデル，Jupyter ノートブック (Jupyter Notebook) のデモ demo.ipynb が公開されている．

• 文献 Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick, Mask R-CNN, ICCV 2017, 2017.
• Papers with Code のページ: https://paperswithcode.com/paper/mask-r-cnn
• TensorFlow のモデルのページ: https://github.com/tensorflow/models
• detectron2 のページ: https://github.com/facebookresearch/detectron2
• matterport の GitHub のページ: https://github.com/matterport/Mask_RCNN

【関連項目】 PANet (Path Aggregation Network), 物体検出, segmentation, keypoint detection

付属の Jupyter ノートブック (Jupyter Notebook) のデモ

Jupyter ノートブック (Jupyter Notebook) のデモが付属している．主なものは次の通り． 動作させるには，Mask R-CNN のインストールが終わっていること（下に記載）． 学習: train_shapes.ipynb 仕組み: inspect_model.ipynb 重みの視覚化: inspect_weights.ipynb

Windows での Mask R-CNN のインストール

1. Git のインストール
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   cd c:\
   rmdir /s /q Mask_RCNN
   git clone --recursive https://github.com/matterport/Mask_RCNN
   cd Mask_RCNN
   python -m pip install -U -r requirements.txt
   python setup.py install
   

Ubuntu での Mask R-CNN のインストール

1. Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

   sudo apt -y update
   sudo apt -y install git
   cd /usr/local
   sudo rm -rf Mask_RCNN
   sudo git clone --recursive https://github.com/matterport/Mask_RCNN
   sudo chown -R $USER Mask_RCNN
   # システム Python の環境とは別の Python の隔離された環境（システム Python を使用）を作成
   sudo apt -y update
   sudo apt -y install python3-venv
   python3 -m venv ~/a
   source ~/a/bin/activate
   cd /usr/local/Mask_RCNN
   sudo pip3 install -U -r requirements.txt
   sudo pip3 list
   python setup.py install
   

matplotlib

matplotlib は，オープンソースの Python のプロットライブラリ．

matplotlib を用いた散布図の描画は，別ページで説明している．

matplotlib を用いたグラフ描画の例は次の通り．

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
x = np.linspace(0, 6, 100)
plt.style.use('ggplot')
plt.plot(x, np.sin(x))

matplotlib を用いて，OpenCV のカラー画像を表示する例は次の通り．

import cv2
%matplotlib inline
import matplotlib.pyplot as plt
bgr = cv2.imread("126.png")
plt.style.use('default')
plt.imshow(cv2.cvtColor(bgr, cv2.COLOR_BGR2RGB))
plt.show()

普通に Matplotlib を用いてOpenCV 画像の表示を表示すると，小さく表示される．

「plt.style.use('default')」の実行により，Matplotlib での OpenCV 画像の表示が大きくなる．

【サイト内の関連ページ等】 Matplotlib（Python まとめページ内）

【関連項目】 display

Windows での matplotlib のインストール

Windows での matplotlib, seaborn のインストールは， コマンドプロンプトを管理者として実行し， そのコマンドプロンプトで，次のコマンドを実行することで行う．

python -m pip install -U matplotlib seaborn

Ubuntu での matplotlib のインストール

Ubuntu での matplotlib, seaborn のインストールは， 次のコマンドを実行することで行う．

sudo apt -y update
sudo apt -y install python3-matplotlib python3-seaborn

Max-Margin 物体検出 (Max-Margin Object Detection)

画像からの物体検出 のための学習法である． 当時の，従来の，単純な物体検出 法よりも高速であり， 他の種々の物体検出 法よりも精度が劣らないとされている． サブサンプリングを行わずに，サブウインドウ（画像分類のために使用されるもの）の全体での最適化を行うことを特徴としている．

• 文献

  Davis E. King, Max-Margin Object Detection, CoRR, abs/1502.00046, 2015.

  https://arxiv.org/pdf/1502.00046v1.pdf

• Papers with code のページ: https://paperswithcode.com/paper/max-margin-object-detection

【関連項目】 物体検出

MeCab

MeCab は，形態素解析の機能を持ったソフトウエア．

Windows での MeCab のインストール

Windows での MeCab のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• vcpkg を使う．ここで説明している．
• 公式ページからダウンロードしてインストールする．その詳細は，別ページで説明している．

ここでは， vcpkg を使う方法を説明する．

1. 事前にvcpkg のインストールを行っておく．
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   c:\vcpkg\vcpkg search mecab
   c:\vcpkg\vcpkg install mecab:x64-windows
   

3. システムの環境変数 Path に，次を加える．

   c:\vcpkg\installed\x64-windows\bin
   

MeshLab

MeshLab は, ３次元データ（３次元点群データや，メッシュデータ）について表示, 簡易編集, データの間引き, 形式変換, 張り合わせ, 分割, 解析などが行えるソフトウエア

URL: http://meshlab.sourceforge.net/

【関連項目】 メッシュ簡略化 (Mesh Simplification) , メッシュ平滑化 (Mesh Smoothing)

Windows での MeshLab のインストール

Windows での MeshLab のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として実行し，「winget install MeshLab」を実行
• MeshLab のページ http://meshlab.sourceforge.net/ からダウンロードしてインストール:

  詳しくは: 別ページで説明している．

Ubuntu での MeshLab のインストール

Ubuntu でのインストール: 別ページで説明している．

Meshroom

Meshroom は Structure from Motion を，GUI を用いて簡単に行えるソフトウエア．動作画面の一部は次の通り．カメラの撮影位置と，オブジェクトの３次元形状が表示されている．

meshroom の URL （ここから Meshroom をダウンロード可能）: https://alicevision.org/

【関連項目】 3次元再構成 (3D reconstruction), OpenMVG, OpenMMLab, Structure from Motion (SfM)

MIT Scene Parsing Benchmark

ADE20K データセット から派生した， シーン解析(scene parsing) のデータと， オブジェクトのパーツ (object parts) のセグメンテーションのデータ．

• 20,000 枚以上の画像
• ADE20K データセット のカテゴリのうち，150 のカテゴリを使用．人，車，ベッドなど，
• ピクセル単位で，オブジェクトとオブジェクトパーツのラベルがアノテーションされている．

次の URL で公開されているデータセット（オープンデータ）である．

http://sceneparsing.csail.mit.edu/

【関連情報】

• MIT Scene Parsing Benchmark: http://sceneparsing.csail.mit.edu/
• Instruction for the Instance Segmentation Task: https://github.com/CSAILVision/placeschallenge/tree/master/instancesegmentation
• TensorFlow データセットの scene parse 150 データセット: https://www.tensorflow.org/datasets/catalog/scene_parse150

【関連項目】 ADE20K データセット, CASILVision, semantic segmentation, シーン解析(scene parsing)， インスタンス・セグメンテーション (instance segmentation)

Windows でのダウンロードと展開

c:\date 下にダウンロード，展開する．

コマンドプロンプトを管理者として実行し，次のコマンドを実行．

mkdir c:\data
cd c:\data
curl -O http://data.csail.mit.edu/places/ADEchallenge/ADEChallengeData2016.zip
rmdir /s /q ADEChallengeData2016
"c:\Program Files\7-Zip\7z.exe" x ADEChallengeData2016.zip

ファイルの配置は次のようになる．

ADEChallengeData2016/
  annotations/
  images/
  objectInfo150.txt
  sceneCategories.txt

mixamo

キャラクタと動きのアセットを公開しているサイト．fbx形式でダウンロードできる．

URL: https://www.mixamo.com

【関連用語】 3次元コンピュータグラフィックス, human pose, human motion

MMClassification

MMClassification は， OpenMMLab の構成物で， 画像分類のツールボックスとベンチマークの機能を提供する．

• 文献:

  MMCV Contributors, MMCV: OpenMMLab Computer Vision Foundation, https://github.com/open-mmlab/mmcv, 2018.

• MMClassification の公式ドキュメント: https://mmclassification.readthedocs.io/en/latest/
• MMClassification での訓練，検証（公式ドキュメント）: https://mmclassification.readthedocs.io/en/latest/getting_started.html

【関連項目】 OpenMMLab

Google Colaboratory で，MMClassification による画像分類の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. MIM のインストール

   !pip3 install openmim
   
2. MMCV, MMClassification のインストール．

   https://mmclassification.readthedocs.io/en/latest/install.html の記載の手順による

   !pip3 uninstall -y opencv-python opencv-contrib-python
   !pip3 install opencv-python-headless opencv-contrib-python-headless
   !git clone https://github.com/open-mmlab/mmclassification.git
   %cd mmclassification
   !git checkout dev
   !mim install -e .
   
3. 画像分類の実行（MMClassification, ResNet50，ImageNet-1k で事前学習済みモデルを使用）

   MMClassificationの公式の事前学習済みモデルの説明: https://github.com/open-mmlab/mmclassification/tree/master/configs/resnet

   import torch
   from mmcls.apis import inference_model, init_model, show_result_pyplot
   fimg = 'demo/demo.JPEG'
   fconfig = 'configs/resnet/resnet50_8xb32_in1k.py'
   fcheckpoint = 'https://download.openmmlab.com/mmclassification/v0/resnet/resnet50_8xb32_in1k_20210831-ea4938fc.pth'
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_model(fconfig, fcheckpoint, device=device)
   result = inference_model(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result)
   

MMCV

MMCV は， OpenMMLab の構成物で，基礎的な機能を提供する．

• 文献:

  MMCV Contributors, MMCV: OpenMMLab Computer Vision Foundation, https://github.com/open-mmlab/mmcv, 2018.

• MMCV の公式ドキュメント: https://mmcv.readthedocs.io/en/latest/

【関連項目】 OpenMMLab

Google Colaboratory での MMCV のインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. NVIDIA CUDA ツールキット のバージョンを確認

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   
3. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   
4. MMCV のインストール

   https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   NVIDIA CUDA ツールキット 11.1, PyTorch 1.10 がインストール済みの場合には，次のようになる

   「cu111/torch1.10」のところは， NVIDIA CUDA ツールキット のバージョン， PyTorch のバージョンに合わせる．

   バージョンについては，公式のページ https://github.com/open-mmlab/mmcv に説明がある．

   !apt remove python3-pycocotools
   !pip3 uninstall -y pycocotools
   !pip3 install mmpycocotools
   !apt install -y python3-terminaltables
   !pip3 uninstall -y opencv-python opencv-contrib-python
   !pip3 install -U opencv-python-headless opencv-contrib-python-headless
   !pip3 install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.10/index.html
   

Windows での MMCV のインストール

インストールの方法は複数ある． ここでは， NVIDIA CUDA ツールキットを使うことも考え， インストールしやすい方法として，ソースコードからビルドしてインストールする方法を案内している．

1. 前準備：事前に Git のインストール , NVIDIA CUDA ツールキットのインストール, PyTorch のインストール, Visual Studio Community のインストール を行う
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   (確認中)
   cd c:\
   rmdir /s /q mmcv
   git clone https://github.com/open-mmlab/mmcv.git
   cd mmcv
   python -m pip install -U -r requirements.txt
   set MMCV_WITH_OPS=1
   python setup.py build_ext
   python setup.py develop
   python -m pip list
   

Ubuntu での MMCV のインストール

Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

sudo python3 -m pip install mmcv-full

MMDetection

MMDetection は， OpenMMLab の構成物で，物体検出の機能を提供する．

• 文献

  Chen, Kai and Wang, Jiaqi and Pang, Jiangmiao and Cao, Yuhang and Xiong, Yu and Li, Xiaoxiao and Sun, Shuyang and Feng, Wansen and Liu, Ziwei and Xu, Jiarui and Zhang, Zheng and Cheng, Dazhi and Zhu, Chenchen and Cheng, Tianheng and Zhao, Qijie and Li, Buyu and Lu, Xin and Zhu, Rui and Wu, Yue and Dai, Jifeng and Wang, Jingdong and Shi, Jianping and Ouyang, Wanli and Loy, Chen Change and Lin, Dahua, MMDetection: Open MMLab Detection Toolbox and Benchmark, arXiv:1906.07155, 2019.

• MMDetection の公式ドキュメント: https://mmdetection.readthedocs.io
• MMDetection の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmdetection/blob/master/demo/MMDet_Tutorial.ipynb MMDetection の公式の学習済みモデル: https://github.com/open-mmlab/mmdetection/blob/master/docs/en/model_zoo.md

【関連項目】 OpenMMLab, MMCV, 物体検出

Google Colaboratory で，MMDetection による物体検出の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. MIM のインストール

   !pip3 install openmim
   
2. MMCV, MMDetection のインストール．

   https://github.com/open-mmlab/mmdetection/blob/master/docs/en/get_started.md に記載の手順による

   !pip3 uninstall -y opencv-python opencv-contrib-python
   !pip3 install opencv-python-headless opencv-contrib-python-headless
   !mim install mmdet
   
3. MMDetection のソースコード等のダウンロード

   あとで使用する

   !git clone https://github.com/open-mmlab/mmdetection.git
   %cd mmdetection
   
4. 物体検出の実行

   import torch
   from mmdet.apis import inference_detector, init_detector, show_result_pyplot
   fimg = 'demo/demo.jpg'
   fconfig = 'configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py'
   fcheckpoint = 'https://download.openmmlab.com/mmdetection/v2.0/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth'
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_detector(fconfig, fcheckpoint, device=device)
   result = inference_detector(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result, score_thr=0.3) 
   

Windows での MMDetection のインストール

インストールの方法は複数ある． ここでは， NVIDIA CUDA ツールキットを使うことも考え， インストールしやすい方法として，ソースコードからビルドしてインストールする方法を案内している．

1. 前準備：事前に Git のインストール , MMCV のインストール, NVIDIA CUDA ツールキットのインストール, Python のインストール, PyTorch のインストール, Visual Studio Community のインストール を行う
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   「git checkout v2.14.0」は，バージョン 2.14.0 を指定している． これは，https://mmdetection3d.readthedocs.io/en/latest/getting_started.html#installation での2021/08 時点の説明による．将来はバージョン番号が変わる可能性があり，このページを確認してから，インストールを行うこと．

   cd c:\
   git clone https://github.com/open-mmlab/mmdetection.git
   cd mmdetection
   git checkout v2.14.0
   python -m pip install -r requirements\build.txt
   python setup.py develop
   python -m pip install instaboostfast
   # for panoptic segmentation
   python -m pip install git+https://github.com/cocodataset/panopticapi.git
   # for LVIS dataset
   python -m pip install git+https://github.com/lvis-dataset/lvis-api.git
   

3. 動作確認
4. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   cd c:\mmdetection
   mkdir checkpoints
   cd checkpoints
   curl -O https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth
   

5. 次の Python プログラム（https://mmdetection.readthedocs.io/en/latest/get_started.html# のものを書き換えて使用）

   カレントディレクトリをc:\mmdetection にして実行すること．

   import torch
   from mmdet.apis import init_detector, inference_detector
   config_file = 'configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py'
   checkpoint_file = 'checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth'
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_detector(config_file, checkpoint_file, device=device)
   inference_detector(model, 'demo/demo.jpg')
   

6. エラーメッセージが出ないことを確認．

Ubuntu での MMDetection のインストール

1. インストール

   「git checkout v2.14.0」は，バージョン 2.14.0 を指定している． これは，https://mmdetection3d.readthedocs.io/en/latest/getting_started.html#installation での2021/08 時点の説明による．将来はバージョン番号が変わる可能性があり，このページを確認してから，インストールを行うこと．

   Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

   sudo apt -y update
   sudo apt -y install git
   cd /usr/local
   sudo git clone https://github.com/open-mmlab/mmdetection.git
   sudo chown -R $USER mmdetection
   cd mmdetection
   git checkout v2.14.0
   sudo pip3 install -r requirements\build.txt
   python3 setup.py develop
   pip3 install instaboostfast
   # for panoptic segmentation
   pip3 install git+https://github.com/cocodataset/panopticapi.git
   # for LVIS dataset
   pip3  install git+https://github.com/lvis-dataset/lvis-api.git
   

2. 動作確認

   Ubuntu の場合は， mmcv のドキュメント: https://mmcv.readthedocs.io/en/latest/ の手順がそのまま使えそうである．

MMSegmentation

MMSegmentation は， OpenMMLab の構成物で，物体検出の機能を提供する．

• 文献

  MMSegmentation Contributors, MMSegmentation: OpenMMLab Semantic Segmentation Toolbox and Benchmark, https://github.com/open-mmlab/mmsegmentation, 2020.

• MMSegmentation の公式ドキュメント: https://mmsegmentation.readthedocs.io
• MMSegmentation の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmsegmentation/blob/master/demo/MMSegmentation_Tutorial.ipynb
• MMSegmentation の公式の学習済みモデル: https://mmsegmentation.readthedocs.io/en/latest/model_zoo.html

【関連項目】 OpenMMLab, MMCV

Google Colaboratory での MMSegmentation のインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. NVIDIA CUDA ツールキット のバージョンを確認

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   
3. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   
4. MMCV のインストール

   https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   NVIDIA CUDA ツールキット 11.1, PyTorch 1.10 がインストール済みの場合には，次のようになる

   「cu111/torch1.10」のところは， NVIDIA CUDA ツールキット のバージョン， PyTorch のバージョンに合わせる．

   バージョンについては，公式のページ https://github.com/open-mmlab/mmcv に説明がある．

   !apt remove python3-pycocotools
   !pip3 uninstall -y pycocotools
   !pip3 install mmpycocotools
   !apt install -y python3-terminaltables
   !pip3 uninstall -y opencv-python opencv-contrib-python
   !pip3 install -U opencv-python-headless opencv-contrib-python-headless
   !pip3 install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.10/index.html
   
5. MMSegmentation のインストール

   !git clone https://github.com/open-mmlab/mmsegmentation.git
   %cd mmsegmentation
   !python3 setup.py develop
   
6. セグメンテーションの実行

   import torch
   from mmseg.apis import inference_segmentor, init_segmentor, show_result_pyplot
   import mmcv
   fimg = 'demo/demo.png'
   fconfig = 'configs/pspnet/pspnet_r50-d8_512x1024_40k_cityscapes.py'
   fcheckpoint = 'https://openmmlab.oss-accelerate.aliyuncs.com/mmsegmentation/v0.5/deeplabv3/deeplabv3_r50-d8_512x1024_40k_cityscapes/deeplabv3_r50-d8_512x1024_40k_cityscapes_20200605_022449-acadc2f8.pth'
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_segmentor(fconfig, fcheckpoint, device=device)
   result = inference_segmentor(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result, opacity=0.5)
   

Windows での MMSegmentation のインストール

インストールの方法は複数ある． ここでは， NVIDIA CUDA ツールキットを使うことも考え， インストールしやすい方法として，ソースコードからビルドしてインストールする方法を案内している．

1. 前準備：事前に Git のインストール , MMCV のインストール, NVIDIA CUDA ツールキットのインストール, Python のインストール, PyTorch のインストール, Visual Studio Community のインストール を行う
2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   「git checkout v0.14.1」は，バージョン 0.14.1 を指定している． これは，https://mmdetection3d.readthedocs.io/en/latest/getting_started.html#installation での2021/08 時点の説明による．将来はバージョン番号が変わる可能性があり，このページを確認してから，インストールを行うこと．

   cd c:\
   git clone https://github.com/open-mmlab/mmsegmentation.git
   cd mmsegmentation
   git checkout v0.14.1
   python setup.py develop
   

3. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   CityScapes データセットを用いての事前学習済みモデルを使用している．

   cd c:\mmsegmenation
   mkdir checkpoints
   cd checkpoints
   curl -O https://openmmlab.oss-accelerate.aliyuncs.com/mmsegmentation/v0.5/deeplabv3/deeplabv3_r50-d8_512x1024_40k_cityscapes/deeplabv3_r50-d8_512x1024_40k_cityscapes_20200605_022449-acadc2f8.pth
   

4. 次の Python プログラム（https://mmsegmentation.readthedocs.io/en/latest/get_started.html# のものを書き換えて使用）

   CityScapes データセット

   カレントディレクトリをc:\segmentation にして実行すること．

   import torch
   from mmseg.apis import inference_segmentor, init_segmentor
   import mmcv
   config_file = 'configs/pspnet/pspnet_r50-d8_512x1024_40k_cityscapes.py'
   checkpoint_file = 'checkpoints/pspnet_r50-d8_512x1024_40k_cityscapes_20200605_003338-2966598c.pth'
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_segmentor(config_file, checkpoint_file, device=device)
   img = 'test.jpg'  # or img = mmcv.imread(img), which will only load it once
   result = inference_segmentor(model, img)
   model.show_result(img, result, show=True)
   model.show_result(img, result, out_file='result.jpg', opacity=0.5)
   video = mmcv.VideoReader('video.mp4')
   for frame in video:
      result = inference_segmentor(model, frame)
      model.show_result(frame, result, wait_time=1)
   

   エラーメッセージが出ないことを確認．

Ubuntu での MMSegmentation のインストール

1. インストール

   「git checkout v0.14.1」は，バージョン 0.14.1 を指定している． これは，https://mmdetection3d.readthedocs.io/en/latest/getting_started.html#installation での2021/08 時点の説明による．将来はバージョン番号が変わる可能性があり，このページを確認してから，インストールを行うこと．

   Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

   sudo apt -y update
   sudo apt -y install git
   cd /usr/local
   sudo git clone https://github.com/open-mmlab/mmsegmentation.git
   sudo chown -R $USER mmsegmentation
   cd mmsegmentation
   git checkout v0.14.1
   python3 setup.py develop
   

2. 動作確認

   Ubuntu の場合は， MMCV のドキュメント: https://mmsegmentation.readthedocs.io/en/latest/get_started.html#verification の手順がそのまま使えそうである．

MMSegmentation3D

Google Colaboratory でのインストールは，次のような手順になるようである（未確認）．

%cd /content
!git clone https://github.com/open-mmlab/mmdetection3d.git
%cd mmdetection3d
!pip3 install importlib-metadata==4.2
!python3 setup.py develop
!apt install -y python3-numba
%cd mmdetection3d
!python3 demo/pcd_demo.py demo/data/kitti/kitti_000008.bin configs/second/hv_second_secfpn_6x8_80e_kitti-3d-car.py checkpoints/hv_second_secfpn_6x8_80e_kitti-3d-car_20200620_230238-393f000c.pth

MMSelfSup

MMSelfSup は， OpenMMLab の構成物で， Self-Supervised Representation Learning の機能を提供する．

• 文献

  MMSelfSup Contributors, MMSelfSup: OpenMMLab Self-Supervised Learning Toolbox and Benchmark, https://github.com/open-mmlab/mmselfsup, 2021.

• MMTracking の公式ドキュメント: https://mmselfsup.readthedocs.io/en/latest/
• MMTracking の公式の getting started: https://github.com/open-mmlab/mmselfsup/blob/master/docs/en/getting_started.md MMTracking の公式の学習済みモデル: https://github.com/open-mmlab/mmselfsup/blob/master/docs/en/model_zoo.md

【関連項目】 MMCV, MMDetection, MMSegmentation, OpenMMLab, Self-Supervised Representation Learning, 物体検出

Google Colaboratory で，MMSelfSup による

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

MMSelfSup のインストール（公式ページ）: https://github.com/open-mmlab/mmselfsup/blob/master/docs/en/install.md

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. MIM のインストール

   !pip3 install openmim
   
3. MMCV, MMDetection のインストール．

   https://github.com/open-mmlab/mmdetection/blob/master/docs/en/get_started.md に記載の手順による

   !pip3 uninstall -y opencv-python opencv-contrib-python
   !pip3 install opencv-python-headless opencv-contrib-python-headless
   !mim install mmdet
   
4. MMSegmentation のインストール

   !git clone https://github.com/open-mmlab/mmsegmentation.git
   %cd mmsegmentation
   !python3 setup.py develop
   
5. MMSelfSup のインストール

   %cd /content
   !git clone https://github.com/open-mmlab/mmselfsup.git
   %cd mmselfsup
   !python3 setup.py develop
   
6. インストールできたことの確認

   公式ページ https://github.com/open-mmlab/mmselfsup/blob/master/docs/en/install.md に記載のプログラムを実行してみる．

   エラーメッセージが出なければ OK．

   import torch
   from mmselfsup.models import build_algorithm
   model_config = dict(
       type='Classification',
       backbone=dict(
           type='ResNet',
           depth=50,
           in_channels=3,
           num_stages=4,
           strides=(1, 2, 2, 2),
           dilations=(1, 1, 1, 1),
           out_indices=[4],  # 0: conv-1, x: stage-x
           norm_cfg=dict(type='BN'),
           frozen_stages=-1),
       head=dict(
           type='ClsHead', with_avg_pool=True, in_channels=2048,
           num_classes=1000))
   model = build_algorithm(model_config).cuda()
   image = torch.randn((1, 3, 224, 224)).cuda()
   label = torch.tensor([1]).cuda()
   loss = model.forward_train(image, label)
   print(loss)
   

MMTracking

MMTracking は， OpenMMLab の構成物で，トラッキングビジョンの機能を提供する．

• MMTracking の公式ドキュメント: https://mmtracking.readthedocs.io/en/latest/
• MMTracking の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmtracking/tree/master/docs/en/tutorials MMTracking の公式の学習済みモデル: OpenMMLab, MMCV, MMDetection, 物体検出

  Google Colaboratory で，MMTracking によるトラッキングの実行

  次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

  1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
  2. MIM のインストール

     !pip3 install openmim
     
  3. MMCV, MMDetection のインストール．

     https://github.com/open-mmlab/mmdetection/blob/master/docs/en/get_started.md に記載の手順による

     !pip3 uninstall -y opencv-python opencv-contrib-python
     !pip3 install opencv-python-headless opencv-contrib-python-headless
     !mim install mmdet
     
  4. MMDetection のソースコード等のダウンロード

     あとで使用する

     !git clone https://github.com/open-mmlab/mmdetection.git
     %cd mmdetection
     
  5. MMTracking のインストール

     !git clone https://github.com/open-mmlab/mmtracking.git
     %cd mmtracking
     !pip3 install -r requirements/build.txt
     !pip3 install -v -e . 
     !pip3 install git+https://github.com/votchallenge/toolkit.git
     
  6. トラッキングの実行

     !python3 demo/demo_mot_vis.py configs/mot/deepsort/sort_faster-rcnn_fpn_4e_mot17-private.py --input demo/demo.mp4 --output mot.mp4
     
  7. 結果の確認

     mot.mp4 というファイルができるので，ダウンロードして表示

  MNIST データセット

  0 から 9 までの 10 種類の手書き文字についての， モノクロ画像と，各画像に付いた「0から9までの数値」のラベルから構成されるデータセットである．

  • 画像の枚数：合計 70000枚．

    （内訳）70000枚の内訳は次の通りである

    60000枚：教師データ

    10000枚：検証データ

  • 画像のサイズ: 28x28 である．
  • 画素はグレースケールであり，画素値は0～255である．

  MNIST データセットは，公開されているデータセット（オープンデータ）である．

  【関連情報】

  • MNIST データセット の詳細は， THE MNIST DATABASE of handwritten digits のページで説明されている．その URL は次の通り．

    http://yann.lecun.com/exdb/mnist/

  • TensorFlow データセットの MNIST データセット: https://www.tensorflow.org/datasets/catalog/mnist

  【関連項目】 Keras に付属のデータセット, Fashion MNIST データセット, TensorFlow データセット, オープンデータ, 画像分類

  Python での MNIST データセットのロード（TensorFlow データセットを使用）

  次の Python プログラムは，TensorFlow データセットから，MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

  • x_train: サイズ 28 × 28 の 60000枚の濃淡画像
  • y_train: 60000枚の濃淡画像それぞれの,種類番号(0 から 9 のどれか)
  • x_test: サイズ 28 × 28 の 10000枚の濃淡画像
  • y_test: 10000枚の濃淡画像それぞれの,種類番号(0 から 9 のどれか)

  次のプログラムでは，x_train と y_train を 25枚分表示することにより，x_train と y_train が，手書き文字のモノクロ画像であることが確認できる．

  tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

  from __future__ import absolute_import, division, print_function, unicode_literals
  import tensorflow.compat.v2 as tf
  tf.enable_v2_behavior()
  print(tf.__version__)
  import numpy as np
  import tensorflow_datasets as tfds
  %matplotlib inline
  import matplotlib.pyplot as plt
  import warnings
  warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
  %matplotlib inline
  import matplotlib.pyplot as plt
  import warnings
  warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
  mnist, mnist_metadata = tfds.load('mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
  x_train, y_train, x_test, y_test = mnist['train'][0], mnist['train'][1], mnist['test'][0], mnist['test'][1]
  plt.style.use('default')
  plt.figure(figsize=(10,10))
  for i in range(25):
      plt.subplot(5,5,i+1)
      plt.xticks([])
      plt.yticks([])
      plt.grid(False)
  # squeeze は，サイズ1の次元を削除．numpy は tf.Tensor を numpy に変換
      plt.imshow(np.squeeze(x_train[i]), cmap=plt.cm.binary)
      plt.xlabel(y_train[i].numpy())
  # 確認表示
  plt.show()
  

  TensorFlow データセットからのロード，学習のための前処理

  【TensorFlow データセット から MNIST データセット をロード】

  結果は，TensorFlow の Tensor である．

  type は型，shape はサイズ，np.max と np.mi は最大値と最小値．

  tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

  from __future__ import absolute_import, division, print_function, unicode_literals
  import tensorflow.compat.v2 as tf
  tf.enable_v2_behavior()
  print(tf.__version__)
  import numpy as np
  import tensorflow_datasets as tfds
  %matplotlib inline
  import matplotlib.pyplot as plt
  import warnings
  warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
  # MNIST データセットのロード
  mnist, mnist_metadata = tfds.load('mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
  x_train, y_train, x_test, y_test = mnist['train'][0], mnist['train'][1], mnist['test'][0], mnist['test'][1]
  print(mnist_metadata)
  # 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 〜 255 であるのを，0 〜 1 に調整）】
  x_train = x_train.numpy().astype("float32") / 255.0
  x_test = x_test.numpy().astype("float32") / 255.0
  y_train = y_train.numpy()
  y_test = y_test.numpy()
  print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
  print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
  print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
  print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))
  

  Python での MNIST データセットのロード（Keras を使用）

  次の Python プログラムは，Keras に付属のデータセットの中にある MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

  • x_train: サイズ 28 × 28 の 60000枚の濃淡画像
  • y_train: 60000枚の濃淡画像それぞれの,種類番号(0 から 9 のどれか)
  • x_test: サイズ 28 × 28 の 10000枚の濃淡画像
  • y_test: 10000枚の濃淡画像それぞれの,種類番号(0 から 9 のどれか)

  from tensorflow.keras.datasets import mnist
  (x_train, y_train), (x_test, y_test) = mnist.load_data()
  

  次のプログラムは、MNIST データセットのロードを行う．x_train と y_train を 25枚分表示することにより，x_train と y_train が，手書き文字のモノクロ画像であることが確認できる．

  import tensorflow.keras
  from tensorflow.keras.datasets import mnist
  %matplotlib inline
  import matplotlib.pyplot as plt
  import warnings
  warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
  # MNIST データセットのロード
  (x_train, y_train), (x_test, y_test) = mnist.load_data()
  plt.style.use('default')
  plt.figure(figsize=(10,10))
  for i in range(25):
      plt.subplot(5,5,i+1)
      plt.xticks([])
      plt.yticks([])
      plt.grid(False)
      plt.imshow(x_train[i], cmap=plt.cm.binary)
      plt.xlabel(y_train[i])
  # 確認表示
  plt.show()
  

  MobileFaceNets

  顔検証 (face verification) を，その当時の従来の mobile networks よりも高速で高精度で実行できるとされている．

  InsightFace などで実装されている．

  • 文献

    Sheng Chen, Yang Liu, Xiang Gao, Zhen Han, MobileFaceNets: Efficient CNNs for Accurate Real-Time Face Verification on Mobile Devices, CCBR 2018, also CoRR, abs/1804.07573v, 2018. https://arxiv.org/ftp/arxiv/papers/1804/1804.07573.pdf

  【関連項目】 InsightFace, 顔検証 (face verification), 顔に関する処理

  MobileNetV2

  MobileNet は，separable convolution を特徴としている．ResNet の高速化が達成できたとされている．

  MobileNetV2 は，conv 1x1, depthsise conv, conv 1x1 を特徴としている．高速化が達成できたとされている．

  MobileNetV2 は、ディープラーニングでの画像分類などの高速化、精度向上のため Depthwise Separable Convolution　という考え方が導入されていることが特徴である．

  • Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, Liang-Chieh Chen, MobileNetV2: Inverted Residuals and Linear Bottlenecks, CVPR 2018

    https://arxiv.org/pdf/1801.04381v4.pdf

  Keras の MobileNetV2 を用いて MobileNetV2 を作成するプログラムは次のようになる． 「weights=None」を指定することにより，最初，重みをランダムに設定する．

  【Keras のプログラム】

  Keras の応用のページ: https://keras.io/ja/applications/

  from tensorflow.keras.applications.mobilenet_v3 import MobileNetV3
  m = MobileNetV3(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
  

  【サイト内の関連ページ】

  • MobileNetv2 を使い，Windows のパソコンや Google Colab などで画像分類することについては， 次のページで説明している．

    https://www.kkaneko.jp/db/imclassify/cnncifar10.html

  【関連項目】 画像分類, モデル

  MobileNetV3

  • 文献

    Andrew Howard, Mark Sandler, Grace Chu, Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, Quoc V. Le, Hartwig Adam, Searching for MobileNetV3, ICCV 2019

    https://arxiv.org/pdf/1905.02244v5.pdf

  • Papers With Code の MobileNetV3 のページ: https://paperswithcode.com/paper/searching-for-mobilenetv3
  • TensorFlow のモデルガーデン (model garden): https://github.com/tensorflow/models
  • Google Colaboratory のページ: https://colab.research.google.com/github/tensorflow/models/blob/master/research/deeplab/deeplab_demo.ipynb
  • DeepLab のページ: https://github.com/tensorflow/models/tree/master/research/deeplab

  関連項目: 画像分類

  【関連項目】 モデル, 画像分類

  PyTorch, torchvision の MobileNetV3 large 学習済みモデルのロード，画像分類のテスト実行

  Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

  1. 前準備

     前準備として，Python のインストール, PyTorch のインストール を行う．

     Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

     次に，pip を用いて，pillow のインストールを行う．

     pip install -U pillow
     

  2. ImageNet データセット で学習済みのMobileNetV3 モデルのロード

     PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

     import torch
     import torchvision.models as models
     device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
     m = models.mobilenet_v3_large(pretrained=True).to(device)
     

  3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

     from PIL import Image
     import requests
     from IPython.display import display
     # ダウンロードとロード
     url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
     response = requests.get(url)
     img = Image.open(requests.get(url, stream=True).raw)
     # 確認表示
     display(img)
     
  4. 画像の前処理．PyTorch で扱えるようにするため．

     from PIL import Image
     from torchvision import transforms
     img = Image.open(filename)
     preprocess = transforms.Compose([
         transforms.Resize(256),
         transforms.CenterCrop(224),
         transforms.ToTensor(),
         transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
     ])
     input_tensor = preprocess(img)
     input_batch = input_tensor.unsqueeze(0)
     

  5. 推論 (inference) の実行

     「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

     import torch
     if torch.cuda.is_available():
         input_batch = input_batch.to('cuda')
     m.eval()
     with torch.no_grad():
         output = m(input_batch)
     

  6. 結果の表示

     import urllib
     url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
     try: urllib.URLopener().retrieve(url, filename)
     except: urllib.request.urlretrieve(url, filename)
     with open("imagenet_classes.txt", "r") as f:
         categories = [s.strip() for s in f.readlines()]
     # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
     probabilities = torch.nn.functional.softmax(output[0], dim=0)
     print(probabilities)
     top5_prob, top5_catid = torch.topk(probabilities, 5)
     for i in range(top5_prob.size(0)):
         print(categories[top5_catid[i]], top5_prob[i].item())
     

     Google Colaboratory での結果

     Windows での結果

     Linux での結果

  MPII Human Pose データセット

  MPII Human Pose データセット は， 人体全身の画像と姿勢のデータセットである． ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

  40,000人以上の人間を含む約25,000枚の画像が含まれている． （28,000 が訓練データ，11,000 が検証データである）． 画像のアノテーションが行われている． 410 種類の人間の活動を網羅している． 各画像については，活動名のラベルが付いている． 画像はYouTubeの動画から抽出されたものである． テストデータセットでは，体のオクルージョン，胴体や頭の３次元での向きなど， より豊富なアノテーションが行われている．

  次の URL で公開されているデータセット（オープンデータ）である．

  URL: http://human-pose.mpi-inf.mpg.de/

  ライセンス: BSD ライセンス．利用条件等は，利用者で確認すること．

  【関連情報】

  • 2D Human Pose Estimation: New Benchmark and State of the Art Analysis, CVPR 2014, Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, Bernt Schiele.

    https://openaccess.thecvf.com/content_cvpr_2014/papers/Andriluka_2D_Human_Pose_2014_CVPR_paper.pdf

  • Papers With Code の MPII Human Pose データセットのページ: https://paperswithcode.com/dataset/cifar-10
  • open-mmlab の記事: https://github.com/open-mmlab/mmpose/blob/master/docs/en/tasks/2d_body_keypoint.md#mpii
  次により c:\data\mpii にダウンロードされる．アノテーションファイルもダウンロードされる．

  mkdir c:\data
  mkdir c:\data\mpii
  cd c:\data\mpii
  curl -O https://datasets.d2.mpi-inf.mpg.de/andriluka14cvpr/mpii_human_pose_v1_u12_2.zip
  "c:\Program Files\7-Zip\7z.exe" x mpii_human_pose_v1_u12_2.zip
  curl -O https://datasets.d2.mpi-inf.mpg.de/andriluka14cvpr/mpii_human_pose_v1.tar.gz
  "c:\Program Files\7-Zip\7z.exe" x mpii_human_pose_v1.tar.gz
  mkdir images
  cd images
  "c:\Program Files\7-Zip\7z.exe" x ..\mpii_human_pose_v1.tar
  

  Mykhaylo Andriluka and Leonid Pishchulin and Peter Gehler and Schiele, Bernt, 2D Human Pose Estimation: New Benchmark and State of the Art Analysis, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, https://openaccess.thecvf.com/content_cvpr_2014/papers/Andriluka_2D_Human_Pose_2014_CVPR_paper.pdf

  MS1M データセット

  MS-Celeb-1M データセット を洗浄 (clean) したデータ． 画像サイズは 112x112． RetinaFace を用いて推定された，5点の顔ランドマーク (facial landmark)が付いている．

  人物数は 94,682 (94,682 identities), 画像数は 6,464,018 枚 (6,464,018 images)

  次の URL で公開されているデータセット（オープンデータ）である．

  https://github.com/EB-Dodo/C-MS-Celeb

  【関連項目】 InsightFace, MS-Celeb-1M データセット, RetinaFace, 顔のデータベース, 顔ランドマーク (facial landmark), 顔検出 (face detection)

  MS-Celeb-1M データセット

  MS-Celeb-1M は，顔のデータセット． このデータセットは，公開が撤回されている．

  人物数は約 100,000 (100K identities), 画像数は約 8,000,000 枚 (8M images)

  • 文献

    Yandong Guo, Lei Zhang, Yuxiao Hu, Xiaodong He, and Jianfeng Gao, MS-Celeb-1M: A Dataset and Benchmark for Large-Scale Face Recognition, In ECCV, 2016. arXiv:1607.08221

  • URL: https://exposing.ai/msceleb/
  • Papers with Code のページ: https://paperswithcode.com/paper/ms-celeb-1m-a-dataset-and-benchmark-for-large
  • InsightFace のページ: https://github.com/deepinsight/insightface

  【関連項目】 C-MS-Celeb Cleaned データセット ， InsightFace, 顔のデータベース, 顔検出 (face detection)

  MUCT 顔データベース

  MUCT 顔データベースは，3755名の顔のデータベース．手作業で 76個の顔ランドマーク (facial landmark)が付けらている．

  MUCT 顔データベースは次の URL で公開されているデータセット（オープンデータ）である．

  URL: https://www.cs.columbia.edu/CAVE/software/curet/html/about.php

  URL: http://www.milbo.org/muct/index.html

  S. Milborrow and J. Morkel and F. Nicolls, The MUCT Landmarked Face Database, Pattern Recognition Association of South Africa, 2010.

  次の手順でダウンロードできる．

  1. Git のインストール
  2. ダウンロード操作

     git clone https://github.com/StephenMilborrow/muct
     

  【関連項目】 顔のデータベース, 顔ランドマーク (facial landmark)

  Multi-PIE の 顔の 68 ランドマーク

  顔の 68 ランドマーク は，顔ランドマーク (facial landmark)の一種であり，68 組の数値で構成されている．68 組のそれぞれは，(x, y) 座標値である．

  • 文献

    R. Gross, I. Matthews, J. Cohn, T. Kanade, and S. Baker, Multi-pie, Image and Vision Computing, 28(5):807–813, 2010.

    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2873597/

  【関連項目】 顔の 68 ランドマーク の検出, 顔ランドマーク (facial landmark)

  Multi View Stereo

  Multi View Stereo は，オブジェクトの低密度の３次元点群と，オブジェクトを周囲から撮影した多数の画像から，高密度の３次元点群を生成する．

  【関連用語】 3次元再構成 (3D reconstruction), meshroom, OpenMVS, Structure from Motion

  NASNet

  Keras の NASNet を用いて NASNet を作成するプログラムは次のようになる． 「weights=None」を指定することにより，最初，重みをランダムに設定する．

  【Keras のプログラム】

  m = tf.keras.applications.nasnet.NASNetMobile(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
  

  CoRR, abs/1707.07012

  Keras の応用のページ: https://keras.io/ja/applications/

  【関連項目】 モデル, 画像分類

  Nesterov モメンタム

  参考文献: http://www.cs.toronto.edu/~fritz/absps/momentum.pdf

  NumPy

  NumPy は，オープンソースの Python のライブラリ．数値計算，行列の機能を持つ．

  配列では，添え字が複数になる． 下に，Python の numpy 配列のコンストラクタの例を示す．

  import numpy as np
  M = np.array([[1, 2, 3], [4, 5, 6]])
  print(M)
  print(M[0,], M[1,])
  print(M[1,0], M[1,1], M[1,2])
  

  numpy 配列の形は shape 属性である． numpy 配列の次元は ndim 属性である．

  import numpy as np
  a = np.array([8,5,4,1,3])
  print( a.shape )
  print( a.ndim )
  print(a)
  x = np.array([[1,2,3,4], [10,20,30,40], [100,200,300,400]])
  print( x.shape )
  print( x.ndim )
  print(x)
  

  Windows での NumPy のインストール

  Windows での numpy のインストールは， コマンドプロンプトを管理者として実行し， 次のコマンドを実行．

  python -m pip install -U numpy
  

  Ubuntu での NumPy のインストール

  Ubuntu での numpy のインストールは， 次のコマンドで行う．

  sudo apt -y update
  sudo apt -y install python3-numpy
  

  Nteract

  Nteractは，Pythonなどのプログラムのソースコード，実行結果などを１つのノートとして残す機能をもったノートブック．

  Nteract について：別ページ で説明している．  

  NVIDIA CUDA ツールキット，NVIDIA cuDNN

  NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のプラットフォームである．

  GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある． NVIDIA 社のグラフィックスボードが持つ GPU の機能を使うとき，NVIDIA CUDA ツールキット を利用することができる．

  Windows での NVIDIA CUDA ツールキット，NVIDIA cuDNN のインストール

  NVIDIA CUDA ツールキットのインストールは，公式ページからインストール用のプログラムをダウンロードして実行． NVIDIA cuDNN は，公式ページから ZIP ファイルをダウンロード，展開（解凍）し，パスを通す．

  【サイト内の関連ページ】

  • Windows での NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.5，NVIDIA cuDNN 8.3 のインストール: 別ページで説明している．
  • Windows での NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 10.0，NVIDIA cuDNN 7.6.5 のインストール: 別ページで説明している．

  関連 Web ページ

  • NVIDIA グラフィックスドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
  • NVIDIA CUDA ツールキットの URL: https://developer.nvidia.com/cuda-toolkit-archive
  • NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn から cuDNN を入手

  Ubuntu での NVIDIA CUDA ツールキット，NVIDIA cuDNN のインストール

  Ubuntu でのインストールは，次のページで説明している．

  • NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.4，NVIDIA cuDNN 8 のインストール（Ubuntu 上）: 別ページで説明している．

  NVIDIA CUDA ツールキット のバージョンは何でも良いと言う場合には，apt を用いて，次の操作でインストールすることができる． Ubuntu 20.04 バージョン 10.1 がインストールされる．

  sudo apt -y update
  sudo apt -y install nvidia-cuda-dev nvidia-cuda-toolkit nvidia-cuda-toolkit-gcc
  

  NVIDIA CUDA ツールキット，NVIDIA cuDNN の動作確認など

  NVIDIA CUDA ツールキット，NVIDIA cuDNN については，次で情報を得ることができる．

  1. パソコンに載っているグラフィックスボードが，NVIDIA CUDA ツールキット ，NVIDIA cuDNN 対応のものかを確認

     次の公式ページを活用できる

     https://developer.nvidia.com/cuda-gpus#compute

  2. グラフィックスボードドライバのバージョンは，nvidia-smi コマンドで確認できる．
  3. 次により TensorFlow を実際に動かし，TensorFlow から GPU を利用できているかを確認できる．

     Windows の場合は，コマンドプロンプトを管理者として実行し，次のコマンドを実行．

     python -m pip install tensorflow
     python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
     

     Ubuntu のシステム Python を使う場合は，次のコマンドを実行

     sudo pip3 install tensorflow
     python3 -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
     

  Objectron

  Objectron は，3次元姿勢推定 (3D pose estimation) の機能を持つ． Objectron は，次の公式ページで，プログラムとデータセットが配布されている．

  https://github.com/google-research-datasets/Objectron

  次は，Objectron の動作画面．

  Objectron は，Google Colaboratory で動かすことができる． Google Colaboratory で動かすときは，コードセルに，次の３行を張り付けて実行． あとは，公式ページのプログラムのコピー＆ペーストで動く．

  !pip3 install frozendict
  !git clone --recursive https://github.com/google-research-datasets/Objectron
  %cd Objectron
  

  【関連項目】 3次元姿勢推定 (3D pose estimation)

  Objects365 データセット

  Objects365 データセットは，アノテーション済みの画像である． 機械学習での物体検出 の学習や検証に利用できるデータセット．

  • 60,000枚の画像
  • 365の物体カテゴリ
  • オブジェクト検出結果をアノテーションした，1,000万個以上のバウンディングボックス

  Objects365 データセットは次の URL で公開されているデータセット（オープンデータ）である．

  https://www.objects365.org/overview.html

  【関連情報】

  • Objects365: A Large-Scale, High-Quality Dataset for Object Detection, ICCV 2019, Shuai Shao, Zeming Li, Tianyuan Zhang, Chao Peng, Gang Yu, Xiangyu Zhang, Jing Li, Jian Sun

    https://openaccess.thecvf.com/content_ICCV_2019/papers/Shao_Objects365_A_Large-Scale_High-Quality_Dataset_for_Object_Detection_ICCV_2019_paper.pdf

  • Papers With Code の Places365 データセットのページ: https://paperswithcode.com/dataset/objects365

  one-hot エンコーディング

  one-hot エンコーディング (one-hot encodinng は，クラス番号を，長さがクラス数であるような数値ベクトルで，うち，1つだけが 1，残りが全て 0 になっているようなベクトルで表すこと． 1-of-k representation ともいう． クラス番号が 0, 1, 2, 3 の 4通りであるとき，one hot 表現では [1 0 0 0] [0 1 0 0] [0 0 1 0] [0 0 0 1] のように表す． Keras では，クラス番号を one hot 表現に変換するとき to_categorical 関数を用いる．

  from tensorflow.keras.utils.np_utils import to_categorical
  print( to_categorical(0, 4) )
  print( to_categorical(1, 4) )
  print( to_categorical(2, 4) )
  print( to_categorical(3, 4) )
  

  次の Python プログラムは，Iris データセットのロードを行う．配列 X, y にロードしている． その後，訓練用データと検証用データへの分割と，one-hot エンコーディングを行っている． 確認表示で display を用いている．

  import pandas as pd
  import sklearn.model_selection
  from sklearn.datasets import load_iris
  import tensorflow as tf
  from IPython.display import display
  iris = load_iris()
  x = iris.data
  y = iris.target
  x_train, x_test, y_train, y_test = sklearn.model_selection.train_test_split(x.reshape(x.shape[0], -1), y, train_size=0.5) 
  y_train = tf.keras.utils.to_categorical(y_train)
  y_test = tf.keras.utils.to_categorical(y_test)
  display(x_train)
  display(y_train)
  

  one-way ANOVA (One-way analysis of variance)

  帰無仮説: パラメトリック検定．等分散である多群の検定．平均に差がない．

  R システム で， one-way ANOVA (One-way analysis of variance) を行うプログラム．

  one-way (一元配置) と言っているように， x は必ず 1 つの数値である． y は 1つの数値（カテゴリカル変数など）である．

  anova(aov(x ~ y))
  

  【関連項目】 検定

  ONNX

  Windows での ONNX のインストール

  ONNX のインストールは，複数の方法がある．

  ここでは， vcpkg を使う方法を使う方法を説明する．

  1. 事前にvcpkg のインストールを行っておく．
  2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

     c:\vcpkg\vcpkg search onnx
     c:\vcpkg\vcpkg install onnx[pybind11]:x64-windows
     c:\vcpkg\vcpkg install onnxruntime-gpu:x64-windows
     python -m pip install -U onnxruntime
     

  3. （GPU を使い場合に限り）onnxruntime-gpu のインストール

     コマンドプロンプトを管理者として実行し，次のコマンドを実行．

  4. システムの環境変数 Path に，次を加える．

     c:\vcpkg\installed\x64-windows\bin
     

  Open3D

  Open3D は，３次元データに関する種々の機能を Python, C から扱うことができるソフトウエア．３次元再構成，サーフェスのアラインメント，可視化，PBR，３次元データに関する機械学習の機能を持つ．

  インストール手順

  • Windows の場合

    まず，Python 3.6 あるいは 3.7 あるいは 3.8 をインストール．

    次に，コマンドプロン プトを管理者として実行する． 次のコマンドを実行

    python -m pip install open3d
    python -c "import open3d; print(open3d.__version__)"
    

  Open 3D Engine

  Open 3D Engine は，オープンソースの３次元ゲームエンジン．Amazon の Amazon Lumberyard の後継である．

  o3de の URL: https://github.com/o3de/o3de

  Windows での Open 3D Engine のインストール: 別ページで説明している．

  OpenBLAS

  BLAS(Basic Linear Algebra Subprograms)は，行列演算，ベクトル演算の機能をもったプログラム群である．

  OpenBLAS の Web ページ: https://www.openblas.net/

  【関連項目】 LAPACK

  Windows での OpenBLAS のインストール

  OpenBLAS のインストールは，複数の方法がある．

  • vcpkg を使う．ここで説明している．
  • ソースコードからビルドして，インストールする．その詳細は: 別ページで説明している．

  ここでは， vcpkg を使う方法を説明する．

  1. 事前にvcpkg のインストールを行っておく．
  2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

     c:\vcpkg\vcpkg search openblas
     c:\vcpkg\vcpkg install openblas[threads]:x64-windows
     

  3. システムの環境変数 Path に，次を加える．

     c:\vcpkg\installed\x64-windows\bin
     

  Ubuntu での OpenBLAS のインストール

  Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

  sudo apt -y update
  sudo apt -y install libopenblas-dev liblapack-dev
  

  OpenCV

  OpenCV は，実時間コンピュータビジョン (real time computer vision) の アルゴリズムと文書とサンプルコードの集まり．

  GitHub の OpenCV のページ: https://github.com/opencv/opencv/releases

  【サイト内の関連資料や関連ページ】

  • OpenCV について [PDF] , [パワーポイント]
  • OpenCV の機能とプログラム例は，別ページにまとめている．
  • Windows での OpenCV のインストール: 別ページで説明している．
  • Windows での OpenCV と OpenCV Contribu の最新版のインストール（ソースコードを使用）: 別ページで説明している．

  【関連項目】 OpenCV のサンプルデータ

  Windows での OpenCV のインストール

  OpenCV のインストールは，複数の方法がある．

  • vcpkg を使う．ここで説明している．
  • 公開されているパッケージを使う．ここで説明している．その詳細は: 別ページで説明している．
  • ソースコードからビルドして，インストールする．その詳細は: 別ページで説明している．公式ページhttps://docs.opencv.org/4.5.2/d3/d52/tutorial_windows_install.html に説明がある．

  ここでは， vcpkg を使う方法と， 公開されているパッケージを使う方法を説明する．

  • vcpkg を使う方法

    こちらの方法は，OpenCV の Python インタフェースのインストール法が私には分からなかったので， Python インタフェースが不要な場合向けです．

    1. 事前にvcpkg のインストールを行っておく．
    2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

       c:\vcpkg\vcpkg search opencv
       c:\vcpkg\vcpkg install opencv[contrib,cuda,cudnn,eigen,ffmpeg,jpeg,lapack,opengl,openmp,png,qt,sfm,tbb,world]:x64-windows
       

    3. システムの環境変数 Path に，次を加える．

       c:\vcpkg\installed\x64-windows\bin
       

  • 公開されているパッケージを使う方法

    こちらの方法は，OpenCV の Python インタフェースのインストール法が私には分からなかったので， Python インタフェースが不要な場合向けです．

    1. 次のページを開き，OpenCV のバージョンを確認．

       https://github.com/opencv/opencv/releases/

    2. インストールの実行

       コマンドプロンプトを管理者として実行し，次のコマンドを実行．

       バージョン 4.5.3 をインストールするときは，次の手順になる．他のバージョンをインストールするときは，「4.5.3」の部分をバージョン番号に読み替えること．

       cd c:\
       curl -LO https://github.com/opencv/opencv/releases/download/4.5.3/opencv-4.5.3-vc14_vc15.exe
       .\opencv-4.5.3-vc14_vc15.exe
       del opencv-4.5.3-vc14_vc15.exe
       

    3. 展開先（解凍先）のディレクトリに「c:\」を指定．
    4. システム環境変数 Pathに次の２つを追加

       c:\opencv\build\bin
       c:\opencv\build\x64\vc15\bin
       

  Ubuntu での OpenCV, opencv_contrib のインストール

  公式のインストール手順: https://docs.opencv.org/4.5.5/d7/d9f/tutorial_linux_install.html の通りに行う． Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

  sudo apt update
  sudo apt install -y cmake g++ curl unzip
  curl -O opencv.zip https://github.com/opencv/opencv/archive/4.x.zip
  curl -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.x.zip
  unzip opencv.zip
  unzip opencv_contrib.zip
  mkdir -p build 
  cd build
  cmake -DOPENCV_EXTRA_MODULES_PATH=../opencv_contrib-4.x/modules ../opencv-4.x
  cmake --build .
  sudo make install
  

  OpenCV のサンプルデータ

  OpenCV のサンプルデータ (samples/data) は，インターネットで公開されているデータセット（オープンデータ）である．（他のオープンデータと同様に，利用条件は利用者で確認すること）．

  curl を用いて，次のような操作でダウンロードできる．

  curl -O https://raw.githubusercontent.com/opencv/opencv/master/samples/data/fruits.jpg
  curl -O https://raw.githubusercontent.com/opencv/opencv/master/samples/data/home.jpg
  

  OpenCV Python

  • Google Colaboratory でのインストールは，コードセルで次を実行

    不具合を避けるため，headless 版をインストールしている．

    !pip3 uninstall -y opencv-python opencv-contrib-python !pip3 install -U opencv-python-headless opencv-contrib-python-headless
  • Windows でのインストールは，コマンドプロンプトを管理者として実行し，次を実行
    python -m pip install -U opencv-python opencv-contrib-python
  • Ubuntu でのインストールは，次を実行
    sudo apt install -y python3-opencv

  OpenGV

  OpenGV は Absolute camera pose computation, Relative camera-pose computation, Two methods for point-triangulation, Arun's method for aligning point clouds の機能を持つ． Matlab, Python のインタフェースを持つ．

  URL: https://laurentkneip.github.io/opengv/

  論文: L. Kneip, P. Furgale, “OpenGV: A unified and generalized approach to real-time calibrated geometric vision”, Proc. of The IEEE International Conference on Robotics and Automation (ICRA), Hong Kong, China. May 2014.

  Ubuntu で OpenGV のインストール

  Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

  sudo apt -y update
  sudo apt -y install git cmake cmake-curses-gui cmake-gui libeigen3-dev
  cd /usr/local
  sudo rm -rf opengv
  sudo git clone --recursive https://github.com/laurentkneip/opengv
  sudo chown -R $USER opengv
  cd opengv
  sudo rm -rf build
  mkdir build
  cd build
  cmake -DCMAKE_BUILD_TYPE=Release \
      -DCMAKE_INSTALL_PREFIX="/usr/local/opengv" \
      -DBUILD_PYTHON=ON \
      -DBUILD_TESTS=OFF ..
  cmake --build . --config RELEASE
  cmake --build . --config RELEASE --target INSTALL
  

  OpenMMLab

  OpenMMLab の URL: https://openmmlab.com/

  OpenMMLab の GitHub のページ: https://github.com/open-mmlab

  関連項目: MMClassification, MMCV, MMDetection, MMSegmentation, MMSegmentation3D MMTracking

  OpenMVG

  OpenMVG は Structure from Motion の機能を持つソフトウエアソフトウエア．

  OpenMVG が持っている Structure from Motion (SfM) の機能に， Global Structure from Motion がある． Global Structure from Motion は， 多数の視点からの画像を使う SfM において，視点の位置と向きの推定を（当時の手法よりも）より頑健かつ正確に推定できるとされている． （その論文: P. Moulon, P. Monasse and R. Marlet, "Global Fusion of Relative Motions for Robust, Accurate and Scalable Structure from Motion," 2013 IEEE International Conference on Computer Vision, 2013, pp. 3248-3255, doi: 10.1109/ICCV.2013.403. https://www.researchgate.net/publication/261622957_Global_Fusion_of_Relative_Motions_for_Robust_Accurate_and_Scalable_Structure_from_Motion）

  • OpenMVG の URL(GitHub): https://github.com/openMVG/openMVG
  • 公式のドキュメント: https://openmvg.readthedocs.io/en/latest/software/SfM/GlobalSfM/
  • OpenMVG の SfM の利用手順: https://github.com/openMVG/openMVG/wiki/OpenMVG-on-your-image-dataset

  Windows で OpenMVG のインストール

  Windows での OpenMVG のインストールは，複数の方法がある．

  • vcpkg を使う．ここで説明している．
  • ソースコードからビルド．ここで説明している．その詳細は: 別ページで説明している．

  ここでは， vcpkg を使う方法と， ソースコードからビルドする方法を説明する．

  • vcpkg を使う方法
    1. 事前にvcpkg のインストールを行っておく．
    2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

       c:\vcpkg\vcpkg search openmvg
       c:\vcpkg\vcpkg install openmvg[opencv,openmp,software]:x64-windows
       

    3. システムの環境変数 Path に，次を加える．

       c:\vcpkg\installed\x64-windows\bin
       

  • ソースコードからビルドする方法

    事前に Git のインストール, cmake のインストール , Graphviz のインストールが必要．

    コマンドプロンプトを管理者として実行し，次のコマンドを実行．

    c:\openmvg にインストールされる．

    cd c:\
    rmdir /s /q openmvg
    git clone --recursive https://github.com/openMVG/openMVG.git
    cd openMVG
    cd src
    rmdir /s /q build
    mkdir build
    cd build
    cmake -G "Visual Studio 16 2019" -T host=x64 ^
        -DEIGEN_INCLUDE_DIR_HINTS=c:/eigen ^
        -DCMAKE_BUILD_TYPE=Release ^
        -DCMAKE_INSTALL_PREFIX="c:/openmvg" ^
        -DOpenMVG_BUILD_DOC=OFF ^
        -DCMAKE_TOOLCHAIN_FILE=C:/vcpkg/scripts/buildsystems/vcpkg.cmake ^
        -DVCPKG_TARGET_TRIPLET=x64-windows ^
    ..
    cmake --build . --config RELEASE
    cmake --build . --config RELEASE --target INSTALL
    

  OpenMVG (2021/08/21 時点) Windows 10 64 ビット版の非公式ビルド: openMVG.zip

  私がビルドしたもの，非公式，無保証，ソースコードを改変せずにビルドした．OpenMVG の MPL2 ライセンスによる．

  Ubuntu で OpenMVG のインストール

  Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

  sudo apt -y update
  sudo apt -y install git cmake cmake-curses-gui cmake-gui libeigen3-dev
  cd /usr/local
  sudo rm -rf openmvg
  sudo git clone --recursive https://github.com/openMVG/openMVG.git
  sudo chown -R $USER openMVG
  cd openMVG
  cd src
  sudo rm -rf build
  mkdir build
  cd build
  cmake -DCMAKE_BUILD_TYPE=Release \
      -DCMAKE_INSTALL_PREFIX="/usr/local/openmvg" 
  cmake --build . --config RELEASE
  cmake --build . --config RELEASE --target INSTALL
  

  デモプログラム

  デモプログラムとして， 所定の画像データセットをダウンロードし，SfM を実行する Python プログラムが付属している．

  Windows では次の手順で行う．

  cd c:\openMVG\src
  python build\software\SfM\tutorial_demo.py
  

  デモプログラムの実行でできるファイルのうち，ply 形式ファイルの１つを MeshLabを用いて表示すると次のようになる．色付きの３次元点群である．

  Global Structure from Motion を行う

  いくつかのコマンドを順に実行する． Windows では次のような手順で行う．

  # 画像の準備, ImageDataset_SceauxCastle\images に画像を置くためのプログラム
  cd c:\openMVG\src
  mkdir ImageDataset_SceauxCastle
  mkdir ImageDataset_SceauxCastle\images
  copy .\build\software\SfM\ImageDataset_SceauxCastle\images\*.JPG ImageDataset_SceauxCastle\images
  echo 1. Intrinsics analysis
  .\build\Windows-AMD64-Release\Release\openMVG_main_SfMInit_ImageListing -i ImageDataset_SceauxCastle/images/ -d openMVG/exif/sensor_width_database/sensor_width_camera_database.txt -o ImageDataset_SceauxCastle/matches/
  echo 2. Compute features
  .\build\Windows-AMD64-Release\Release\openMVG_main_ComputeFeatures -i ImageDataset_SceauxCastle/matches/sfm_data.json -o ImageDataset_SceauxCastle/matches/
  echo 3. Compute matches
  .\build\Windows-AMD64-Release\Release\openMVG_main_ComputeMatches -i ImageDataset_SceauxCastle/matches/sfm_data.json -o ImageDataset_SceauxCastle/matches/ -g e
  echo 4. Do Global reconstruction
  .\build\Windows-AMD64-Release\Release\openMVG_main_GlobalSfM -i ImageDataset_SceauxCastle/matches/sfm_data.json  -m ImageDataset_SceauxCastle/matches/ -o ImageDataset_SceauxCastle/outReconstruction/
  echo 5. Colorize Structure
  .\build\Windows-AMD64-Release\Release\openMVG_main_ComputeSfM_DataColor -i ImageDataset_SceauxCastle/outReconstruction/sfm_data.bin -o ImageDataset_SceauxCastle/outReconstruction/colorized.ply 
  echo 6. compute final valid structure from the known camera poses, Structure from Known Poses (robust triangulation)
  .\build\Windows-AMD64-Release\Release\openMVG_main_ComputeStructureFromKnownPoses -i ImageDataset_SceauxCastle/outReconstruction/sfm_data.bin -m ImageDataset_SceauxCastle/matches/ -f ImageDataset_SceauxCastle/matches/matches.e.bin -o ImageDataset_SceauxCastle/outReconstruction/robust.bin
  .\build\Windows-AMD64-Release\Release\openMVG_main_ComputeSfM_DataColor -i ImageDataset_SceauxCastle/outReconstruction/robust.bin -o ImageDataset_SceauxCastle/outReconstruction/robust_colorized.ply 
  

  最後の処理でできた，色付きの３次元点群のファイル（ply 形式ファイル）を MeshLabを用いて表示すると次のようになる．

  続けて，次を実行する．上の結果を，OpenMVS を用いて処理している．実行には OpenMVS のインストールが必要

  参考ページ: https://openmvg.readthedocs.io/en/latest/software/MVS/OpenMVS/ (公式の資料)

  .\build\Windows-AMD64-Release\Release\openMVG_main_openMVG2openMVS -i ImageDataset_SceauxCastle/outReconstruction/sfm_data.bin -d ImageDataset_SceauxCastle/outReconstruction/ -o ImageDataset_SceauxCastle/outReconstruction/scene.mvs
  DensifyPointCloud ImageDataset_SceauxCastle/outReconstruction/scene.mvs
  ReconstructMesh scene_dense.mvs
  TextureMesh scene_dense_mesh.mvs
  

  デモプログラムの実行でできるファイルのうち，ply 形式ファイルの１つを MeshLabを用いて表示すると次のようになる．色付きの３次元点群である．

  OpenMVS

  OpenMVS は，Multi View Stereo の機能を持ったソフトウエア

  【関連項目】 meshroom, Multi View Stereo, OpenMVG, OpenMVS, Structure from Motion (SfM)

  Windows で OpenMVS のインストール

  Windows での OpenMVS のインストールは，複数の方法がある．

  ここでは， vcpkg を使う方法を説明する．

  1. 事前にvcpkg のインストールを行っておく．
  2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

     c:\vcpkg\vcpkg search openmvs
     c:\vcpkg\vcpkg install openmvs[cuda,openmp]:x64-windows
     

  3. システムの環境変数 Path に，次を加える．

     c:\vcpkg\installed\x64-windows\bin
     

  Orbit

  TensorFlow 2 で訓練ループのプログラムを書くときに利用できるソフトウエア.

  Orbit の GitHub のページ: https://github.com/tensorflow/models/tree/master/orbit

  関連項目: TensorFlow

  Panda3D

  Panda3D は，オープンソースのソフトウエア，３次元ゲームエンジン (3-D game engine)，可視化，シミュレーションの機能を持つ．

  Panda3D の URL: https://www.panda3d.org/

  • Windows での Panda3D のインストール: 別ページで説明している．
  • Ubuntu での Panda3D のインストール: 別ページで説明している．
  • Panda3D の機能概要（説明資料）[PDF], [パワーポイント]
  • ３次元のゲームエンジン Panda3D を使ってみる: 別ページにまとめている．

  Pandas

  TensorFlow などの機械学習フレームワークでは，入力として pandas のデータ構造をサポートしていることが多い．

  【関連項目】 Iris データセット

  Pandas の表示

  次のようなプログラムでは，displayを用いて，Pandas のデータフレームを整形して表示している．

  from IPython.display import display
  display(df)
  

  Iris データセットを Pandas データフレームとしてロードし，画面表示するプログラム

  次の Python プログラムは，Iris データセットのロードと確認表示を行う． Pandas データフレームの df にロードしている． 確認表示で display を用いている．

  import pandas as pd
  from sklearn.datasets import load_iris
  from IPython.display import display
  iris = load_iris()
  df = pd.DataFrame(iris.data, columns=iris.feature_names)
  df['species'] = iris.target_names[iris.target]
  display(df)
  

  Pandas での列の選択

  次の Python プログラムでは，次のことを行っている．

  • 複数の列の選択: df.iloc[:,0:4] は，0列目から4列分を得る．
  • １列の選択: df.iloc[:,4] は，4列目を得る．

  import pandas as pd
  from sklearn.datasets import load_iris
  from IPython.display import display
  iris = load_iris()
  df = pd.DataFrame(iris.data, columns=iris.feature_names)
  df['species'] = iris.target_names[iris.target]
  display(df.iloc[:,0:4])
  display(df.iloc[:,4])
  

  numpy.ndarray への変換

  次の Python プログラムでは，to_numpy() を用いて， Pandas データフレームを numpy.ndarray へ変換している．

  import pandas as pd
  from sklearn.datasets import load_iris
  from IPython.display import display
  iris = load_iris()
  df = pd.DataFrame(iris.data, columns=iris.feature_names)
  df['species'] = iris.target_names[iris.target]
  display(df.iloc[:,0:4].to_numpy())
  

  Pandas での繰り返し処理，選択

  Pandas のある特定の列（カラム）のデータについて，処理を繰り返したいときの書き方．iris は Iris データセットである．

  import pandas as pd
  from sklearn.datasets import load_iris
  from IPython.display import display
  iris = load_iris()
  df = pd.DataFrame(iris.data, columns=iris.feature_names)
  df['species'] = iris.target_names[iris.target]
  display([x * 10 for x in df['sepal length (cm)']])
  

  Pandas のある特定の列（カラム）のデータについて，処理を繰り返すとき，ある条件（例えば 7 より大）のものだけ処理対象にしたいときの書き方

  
  [x * 10 for x in iris['sepal_length'] if x > 7]
  

  PANet (Path Aggregation Network)

  物体検出とインスタンス・セグメンテーション (instance segmentation)のためのネットワーク． Mask R-CNN をもとに改善を行っている． PANet のネットワークは，FPN バックボーンののち， Bottom-up Path Augmentation を行い， Adaptive Feature Pooling を行っている．

  COCO データセット, CityScapes データセット, MVD データセットでの実験から，物体検出とインスタンス・セグメンテーション (instance segmentation)の精度が向上したとされている．

  CSPNet の公式の実装 (GitHub) のページでは， PANetを用いた物体検出として， CSPDarknet53-PANet-SPP, CSPResNet50-PANet-SPP, CSPResNeXt50-PANet-SPP 等の実装が公開されている．

  • 文献

    Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, Jiaya Jia, Path Aggregation Network for Instance Segmentation, CVPR 2018, also CoRR, https://arxiv.org/abs/1803.01534v4,

    https://arxiv.org/pdf/1803.01534v4.pdf

  • PANet の公式の実装 (GitHub) のページ: https://github.com/ShuLiu1993/PANet
  • YOLOv5 の GitHub のページ: https://github.com/ultralytics/yolov5

  【関連項目】 Mask R-CNN 物体検出, インスタンス・セグメンテーション (instance segmentation), YOLOv5

  PARE

  PARE は，３次元人体姿勢推定（3D human pose estimation）の技術である． オクルージョンの問題を解決するために， Part Attention REgressor (PARE) が提案されている． multi person tracker を用いて実装されており，画像の中に複数の人物がいても動くようになっている．

  PARE のデモプログラムの実行結果を次に示す．

  この実行結果を得るためのもととなる動画: kaneko_sample_video.mp4

  実行結果の動画: kaneko_sample_video__result.mp4

  • 文献

    Kocabas, Muhammed and Huang, Chun-Hao P. and Hilliges, Otmar and Black, Michael J., PARE: Part Attention Regressor for {3D} Human Body Estimation, Proc. International Conference on Computer Vision (ICCV), also CoRR, abs/2104.08527v2, 2021.

    https://arxiv.org/pdf/2104.08527v2.pdf

  • 公式のページ: https://pare.is.tue.mpg.de/
  • 公式の GitHub のページ: https://github.com/mkocabas/PARE
  • Papers with Code のページ: https://paperswithcode.com/paper/pare-part-attention-regressor-for-3d-human

  【関連項目】 3D pose estimation, 3D human pose estimation, YOLOv3, multi person tracker

  Google Colaboratory での PARE のインストールと事前学習済みモデルのダウンロードとデモの実行

  次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

  1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
  2. 次を実行する．

     !git clone https://github.com/mkocabas/PARE.git
     %cd PARE
     !apt -y install libturbojpeg
     !pip3 uninstall -y torchtext panel datascience
     !pip3 install -U -r requirements.txt
     !source scripts/prepare_data.sh
     !python scripts/demo.py --vid_file data/sample_video.mp4 --output_folder logs/demo 
     

  3. 下図のように，/content/logs/demo/sample_video_ の下に結果ができる

  Ubuntu での PARE のインストールとデモの実行

  前準備：事前に Python のインストール, NVIDIA CUDA ツールキット，NVIDIA cuDNN のインストールを行うこと．

  1. Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

     sudo apt -y update
     sudo apt -y install git
     cd /usr/local
     sudo rm -rf PARE
     sudo git clone https://github.com/mkocabas/PARE.git
     sudo chown -R $USER PARE
     # システム Python の環境とは別の Python の隔離された環境（システム Python を使用）を作成
     sudo apt -y update
     sudo apt -y install python3-venv
     python3 -m venv ~/a
     source ~/a/bin/activate
     cd /usr/local/PARE
     sudo apt -y install libturbojpeg
     sed -i 's/opencv-python==4.1.1.26/opencv-python/g' requirements.txt
     pip install -U -r requirements.txt
     pip install -U numba
     

  2. 事前学習済みモデルのダウンロード

     source scripts/prepare_data.sh
     

  3. デモの実行

     python scripts/demo.py --vid_file data/sample_video.mp4 --output_folder logs/demo 
     

  4. 下のように，logs/demo/sample_video_ の下に結果ができる

     出来た動画を表示すると，次のように表示される．

  PASCAL VOC (PASCAL Visual Object Classes Challenge) データセット

  PASCAL VOC データセットは，アノテーション済みの画像データ． 機械学習での物体検出 ，画像分類，セマンテック・セグメンテーションに利用できるデータセットである． PASCAL VOC 2007, PASCAL VOC 2012 などいくつかの種類がある．

  PASCAL VOC 2012 データセットの処す愛は次の通り．

  • ピクセルレベルのセグメンテーションのアノテーション，バウンディングボックスのアノテーション，オブジェクトクラスのアノテーションが付いている．
  • 学習用の1,464枚の画像，検証用の1,449枚の画像，その他のテストセットを含む
  • オブジェクトのカテゴリ数: 20, その他，背景を表すカテゴリが 1．

    vehicles, household, animals, and other: aeroplane, bicycle, boat, bus, car, motorbike, train, bottle, chair, dining table, potted plant, sofa, TV/monitor, bird, cat, cow, dog, horse, sheep, person

  PASCAL VOC データセットは次の URL で公開されているデータセット（オープンデータ）である．

  http://host.robots.ox.ac.uk/pascal/VOC/

  【関連情報】

  • 　文献

    Everingham, M., Van Gool, L., Williams, C. K. I., Winn, J. and Zisserman, A., The PASCAL Visual Object Classes (VOC) Challenge, International Journal of Computer Vision, 88(2), 303-338, 2010

  • 文献

    Everingham, M., Eslami, S. M. A., Van Gool, L., Williams, C. K. I., Winn, J. and Zisserman, A., The PASCAL Visual Object Classes Challenge: A Retrospective, International Journal of Computer Vision, 111(1), 98-136, 2015.

  • PASCAL VOC の公式ページ: http://host.robots.ox.ac.uk/pascal/VOC/index.html
  • Papers With Code の PASCAL VOC データセットのページ: https://paperswithcode.com/dataset/pascal-voc
  • PyTorch の PASCAL VOC データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.VOCSegmentation

  【関連項目】 Detectron2, MMSegmentation, semantic segmentation, 画像分類, 物体検出

  Photo Tourism データセット

  Photo Tourism データセットは次の URL で公開されているデータセット（オープンデータ）である．

  http://phototour.cs.washington.edu/datasets/

  【関連情報】

  • 文献

    Noah Snavely, Steven M. Seitz, Richard Szeliski, "Photo tourism: Exploring photo collections in 3D," ACM Transactions on Graphics (SIGGRAPH Proceedings), 25(3), 2006, 835-846.

  • 公式ページ: http://phototour.cs.washington.edu/patches/default.htm
  • PyTorch の PhotoTour データセットの説明: https://pytorch.org/vision/stable/datasets.html#phototour

  Places365 データセット

  Places365 データセットは，シーンクラスに分類済みの画像データ． 機械学習での画像分類の学習や検証に利用できるデータセット．

  • 1000万枚の画像
  • 434 のシーンクラス
  • 2つのバージョン Places365-Standard と Places365-Challenge-2016 がある． Places365-Standardは，K=365個のシーンクラスからなる180万枚の学習画像と36000枚の検証画像． Places365-Challenge-2016は，新しい69個のシーンクラスを含む620万枚の学習画像が追加されている． （434個のシーンクラスからなる合計800万枚の学習画像）．

  Places365 データセットは次の URL で公開されているデータセット（オープンデータ）である．

  http://places2.csail.mit.edu/

  【関連情報】

  • Semantic-Aware Scene Recognition, Alejandro Lpez-Cifuentes, Marcos Escudero-Violo, Jess Bescs, lvaro Garca-Martn

    https://arxiv.org/pdf/1909.02410v3.pdf

  • Papers With Code の Places365 データセットのページ: https://paperswithcode.com/dataset/places365
  • PyTorch の Places365 データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.Places365
  • TensorFlow データセットの Places365 データセット: https://www.tensorflow.org/datasets/catalog/places365_small

  PointCloudLibrary の３次元点群データ

  https://github.com/PointCloudLibrary/data では， ３次元点群データ (3-D point cloud data) が公開されている（オープンデータである）．

  Windows では，次のような手順でダウンロードできる．

  1. Git のインストール
  2. ダウンロード

     mkdir c:\data
     cd c:\data
     mkdir PointCloudLibrary
     cd PointCloudLibrary
     git clone --recursive https://github.com/PointCloudLibrary/data
     echo git clone --recursive https://github.com/PointCloudLibrary/data > download.txt
     

  Ubuntu では，次のようなコマンドでダウンロードできる．

  cd /usr/local
  sudo mkdir PointCloudLibrary
  cd PointCloudLibrary
  sudo git clone --recursive https://github.com/PointCloudLibrary/data
  echo "git clone --recursive https://github.com/PointCloudLibrary/data" > download.sh
  

  ３次元点群データ (3-D point cloud data) を扱うには，MeshLab や CloudCompare が便利である．

  Protobuf

  Google Protoc は，次のような proto ファイルを書き，様々なプログラミング言語のプログラムや機器の間でデータ交換等を行うためのもの．

  message Person {
    required string name = 1;
    required int32 id = 2;
    optional string email = 3;
  }
  

  • Protobuf のページ: https://developers.google.com/protocol-buffers
  • GitHub の Protobuf のページ: https://github.com/protocolbuffers/protobuf
  • チュートリアル: https://developers.google.com/protocol-buffers/docs/tutorials

  Windows での Protobuf のインストール

  Windows での Protobuf のインストールは，複数の方法がある．

  • vcpkg を使う．ここで説明している．
  • 公式のページからダウンロードし展開（解凍）する．ここで説明している．

  ここでは， vcpkg を使う方法と， 公式のページからダウンロードし展開（解凍）する方法を説明する．

  • vcpkg を使う方法

    https://github.com/protocolbuffers/protobuf/blob/master/src/README.md の記載による

    1. 事前にvcpkg のインストールを行っておく．
    2. コマンドプロンプトを管理者として実行し，次のコマンドを実行．

       c:\vcpkg\vcpkg search protobuf
       c:\vcpkg\vcpkg install protobuf[zlib]:x64-windows
       

    3. システムの環境変数 Path に，次を加える．

       c:\vcpkg\installed\x64-windows\bin
       

  • 公式のページからダウンロードし展開（解凍）する

    Windows で protobuf のコンパイラである protoc を使うには， protobuf のリリースのページ https://github.com/protocolbuffers/protobuf/releases/"から，protoc-3.15.8-win64.zip のようなファイル名のファイルをダウンロードし，展開（解凍）する．

  Ubuntu での Protobuf のインストール

  Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

  sudo apt -y update
  sudo apt -y install libprotobuf-dev protobuf-compiler protobuf-c-compiler python3-protobuf
  

  PyCharm

  PyCharm は Python プログラム作成に関する種々の機能を持ったソフトウエア．

  PyCharm について：別ページ で説明している．

  Windows での PyCharm Community Edition のインストール: 別ページで説明している．

  pycocotools

  pycocotools は，COCO データセットを Python から扱う機能を持ったソフトウエア．

  pycocotools の GitHub のページ: https://github.com/cocodataset/cocoapi/tree/master/PythonAPI/pycocotools

  関連項目: COCO (Common Object in Context) データセット

  pycocotools のレポジトリ

  オリジナルの pycocotools から分岐 (fork) したレポジトリがある． Python 3 や Windows に対応．オリジナルの方は開発が休止しているようである．

  • Windows: https://github.com/philferriere/cocoapi
  • Linux: https://github.com/waleedka/coco

  Windows での pycocotools のインストール

  1. 前準備

     マイクロソフト C++ ビルドツール の 2015 以上が必要である．

  2. インストール

     Windows で pycocotools をインストールするときは， コマンドプロンプトを管理者として実行し，次のコマンドを実行． （前準備として，Python のインストールを終えていること）

     python -m pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI
     

  Ubuntu での pycocotools のインストール

  Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

  sudo pip3 install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI
  

  関連項目: COCO (Common Object in Context) データセット

  PyMVPA

  PyMVPAは，大規模データセットに対する統計的学習解析の 機能を持つ Pythonのパッケージ

  PyMVPA の URL: http://www.pymvpa.org/index.html

  Python

  【Python まとめ】

  別ページ に Python の機能などをまとめている．

  【Python, pip, Python 開発環境，Python コンソールのコマンドでの起動】

  Python, pip, Python 開発環境の起動コマンドのまとめ．

  Windows では，python, pip, Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder は，次のコマンドで起動できる．

  Windows で複数の Python をインストールしているときは，環境変数 Path で先頭の Python が使用される．

  • python: python
  • pip: python -m pip または pip
  • Jupyter Qt Console: jupyter qtconsole
  • Jupyter ノートブック (Jupyter Notebook): jupyter notebook
  • Jupyter Lab: jupyter lab
  • Nteract: jupyter nteract
  • spyder: spyder

  Windows の Python ランチャーでバージョン指定

  • インストール済み Python のバージョン一覧: py -0
  • python: py -3.9 （Python 3.9 を使う場合）
  • pip: py -3.9 -m pip （Python 3.9 の pip を使う場合）
  • Jupyter Qt Console: py -3.9 -m qtconsole （Python 3.9 を使う場合）
  • Jupyter ノートブック (Jupyter Notebook): py -3.9 -m notebook （Python 3.9 を使う場合）
  • Jupyter Lab: py -3.9 -m jupyterlab （Python 3.9 を使う場合）

  Ubuntu では，python, pip, Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder は，次のコマンドで起動できる．

  • python: Ubuntu では python3
  • pip: Ubuntu では sudo pip3

    Ubuntu では，「sudo pip3 install」でパッケージをインストールする前に，「apt-cache search ＜キーワード＞」で Ubuntu のパッケージを検索し，Ubuntu パッケージが見つかった場合にはそちらを 「apt install ＜Ubuntu のパッケージ名＞」でインストール．

  • Jupyter Qt Console: jupyter qtconsole
  • Jupyter ノートブック (Jupyter Notebook): jupyter notebook
  • Jupyter Lab: jupyter lab
  • Nteract: jupyter nteract
  • spyder: spyder

  Windows, Ubuntu での Python 開発環境，Python コンソール（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder）のインストール: 別ページで説明している．

  Python プログラムを動かすために， Python のコマンド (python あるいは python3 を使う． あるいは， Python の開発環境や Python コンソール（Jupyter Qt Console，spyder，PyCharm，PyScripter など）の利用も便利である．

  Windows, Ubuntu での Python 開発環境，Python コンソール（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder）のインストール: 別ページで説明している．

  Python プログラムを動かすために， Python のコマンド (python あるいは python3 を使う． あるいは， Python の開発環境や Python コンソール（Jupyter Qt Console，spyder，PyCharm，PyScripter など）の利用も便利である．

  【Python の公開の電子書籍】

  Python の電子書籍としては，次のようなものが公開されている．

  • 東京大学の「Pythonプログラミング入門」, https://utokyo-ipp.github.io/IPP_textbook.pdf
  • ITmedia 社の「Python チートシート」の記事, https://atmarkit.itmedia.co.jp/ait/articles/2004/20/news015.html

  【サイト内の関連ページ】

  Python について

  • Python まとめ: １ページに Python の用語，知識をまとめる
  • Python とプログラミングの基本: Python を始めるために知っておくべきこと
  • コードコンバット (Code Combat) を用いた Python 演習 [PDF]
  • Python 入門: 式，変数，リスト，条件分岐，繰り返し，式の抽象化，関数，スコープを学ぶ．Google Colaboratory を使用．
  • Python 演習: 式，変数，リスト，条件分岐，繰り返し，式の抽象化，関数，クラス，コンストラクタ，メソッド，クラス階層，継承を学ぶ．Python Tutor, Visu Algo を使用
  • Windows での Python 処理系と開発環境のインストール: 別ページで説明している．
  • その他，Python について: 別ページにまとめている．

  【関連項目】 Google Colaboratory, Python の起動, Python のインストール，pip と setuptools の更新, PyCharm, Python 開発環境, Python 開発環境のインストール, venv, vinta の awesome-python

  Python 3.6

  Python 3.6 は scipy 1.1.0 が動く最新バージョン．

  Python の URL: https://www.python.org/

  • Windows での Python 3.6 のインストールは，別ページで説明している．

  Python 3.7

  Python 3.7 は TensorFlow 1.15，TensorFlow 1.14 が動く最新バージョン．

  Python の URL: https://www.python.org/

  • Windows での Python 3.7 のインストールは，別ページで説明している．

  Python 3.8

  Python の URL: https://www.python.org/

  • Windows での Python 3.8 のインストールは，別ページで説明している．

  Python 3.9

  Python の URL: https://www.python.org/

  • Windows での Python 3.9 のインストールは，別ページで説明している．
   

  Python の numpy ベクトル

  ベクトルは，要素の並び．各要素の添字は 0, 1, 2... のようになる． 下に，Python の numpy ベクトルのコンストラクタの例を示す．

  import numpy as np
  v = np.array([1, 2, 3])
  print(v, v[0], v[1], v[2])
  

  reshape の例は次の通り

  X = X.reshape(len(X), 1)
  

  Python の隔離された環境

  次のような場合は，Python の隔離された環境が役に立つ． Python の隔離された環境の利用には，Python 3.3 以上で標準機能になった venv が便利である． Python 3.3 未満では，virtualenv が便利である．

  • 複数の Python 環境の使用

    複数の Python 環境を使用するとき， ある Python でのパッケージの変更や更新などが，他の Python に影響しないように隔離する．

  • Ubuntu のシステム Python とは別の Python 環境

    Ubuntu では，Python の多くのパッケージは apt 下の管理下にある（例えば「sudo apt -y install python3-numpy」のようなコマンドでインストールする．

    これは，他のソフトウエアが Python のパッケージの依存関係にあるようなとき，Ubuntu システムが管理するので便利であるが，「pip でインストールする Python のパッケージ」と 「apt でインストールする Python のパッケージ」が混在し，管理が難しくなったり，動作が不安定になる可能性がある．

    このような場合，Ubuntu の Python とは隔離された，別の Python の環境を作ると便利である． Python の隔離された環境では，すべてのパッケージを pip で管理するようにできる．

  【関連項目】 Python, Python の起動, Python のインストール，pip と setuptools の更新, Python の隔離された環境, venv, virtualenv

  Python のインストール，pip と setuptools の更新，Python や pip の起動

  Python の URL: http://www.python.org/

  【Python の公開の電子書籍】

  Python の電子書籍としては，次のようなものが公開されている．

  • 東京大学の「Pythonプログラミング入門」, https://utokyo-ipp.github.io/IPP_textbook.pdf
  • ITmedia 社の「Python チートシート」の記事, https://atmarkit.itmedia.co.jp/ait/articles/2004/20/news015.html

  【サイト内の関連ページ】

  • Python まとめ: １ページに Python の用語，知識をまとめる
  • Python とプログラミングの基本: Python を始めるために知っておくべきこと
  • コードコンバット (Code Combat) を用いた Python 演習 [PDF]
  • Python 入門: 式，変数，リスト，条件分岐，繰り返し，式の抽象化，関数，スコープを学ぶ．Google Colaboratory を使用．
  • Python 演習: 式，変数，リスト，条件分岐，繰り返し，式の抽象化，関数，クラス，コンストラクタ，メソッド，クラス階層，継承を学ぶ．Python Tutor, Visu Algo を使用
  • Windows での Python 処理系と開発環境のインストール: 別ページで説明している．
  • その他，Python について: 別ページにまとめている．

  【関連項目】 Google Colaboratory, Python, Python の起動, Python のインストール，pip と setuptools の更新, PyCharm, Python 開発環境 Python 開発環境のインストール, venv

  Windows でのPython のインストール

  Windows での Python のインストール: 別ページで説明している．（あとのトラブルが起きにくいような手順を定めている）

  インストールの要点

  • Windows Installer (64-bit) を使用する．
  • Windows で，ユーザ名が日本語のとき

    Windows で，ユーザ名が日本語のとき，あとでトラブルが発生するかもしれない． トラブルの回避策として， Python をシステム管理者の領域にインストール（パソコンの全ユーザの共有領域）する手順をここで説明する．

  • TensorFlow を動かしたいとき

    TensorFlow を使う予定がある場合は，https://pypi.org/project/tensorflow-gpu/#filesで，必要な Python のバージョンを確認しておく． 2021/11 時点では，TensorFlow バージョン 2.7.0 が動くのは，Python 3.7 か 3.8 か 3.9

  • 他のソフトウエアとの相性によっては，古いバージョンの Python をインストールする．

  Python 3.9 のインストール（Windows 上）のページ: https://www.kkaneko.jp/tools/win/python.html

  動画 URL: https://www.youtube.com/watch?v=2MlVmx-yLM8

  Ubuntu での Python のインストール，pip と setuptools の更新

  Ubuntu の場合はシステム Python を用いる（その場合はインストールは不要）か，pyenv などを用いて，システム Python とは隔離した形でインストールする．

  システム Python を用いるときは，pip, setuptools の更新は次のコマンドで行う．

  sudo apt -y update
  sudo apt -y install python3-pip python3-setuptools
  

  Python や pip の起動

  Python, pip は，次のコマンドで起動できる．

  • Windows: python, python -m pip (または py -3.9, py -3.9 -m pip のようにバージョン指定）
  • Ubuntu: python3, sudo pip3
    但し，「sudo pip3」でパッケージをインストールする前に，「apt-cache search ＜キーワード＞」で Ubuntu パッケージを検索し，Ubuntu パッケージが見つかった場合にはそちらを apt でインストール．

  Python 開発環境のインストール，起動

  【Python まとめ】

  別ページ に Python の機能などをまとめている．

  【関連項目】 Google Colaboratory, Python, Python の起動, PyCharm, Python 開発環境のインストール

  Windows での Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder の起動

  Python, pip, Python 開発環境，Python コンソールのコマンドでの起動のまとめ．

  python, pip, Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder は，次のコマンドで起動できる．

  Windows で複数の Python をインストールしているときは，環境変数 Path で先頭の Python が使用される．

  • python: Windows では python （Ubuntu では python3）
  • pip: Windows では python -m pip または pip （Ubuntu では sudo pip3）

    Ubuntu では，「sudo pip3 install」でパッケージをインストールする前に，「apt-cache search ＜キーワード＞」で Ubuntu のパッケージを検索し，Ubuntu パッケージが見つかった場合にはそちらを 「apt install ＜Ubuntu のパッケージ名＞」でインストール．

  • Jupyter Qt Console: jupyter qtconsole
  • Jupyter ノートブック (Jupyter Notebook): jupyter notebook
  • Jupyter Lab: jupyter lab
  • Nteract: jupyter nteract
  • spyder: spyder

  Windows の Python ランチャーでバージョン指定

  • インストール済み Python のバージョン一覧: py -0
  • python: py -3.9 （Python 3.9 を使う場合）
  • pip: py -3.9 -m pip （Python 3.9 の pip を使う場合）
  • Jupyter Qt Console: py -3.9 -m qtconsole （Python 3.9 を使う場合）
  • Jupyter ノートブック (Jupyter Notebook): py -3.9 -m notebook （Python 3.9 を使う場合）
  • Jupyter Lab: py -3.9 -m jupyterlab （Python 3.9 を使う場合）

  Ubuntu での Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder の起動

  Ubuntu のシステム Python を用いるとき， Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder は，次のコマンドで起動できる．

  • jupyter qtconsole （Jupyter Qt Console）
  • jupyter notebook （Jupyter ノートブック (Jupyter Notebook)）
  • jupyter lab （Jupyter Lab）
  • jupyter nteract （Nteract）
  • spyder （spyder）

  Windows, Ubuntu での Python 開発環境，Python コンソール（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder）のインストール: 別の項目で，インストール手順を説明している．

  Windows での Python 開発環境　のインストール

  Python 開発環境 JupyterLab, spyder, nteract は，次の手順でインストールできる．

  コマンドプロンプトを管理者として実行し，次のコマンドを実行．

  Windows での pip の実行では，コマンドプロンプトを管理者として実行することにする。

  python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
  

  Ubuntu での　Python 開発環境のインストール

  Ubuntu でインストールを行うには，端末で，次のコマンドを実行する．

  sudo apt -y update
  sudo apt -y install python-is-python3 python3-dev python3-pip python3-setuptools python3-venv
  sudo pip3 uninstall ptyprocess sniffio terminado tornado jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
  sudo apt -y install jupyter jupyter-qtconsole spyder3
  sudo apt -y install python3-ptyprocess python3-sniffio python3-terminado python3-tornado 
  sudo pip3 install -U jupyterlab nteract_on_jupyter
  

  PyTorch

  PyTorchは，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

  参考 Web ページ

  • PyTorch の Web ページ: http://pytorch.org/
  • github: https://github.com/pytorch/pytorch
  • github: https://github.com/hughperkins/pytorch
  • PyTorch のデータセット, モデル: https://github.com/pytorch/vision/

  【関連項目】 PyCharm, Python のインストール，pip と setuptools の更新, Python 開発環境

  Windows での PyTorch のインストール

  PyTorch のインストールは，複数の方法がある．

  • PyTorch のインストール: 別ページで説明している．
  • PyTorch の最新版を検証，開発者に貢献したいなどの場合には， ソースコードからビルドして，インストールする: 別ページで説明している．

  Ubuntu での PyTorch のインストール

  PyTorch のインストールは， 公式 (https://pytorch.org/) の手順で行う．

  NVIDIA CUDA ツールキット を使うときは， NVIDIA グラフィックスドライバは別途インストールすることと，CUDA のバージョン選択では「CUDA 同封の PyTorch を選択する」ことを心に留める．次の手順になる．

  1. NVIDIA グラフィックスドライバのインストール: 別ページで説明している．
  2. PyTorch のインストール: 別ページで説明している．

  PyTorch のバージョン確認

  次の Python プログラムを実行

  import torch
  print( torch.__version__ )"
  

  PyTorch で GPU が使用できるかの確認

  次の Python プログラムを実行

  import torch
  print(torch.cuda.is_available())"
  

  PyTorch のサンプルプログラム

  import torch
  import math
  dtype = torch.float
  device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  x = torch.linspace(-math.pi, math.pi, 2000, device=device, dtype=dtype)
  a = torch.randn((), device=device, dtype=dtype)
  b = torch.randn((), device=device, dtype=dtype)
  print(a + b * x)
  

  PyTorch のモデルの保存

  GPU マシン (cuda の動くマシン）で PyTorch を動かす可能性を想定している． GPU マシン (cuda の動くマシン）でも，そうでなくても，正しく動くようにしている．

  • モデル m を CPU で動く形式で保存．ファイル名は「a.pth」とする

    torch.save(m.to('cpu').state_dict(), 'a.pth')
    

  • モデルのロード．ファイル名「a.pth」からロードする． ロード時に，デバイスは cuda あるいは cpu に自動設定する．

    m.load_state_dict(torch.load('a.pth'))
    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    m = m.to(device)
    

  torchsummary を用いたモデルの確認表示

  前準備: torchsummary をインストールする． Windows ではコマンドプロンプトを管理者として実行し，次のコマンドを実行．

  python -m pip install torchsummary
  

  ResNet50 モデルのロードと確認表示

  import torch
  import torchvision.models as models
  from torchsummary import summary
  device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  m = models.resnet50(pretrained=True).to(device).to(device)
  summary(m, (3, 224, 224))
  

  PyTorch3D

  公式ページ（GitHub）: https://github.com/facebookresearch/pytorch3d

  Google Colaboratory で PyTorch3D のインストール

  次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

  1. PyTorch3D のインストール

     !pip3 install pytorch3d
     

  PyTorch-GAN のページ

  Avatar Erik Linder-Norén により GitHub で公開されているPyTorch-GAN のページ．

  URL は次の通り．

  PyTorch-GAN のページ: https://github.com/eriklindernoren/PyTorch-GAN

  PyTorch, torchvision のモデル

  URL: https://pytorch.org/vision/stable/models.html に説明がある．

  【関連項目】 PyTorch, torchvision の DenseNet121 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の DenseNet169 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の MobileNetV3 large 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の ResNet50 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の ResNet101 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の ResNet152 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の ResNeXt51 32x4d 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の ResNeXt101 32x8d 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の Wide ResNet50 学習済みモデルのロード，画像分類のテスト実行, PyTorch, torchvision の Wide ResNet101 学習済みモデルのロード，画像分類のテスト実行, rwightman の PyTorch Image Models (TIMM)

  RabbitToolBox

  URL: https://github.com/ray-cast/RabbitToolbox

  【関連用語】 MMD

  Window で RabbitToolbox のインストール（書きかけ）

  1. Git のインストール
  2. ソースコードからビルドして，インストールする．

     cd c:\
     rmdir /s /q RabbitToolbox
     git clone --recursive https://github.com/ray-cast/RabbitToolbox
     cd RabbitToolbox
     mkdir build
     cd build
     cmake -G "Visual Studio 16 2019" -A x64 -T host=x64 ^
     -DCMAKE_TOOLCHAIN_FILE=C:/vcpkg/scripts/buildsystems/vcpkg.cmake -DVCPKG_TARGET_TRIPLET=x64-windows ..
     cmake --build . --config RELEASE --target INSTALL
     

  Ubuntu で RabbitToolbox のインストール（書きかけ）

  ソースコードからビルドして，インストールする．

  sudo apt -y update
  sudo apt -y install git cmake cmake-curses-gui cmake-gui
  sudo apt -y install clang libopencl-clang-dev libclc-dev
  cd /usr/local
  sudo rm -rf RabbitToolbox
  sudo git clone --recursive https://github.com/ray-cast/RabbitToolbox
  sudo chown -R $USER RabbitToolbox
  cd RabbitToolbox
  rm -rf build
  mkdir build
  cd build
  cmake -G "Unix Makefiles" \
  -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++ \
  -DCMAKE_C_FLAGS="-L/usr/lib/x86_64-linux-gnu" \
  -DUSE_OPENCL=OFF \
  ..
  cmake --build . --config RELEASE --target INSTALL
  

  Raspberry Pi

  Raspberry Pi は小型コンピュータ，Raspbian (Debian ベース) や Ubuntu が動く．

  Rapberry Pi のパスワードリセット

  Rapberry Pi のシステムは，SD カードに入っている． SD カードの所定のファイルを編集することで，パスワードを リセットできる． （このことからも，Raspberry Pi で大事なファイルを保持することは考えにくい

  1. 電源をオフ
  2. SD カードを取り出し，別のパソコンに入れる
  3. パソコンで，テキストファイル cmdline.txt を編集し， cmdline.txt の最後に「init=/bin/sh」を追加する．
  4. パソコンからSD カードを取り出し，Raspberry Pi に戻す
  5. Raspberry Pi を起動し，次のコマンドを実行

     su
     mount -rw -o remount /
     passwd pi
     sync
     sync
     sync
     sync
     sync
     

  Real-ESRGAN

  • Real-ESRGAN の GitHub のページ: https://github.com/xinntao/Real-ESRGAN
  • Real-ESRGAN の推論のデモページ: https://colab.research.google.com/drive/1k2Zod6kSHEvraybHl50Lys0LerhyTMCo?usp=sharing#scrollTo=7IMD5vhOYp68

    処理前の画像

    処理結果

  【関連項目】 GAN (Generative Adversarial Network), super resolution, video restoration, APA video super resolution

  ReLU

  ReLU (rectified linear unit) は，次の関数である．

  f(x) = 0 for x < 0, f(x) = x for x >= 0

  ReLUは，活性化関数としてよく使用されるもののうちの１つである． 活性化関数は，ニューロンの入力の合計から，そのニューロンの活性度の値を決めるためのもの． （他には，LReLU，シグモイド関数，ステップ関数，ソフトマックス関数などがある．

  Residual Networks (ResNets)

  residual function (残余関数)を特徴とするニューラルネットワーク

  画像分類のための利用，物体検出やセグメンテーションでの前段での利用などが行われている．

  Residual Networks は DeepLabv3, Inception-v4, Inception-ResNet, ResNet50, ResNet101, ResNet152, その他の ResNet, ResNeXt, RetinaNet, SpineNet など，種々のモデルで使用されている．

  • mask head アーキテクチャの論文

    Vighnesh Birodkar, Zhichao Lu, Siyang Li, Vivek Rathod, Jonathan Huang, The surprising impact of mask-head architecture on novel class segmentation, 2021.

    https://arxiv.org/pdf/2104.00613v2.pdf

  • SpineNet の論文

    Xianzhi Du, Tsung-Yi Lin, Pengchong Jin, Golnaz Ghiasi, Mingxing Tan, Yin Cui, Quoc V. Le, Xiaodan Song, SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization, CVPR 2020, 2020.

    https://arxiv.org/pdf/1912.05027v3.pdf

  • semi-supervised learning に関する論文

    Meta Pseudo Labels, Hieu Pham, Zihang Dai, Qizhe Xie, Minh-Thang Luong, Quoc V. Le, CVPR 2021, 2021. https://arxiv.org/pdf/2003.10580v4.pdf

  • DeepLabv3 に関する論文

    Liang-Chieh Chen, George Papandreou, Florian Schroff, Hartwig Adam, Rethinking Atrous Convolution for Semantic Image Segmentation, 2017.

    https://arxiv.org/pdf/1706.05587v3.pdf

  • RetinaNet に関する論文

    Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár, Focal Loss for Dense Object Detection, ICCV 2017, 2017.

    https://arxiv.org/pdf/1708.02002v2.pdf

  • Inception-v4, Inception-ResNet に関する論文

    Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, Alex Alemi, Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, 2016.

    https://arxiv.org/pdf/1602.07261v2.pdf

  • ResNet18, ResNet34, ResNet50, ResNet101, ResNet152 に関する論文

    Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition, CVPR 2016, 2016. https://arxiv.org/pdf/1512.03385v1.pdf

  • Papers with Code のページ: https://paperswithcode.com/method/resnet

  【関連項目】 DeepLabv3, ResNet50, ResNet101, ResNet152, その他の ResNet, ResNeXt, RetinaNet, semantic segmentation, 画像分類 物体検出,

  ResNet50, ResNet101, ResNet152, その他の ResNet

  Keras の ResNet50 を用いて ResNet50 のモデルを作成するプログラムは次のようになる． 「weights=one」を指定することにより，最初，重みをランダムに設定する．

  【Keras のプログラム】

  m = tf.keras.applications.resnet50.ResNet50(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
  

  CoRR, abs/1512.03385

  Keras の応用のページ: https://keras.io/ja/applications/

  【関連項目】 Residual Networks (ResNets), モデル, 画像分類

  PyTorch, torchvision の ResNet50 学習済みモデルのロード，画像分類のテスト実行

  PyTorch HUB のページ: https://pytorch.org/hub/pytorch_vision_resnet/ を参考にした．

  Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

  1. 前準備

     前準備として，Python のインストール, PyTorch のインストール を行う．

     Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

     次に，pip を用いて，pillow のインストールを行う．

     pip install -U pillow
     

  2. ImageNet データセット で学習済みのResNet50 モデルのロード

     PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

     import torch
     import torchvision.models as models
     device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
     m = models.resnet50(pretrained=True).to(device)
     

  3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

     from PIL import Image
     import requests
     from IPython.display import display
     # ダウンロードとロード
     url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
     response = requests.get(url)
     img = Image.open(requests.get(url, stream=True).raw)
     # 確認表示
     display(img)
     
  4. 画像の前処理．PyTorch で扱えるようにするため．

     from PIL import Image
     from torchvision import transforms
     img = Image.open(filename)
     preprocess = transforms.Compose([
         transforms.Resize(256),
         transforms.CenterCrop(224),
         transforms.ToTensor(),
         transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
     ])
     input_tensor = preprocess(img)
     input_batch = input_tensor.unsqueeze(0)
     

  5. 推論 (inference) の実行

     「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

     import torch
     if torch.cuda.is_available():
         input_batch = input_batch.to('cuda')
     m.eval()
     with torch.no_grad():
         output = m(input_batch)
     

  6. 結果の表示

     import urllib
     url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
     try: urllib.URLopener().retrieve(url, filename)
     except: urllib.request.urlretrieve(url, filename)
     with open("imagenet_classes.txt", "r") as f:
         categories = [s.strip() for s in f.readlines()]
     # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
     probabilities = torch.nn.functional.softmax(output[0], dim=0)
     print(probabilities)
     top5_prob, top5_catid = torch.topk(probabilities, 5)
     for i in range(top5_prob.size(0)):
         print(categories[top5_catid[i]], top5_prob[i].item())
     

     Google Colaboratory での結果

     Windows での結果

     Linux での結果

  PyTorch, torchvision の ResNet101 学習済みモデルのロード，画像分類のテスト実行

  PyTorch HUB のページ: https://pytorch.org/hub/pytorch_vision_resnet/ を参考にした．

  Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

  1. 前準備

     前準備として，Python のインストール, PyTorch のインストール を行う．

     Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

     次に，pip を用いて，pillow のインストールを行う．

     pip install -U pillow
     

  2. ImageNet データセット で学習済みのResNet101 モデルのロード

     PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

     import torch
     import torchvision.models as models
     device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
     m = models.resnet101(pretrained=True).to(device)
     

  3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

     from PIL import Image
     import requests
     from IPython.display import display
     # ダウンロードとロード
     url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
     response = requests.get(url)
     img = Image.open(requests.get(url, stream=True).raw)
     # 確認表示
     display(img)
     
  4. 画像の前処理．PyTorch で扱えるようにするため．

     from PIL import Image
     from torchvision import transforms
     img = Image.open(filename)
     preprocess = transforms.Compose([
         transforms.Resize(256),
         transforms.CenterCrop(224),
         transforms.ToTensor(),
         transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
     ])
     input_tensor = preprocess(img)
     input_batch = input_tensor.unsqueeze(0)
     

  5. 推論 (inference) の実行

     「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

     import torch
     if torch.cuda.is_available():
         input_batch = input_batch.to('cuda')
     m.eval()
     with torch.no_grad():
         output = m(input_batch)
     

  6. 結果の表示

     import urllib
     url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
     try: urllib.URLopener().retrieve(url, filename)
     except: urllib.request.urlretrieve(url, filename)
     with open("imagenet_classes.txt", "r") as f:
         categories = [s.strip() for s in f.readlines()]
     # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
     probabilities = torch.nn.functional.softmax(output[0], dim=0)
     print(probabilities)
     top5_prob, top5_catid = torch.topk(probabilities, 5)
     for i in range(top5_prob.size(0)):
         print(categories[top5_catid[i]], top5_prob[i].item())
     

     Google Colaboratory での結果

     Windows での結果

     Linux での結果

  PyTorch, torchvision の ResNet152 学習済みモデルのロード，画像分類のテスト実行

  PyTorch HUB のページ: https://pytorch.org/hub/pytorch_vision_resnet/ を参考にした．

  Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

  1. 前準備

     前準備として，Python のインストール, PyTorch のインストール を行う．

     Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

     次に，pip を用いて，pillow のインストールを行う．

     pip install -U pillow
     

  2. ImageNet データセット で学習済みのResNet152 モデルのロード

     PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

     import torch
     import torchvision.models as models
     device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
     m = models.resnet152(pretrained=True).to(device)
     

  3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

     from PIL import Image
     import requests
     from IPython.display import display
     # ダウンロードとロード
     url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
     response = requests.get(url)
     img = Image.open(requests.get(url, stream=True).raw)
     # 確認表示
     display(img)
     
  4. 画像の前処理．PyTorch で扱えるようにするため．

     from PIL import Image
     from torchvision import transforms
     img = Image.open(filename)
     preprocess = transforms.Compose([
         transforms.Resize(256),
         transforms.CenterCrop(224),
         transforms.ToTensor(),
         transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
     ])
     input_tensor = preprocess(img)
     input_batch = input_tensor.unsqueeze(0)
     

  5. 推論 (inference) の実行

     「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

     import torch
     if torch.cuda.is_available():
         input_batch = input_batch.to('cuda')
     m.eval()
     with torch.no_grad():
         output = m(input_batch)
     

  6. 結果の表示

     import urllib
     url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
     try: urllib.URLopener().retrieve(url, filename)
     except: urllib.request.urlretrieve(url, filename)
     with open("imagenet_classes.txt", "r") as f:
         categories = [s.strip() for s in f.readlines()]
     # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
     probabilities = torch.nn.functional.softmax(output[0], dim=0)
     print(probabilities)
     top5_prob, top5_catid = torch.topk(probabilities, 5)
     for i in range(top5_prob.size(0)):
         print(categories[top5_catid[i]], top5_prob[i].item())
     

     Google Colaboratory での結果

     Windows での結果

     Linux での結果

  ResNeXt

  ResNeXt は，ResNet の redidual unit で grouped conv3x3 を使うとともに，conv2x1 の次元削減率を抑制することにより，速度を低下させず，精度を向上させるものである．

  • 文献

    Saining Xie, Ross B. Girshick, Piotr Doll{\'{a}}r, Zhuowen Tu, Kaiming He, Aggregated Residual Transformations for Deep Neural Networks, CoRR, abs/1611.05431, 2016.

    https://arxiv.org/pdf/1611.05431.pdf

  • Papers with Code のページ: https://paperswithcode.com/model/resnext
  • PyTorch HUB のページ: https://pytorch.org/hub/pytorch_vision_resnext/

  【関連項目】 PyTorch, torchvision のモデル, Residual Networks (ResNets), SE ResNeXt, モデル, 画像分類

  PyTorch, torchvision の ResNeXt50 32x4d 学習済みモデルのロード，画像分類のテスト実行

  PyTorch HUB のページ: https://pytorch.org/hub/pytorch_vision_resnext/ を参考にした．

  Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

  1. 前準備

     前準備として，Python のインストール, PyTorch のインストール を行う．

     Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

     次に，pip を用いて，pillow のインストールを行う．

     pip install -U pillow
     

  2. ImageNet データセット で学習済みのResNeXt50 32x4d モデルのロード

     PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

     import torchvision.models as models
     m = models.resnext50_32x4d(pretrained=True).to(device)
     

  3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

     from PIL import Image
     import requests
     from IPython.display import display
     # ダウンロードとロード
     url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
     response = requests.get(url)
     img = Image.open(requests.get(url, stream=True).raw)
     # 確認表示
     display(img)
     
  4. 画像の前処理．PyTorch で扱えるようにするため．

     from PIL import Image
     from torchvision import transforms
     img = Image.open(filename)
     preprocess = transforms.Compose([
         transforms.Resize(256),
         transforms.CenterCrop(224),
         transforms.ToTensor(),
         transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
     ])
     input_tensor = preprocess(img)
     input_batch = input_tensor.unsqueeze(0)
     

  5. 推論 (inference) の実行

     「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

     import torch
     if torch.cuda.is_available():
         input_batch = input_batch.to('cuda')
     m.eval()
     with torch.no_grad():
         output = m(input_batch)
     

  6. 結果の表示

     import urllib
     url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
     try: urllib.URLopener().retrieve(url, filename)
     except: urllib.request.urlretrieve(url, filename)
     with open("imagenet_classes.txt", "r") as f:
         categories = [s.strip() for s in f.readlines()]
     # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
     probabilities = torch.nn.functional.softmax(output[0], dim=0)
     print(probabilities)
     top5_prob, top5_catid = torch.topk(probabilities, 5)
     for i in range(top5_prob.size(0)):
         print(categories[top5_catid[i]], top5_prob[i].item())
     

     Google Colaboratory での結果

     Windows での結果

     Linux での結果

  PyTorch, torchvision の ResNeXt101 32x8d 学習済みモデルのロード，画像分類のテスト実行

  PyTorch HUB のページ: https://pytorch.org/hub/pytorch_vision_resnext/ を参考にした．

  Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

  1. 前準備

     前準備として，Python のインストール, PyTorch のインストール を行う．

     Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

     次に，pip を用いて，pillow のインストールを行う．

     pip install -U pillow
     

  2. ImageNet データセット で学習済みのResNeXt101 32x8d モデルのロード

     PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

     import torch
     import torchvision.models as models
     device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
     m = models.resnext101_32x8d(pretrained=True).to(device)
     

  3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

     from PIL import Image
     import requests
     from IPython.display import display
     # ダウンロードとロード
     url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
     response = requests.get(url)
     img = Image.open(requests.get(url, stream=True).raw)
     # 確認表示
     display(img)
     
  4. 画像の前処理．PyTorch で扱えるようにするため．

     from PIL import Image
     from torchvision import transforms
     img = Image.open(filename)
     preprocess = transforms.Compose([
         transforms.Resize(256),
         transforms.CenterCrop(224),
         transforms.ToTensor(),
         transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
     ])
     input_tensor = preprocess(img)
     input_batch = input_tensor.unsqueeze(0)
     

  5. 推論 (inference) の実行

     「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

     import torch
     if torch.cuda.is_available():
         input_batch = input_batch.to('cuda')
     m.eval()
     with torch.no_grad():
         output = m(input_batch)
     

  6. 結果の表示

     import urllib
     url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
     try: urllib.URLopener().retrieve(url, filename)
     except: urllib.request.urlretrieve(url, filename)
     with open("imagenet_classes.txt", "r") as f:
         categories = [s.strip() for s in f.readlines()]
     # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
     probabilities = torch.nn.functional.softmax(output[0], dim=0)
     print(probabilities)
     top5_prob, top5_catid = torch.topk(probabilities, 5)
     for i in range(top5_prob.size(0)):
         print(categories[top5_catid[i]], top5_prob[i].item())
     

     Google Colaboratory での結果

     Windows での結果

     Linux での結果

  RetinaNet

  focal loss 関数を特徴とする物体検出のモデルである．

  • https://arxiv.org/pdf/1708.02002v2.pdf
  • Detectron のページ: https://github.com/facebookresearch/detectron
  • TensorFlow のモデルのページ: https://github.com/tensorflow/models
  • OpenMMLab の mmdetection のページ: https://github.com/open-mmlab/mmdetection
  • Papers with Code のページ: https://paperswithcode.com/method/retinanet

  【関連項目】 Detectron, OpenMMLab, Residual Networks (ResNets), SpineNet, モデル, TensorFlow, YOLOv3, 物体検出

  Reuters newswire topics データセット

  Reuters newswire topics データセットは，公開されているデータセット（オープンデータ）である．

  Reuters newswire topics データセットは，次のプログラムでロードできる．

  from tensorflow.keras.datasets import reuters
  (x_train, y_train), (x_test, y_test) = reuters.load_data()
  

  【関連項目】 Keras に付属のデータセット,

  RNN (recurrent neural network)

  ある層でのニューロンでの結果を，１つ前の層が受け取ったり， その層が受け取ったりするようにニューラルネットワークを作る場合もある． そのようなニューラルネットワークを「リカレントニューラルネットワーク」という． リカレントニューラルネットワークは，フィードフォワードではない． リカレントニューラルネットワークでは，前回の実行時での結果の一部が，次の実行に反映される．

  【関連項目】 GRU (Gated Recurrent Neural Networks), LSTM (Long Short-Term Memory), フィードフォワード

  rwightman の PyTorch Image Models (TIMM)

  rwightman の PyTorch Image Models (TIMM) は， 画像分類の機能を持つライブラリ． 300以上の事前学習済みの画像分類モデルを簡単に利用することができる． ImageNet などのデータセットを用いた学習を簡単に行えるためのスクリプトも提供される． 事前学習済みの画像分類モデルを，自分自身のデータを用いてファインチューニング (fine tuning）を行うことを簡単に行える スクリプトも提供される．

  学習，検証，推論を行うスクリプトは， https://rwightman.github.io/pytorch-image-models/scripts/ で説明が行われている．

  • 公式の GitHub のページ: https://github.com/rwightman/pytorch-image-models
  • rwightman の PyTorch Image Models (TIMM) の画像分類モデルの説明（Papers With Code 内）: https://paperswithcode.com/lib/timm
  • Paper with Code の URL: https://paperswithcode.com/lib/timm

  【関連項目】 PyTorch, torchvision のモデル, モデル, 画像分類 (image classification)

  Google Colaboratory での rwightman の PyTorch Image Models (TIMM) のインストール

  次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

  1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
  2. rwightman の PyTorch Image Models (TIMM) のインストール

     !git clone https://github.com/rwightman/pytorch-image-models.git
     %cd pytorch-image-models
     !python3 setup.py install
     

  3. 確認のため，rwightman の PyTorch Image Models (TIMM) のモデルの一覧を表示

     from IPython.display import display
     import timm
     model_names = timm.list_models(pretrained=True)
     display(model_names)
     

  4. 確認のため，MobileNetV3の検証を行うプログラムを実行

     m = timm.create_model('mobilenetv3_large_100', pretrained=True)
     m.eval()
     

  5. 画像ファイルを置くためのディレクトリを作り，そこに画像ファイルを置く

     画像ファイルは複数でも良い．下の図では，img を作り，そこに画像ファイルを１つ置いている．
  6. 推論を実行

     画像分類の結果が表示される．

     事前学習済みの MobileNetV3 を使用している．

     !rm -f topk_ids.csv
     !python3 inference.py ./img --model mobilenetv3_large_100 --pretrained
     !cat topk_ids.csv
     
  7. 推論を実行

     画像分類の結果が表示される．

     事前学習済みの SE ResNeXt を使用している．

     !rm -f topk_ids.csv
     !python3 inference.py ./img --model seresnext26t_32x4d --pretrained
     !cat topk_ids.csv
     

  Windows での rwightman の PyTorch Image Models (TIMM) のインストール

  1. 前準備：事前に Python のインストール, Git のインストール, NVIDIA CUDA ツールキット，NVIDIA cuDNN のインストールを行うこと．
  2. コマンドプロンプトを管理者として実行
  3. CUDA 用の PyTorch のインストール

     公式ページ https://pytorch.org/ の記載により，最新版をインストールしている．

     pip install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio===0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
     

  4. rwightman の PyTorch Image Models (TIMM) のインストール

     git clone https://github.com/rwightman/pytorch-image-models.git
     cd pytorch-image-models
     python setup.py install
     

  5. 確認のため，rwightman の PyTorch Image Models (TIMM) のモデルの一覧を表示

     python
     import timm
     model_names = timm.list_models(pretrained=True)
     print(model_names)
     exit()
     
  6. 確認のため，MobileNetV3の検証を行うプログラムを実行

     python
     import timm
     m = timm.create_model('mobilenetv3_large_100', pretrained=True)
     m.eval()
     exit()
     
  7. 画像ファイルを置くためのディレクトリを作り，そこに画像ファイルを置く

     画像ファイルは複数でも良い．下の図では，img を作り，そこに画像ファイルを１つ置いている．
  8. 推論を実行

     画像分類の結果が表示される．

     事前学習済みの MobileNetV3 を使用している．

     del /s topk_ids.csv
     python inference.py ./img --model mobilenetv3_large_100 --pretrained
     type topk_ids.csv
     
  9. 推論を実行

     画像分類の結果が表示される．

     事前学習済みの SE ResNeXt を使用している．

     del /s topk_ids.csv
     python inference.py ./img --model seresnext26t_32x4d --pretrained
     type topk_ids.csv
     

  R システム

  R システムは，統計計算とグラフィックスのソフトウエアで，多数の機能を持つ． R システムの詳細は，そのホームページ https://www.r-project.org/ に記載されている．

  R システムの CRAN の URL: https://cran.r-project.org/

  R システムの運用（パッケージのインストール，タスク・ビューのインストール，パッケージの更新など

  • CRAN ミラーサイトの選択

    chooseCRANmirror()
    

  • パッケージのインストール（メニューから指定）

    utils:::menuInstallPkgs()
    

  • パッケージのインストール（パッケージ名を指定）

    install.packages("＜パッケージ名＞")
    

  • タスク・ビュー Cluster のインストール

    タスク・ビューの詳細については，CRAN Task View のページ: https://cran.r-project.org/web/views/

    options(repos="http://cran.rstudio.com")
    install.packages("ctv", repos="http://cran.rstudio.com/")
    library(ctv)
    install.views("Cluster")
    

    bioclite のインストール

    source("http://bioconductor.org/biocLite.R") 
    biocLite(groupName="all") 
    

  • すべてのパッケージの更新

    update.packages(checkBuilt=TRUE, ask=FALSE)
    

  サイト内の関連ページ

  • Windows での R システムのインストール: 別ページで説明している．
  • Ubuntu での R システムのインストール: 別ページで説明している．
  • R システムの活用: 別ページにまとめている．
  • Shiny によるデータシステム演習: 別ページにまとめている．
  • R システムを用いたデータサイエンス，データ分析（主成分分析，クラスタリングなど）: 別のページで説明している．

  【関連項目】 R データセット

  R データセット (Rdatasets)

  R データセット (Rdatasets)は， 1700 を超えるデータセットの集まり．

  R データセット (Rdatasets) の URL: https://vincentarelbundock.github.io/Rdatasets

  Python で R データセット (Rdatasets)を用いる場合には， 次のように，データ名とパッケージを指定する． データ名とパッケージは，https://vincentarelbundock.github.io/Rdatasets で確認できる．

  import statsmodels.api as sm
  df = sm.datasets.get_rdataset("Duncan", "carData")
  print(df.__doc__)
  print(df.data)
  

  【関連項目】 R システム, オープンデータ

  SBU データセット

  SBU データセットは，影画像に関するデータセットである． 機械学習での影検出の学習や検証に利用できるデータセット

  SBU データセットは，次の URL で公開されているデータセット（オープンデータ）である．

  SBU データセット の URL: https://www3.cs.stonybrook.edu/~cvl/projects/shadow_noisy_label/index.html

  【関連情報】

  • 文献

    Large-scale Training of Shadow Detectors with Noisily-Annotated Shadow Examples, Vicente, T.F.Y., Hou, L., Yu, C.-P., Hoai, M., Samaras, D., Proceedings of European Conference on Computer Vision (ECCV), 2016.

  • PyTorch の SBU データセット https://pytorch.org/vision/stable/datasets.html

  scikit-learn

  scikit-learnは，分類，会期，クラスタリング，次元削減，Model selection などの機械学習の 機能を持つ Pythonのパッケージ

  scikit-learn の URL: https://scikit-learn.org/stable/

  オープンソースの Python の機械学習プラットフォーム．URL は次のとおりである．

  SCRFD (Sample and Computation Redistribution for Face Detection)

  SCRFD は顔検出の手法である． TinaFace に対しては，画像が低解像度のとき速く処理できない，そして，一般の物体認識法である RetinaNet をベースに設計されているために，顔検出 (face detection)に用いるには冗長であったり、最適化しつくし切れていない という見解が示されているようである． WIDER FACE データセット の HARD レベルの顔は，78.83% の顔が 32x32 画素よりも小さいということも示されている． SCRFD では，探索空間の削減のために， sample redistribution と computation redistribution を 2段階で行う方法が提案されている． WIDER FACE データセット による実験結果では，TinaFace を精度と性能で上回るとされている．

  • 文献

    Jia Guo, Jiankang Deng, Alexandros Lattas, Stefanos Zafeiriou, Sample and Computation Redistribution for Efficient Face Detection, 2021. arXiv:2105.04714 [cs.CV]

    https://arxiv.org/pdf/2105.04714v1.pdf

  • Papers with Code のページ:
  • ソースコード: https://github.com/deepinsight/insightface
  • SCRFD の事前学習済みモデル（InsightFace 内）: https://github.com/deepinsight/insightface/tree/master/detection/scrfd
  • SCRFD の実行については，InsightFace の項目で説明している．

  【関連項目】 InsightFace, RetinaNet, TinaFace, 顔検出 (face detection)

  Google Colaboratory で SCRFD のインストール

  InsightFace の SCRFD のインストールは， 次のページで説明されている．

  https://github.com/deepinsight/insightface/tree/master/detection/scrfd

  このページの手順によりインストールを行う．

  次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

  1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
  2. NVIDIA CUDA ツールキット のバージョンを確認

     import torch
     CUDA_VERSION = torch.__version__.split("+")[-1]
     print(CUDA_VERSION)
     
  3. PyTorch のバージョンを確認

     import torch
     TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
     print(TORCH_VERSION)
     
  4. MMCV のインストール

     https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

     NVIDIA CUDA ツールキット 11.1, PyTorch 1.10 がインストール済みの場合には，次のようになる

     「cu111/torch1.10」のところは， NVIDIA CUDA ツールキット のバージョン， PyTorch のバージョンに合わせる

     バージョンについては，公式のページ https://github.com/open-mmlab/mmcv に説明がある．

     !apt remove python3-pycocotools
     !pip3 uninstall -y pycocotools
     !pip3 install mmpycocotools
     !apt install -y python3-terminaltables
     !pip3 uninstall -y opencv-python opencv-contrib-python
     !pip3 install -U opencv-python-headless opencv-contrib-python-headless
     !pip3 install mmcv-full==1.3.3 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.10/index.html
     
  5. SCRFD のインストール

     !git clone --recursive https://github.com/deepinsight/insightface
     %cd insightface/detection/scrfd
     !pip3 install dask==2022.01.0
     !pip3 install -r requirements/build.txt
     !export CUDA_HOME='/usr/local/cuda'
     !python3 setup.py develop
     

  SE ResNeXt

  SE ResNeXt は， ResNeXt" からの派生であり， チャンネル単位での特徴の再キャリブレーションを可能にするための squeeze-and-excitation ブロックを特色とする．

  • 文献

    Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu, Squeeze-and-Excitation Networks, CoRR, abs/1709.01507v4

    https://arxiv.org/pdf/1709.01507v4.pdf

  • 公式の実装: https://github.com/hujie-frank/SENet
  • Papers With Code のページ: https://paperswithcode.com/paper/squeeze-and-excitation-networks

  【関連項目】 PyTorch, torchvision のモデル, Residual Networks (ResNets), ResNeXt", モデル, 画像分類

  ShapeNet データセット

  ShapeNet データセットは，3次元CADモデルのリポジトリである．

  • 3億個以上の 3次元CADモデル
  • 220,000個のモデルが，WordNetのにより，3,135のクラスに分類されている．
  • ShapeNet Partsサブセットでは，31,693個のメッシュ形式データが，16のオブジェクトクラス（テーブル，椅子，飛行機など）に分類されている．

  ShapeNet データセット は次の URL で公開されているデータセット（オープンデータ）である．

  URL: https://shapenet.org/

  【関連情報】

  • ShapeNet: An Information-Rich 3D Model Repository, Angel X. Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qi-Xing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, Jianxiong Xiao, Li Yi, Fisher Yu,

    https://arxiv.org/pdf/1512.03012v1.pdf

  • Papers With Code の ShapeNet データセットのページ: https://paperswithcode.com/dataset/shapenet

  Shiny のインストール

  R システムで Shiny のインストールを行うには， R システムで次のコマンドを実行．

  install.packages("shiny")
  

  R システムの主な機能は，次の URL にまとめている． https://www.kkaneko.jp/data/r/rintro.html

  Shiny によるデータシステム演習は，次の URL にまとめている． https://www.kkaneko.jp/cc/shiny/index.html

  softmax

  分類モデルにおいて， クラスの確率を提供する関数．

  SPP (Spatial Pyramid Pooling)

  CNN (convolutional neural network) を用いた 画像分類において， 入力として固定サイズの画像（例えば 224x224）を要求していることを不要にできるための１手法． spatial pyramid pooling と呼ばれる pooling 戦略が導入されている． CNN を使用する画像分類全般に使える手法であるとされている．

  CSPNet の公式の実装 (GitHub) のページでは， SPP を用いた物体検出として， CSPDarknet53-PANet-SPP, CSPResNet50-PANet-SPP, CSPResNeXt50-PANet-SPP 等の実装が公開されている．

  • 文献

    Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition, CoRR, abs/1406.4729

    https://arxiv.org/pdf/1406.4729v4.pdf, 2014.

  • CSPNet の公式の実装 (GitHub) のページ: https://github.com/WongKinYiu/CrossStagePartialNetworks

  【関連項目】 画像分類

  SQLite 3

  SQLite 3は，パブリックドメインの組み込み型の リレーショナルデータベース管理システム．

  SQLite 3 の URL: http://www.sqlite.org

  SQLite 3 のコピーライト: http://www.sqlite.org/copyright.html

  SQLite 3は次の特徴を持つ．

  • アカウント（ユーザ名やパスワード）の機能がない
  • サーバクライアントとして動かないことが前提．
  • 設定なしで動く

  サーバクライアントで動かす（マルチユーザで使う，オンラインで使うなど）の場合は，並行処理制御，リモートとの通信の機能は SQLite 3 にないので，利用者側でこの機能を整える必要がある． SQL92 の全機能はない．

  【サイト内の関連ページ】

  • SQLite 3 によるSQL 演習，SQLite 3 のインストールと活用について：別ページにまとめている．

  参考 Web ページ

  • SQLite 3の SQL の説明：http://www.hwaci.com/sw/sqlite/lang.html
  • SQLite 3 コマンドラインシェルの説明：http://www.sqlite.org/sqlite.html

  SQLite 3 コマンドラインシェル

  SQLite 3 コマンドラインシェルは，Windows のコマンドプロンプトや Linux のシェルなどで動作するツールである．主な機能は次の通りである．

  • SQLite 3 のデータベースの新規作成
  • 既存のデータベースを開く
  • SQL の編集と実行
  • テーブルの CSV ファイル形式でのエクスポート
  • .explain による SQL 実行計画の表示
  • ファイルに入った SQL の実行
  • データベーススキーマの表示
  • テーブルのテキストファイル形式でのダンプとリストア

  【サイト内の関連ページ】

  • SQLite 3 コマンドラインシェルの主な機能: 別ページで説明している．
  • SQLite 3 のインストール，活用，SQL 演習について：別ページにまとめている．

  SSIM (Structural Similarity)

  SSIM は，動画や写真の品質を評価したり，類似性を判定するのに使用する． ImageMagick を用いて算出できる．

  compare -metric SSIM 1.png 2.png NULL:
  

  【関連項目】 LPIPS (Learned Perceptual Image Patch Similarity)

  short-time Fourier transform (STFT)

  short-time Fourier transform (STFT) は， 短い区間のオーバーラッピングウインドウ (overlappig window) を 用いて離散フーリエ変換 (DFT) を行うことにより求める．

  【関連項目】 librosa, 音データ（sound data）

  statsmodels

  PyPI の URL: https://pypi.org/project/statsmodels/

  Ubuntu でのインストール

  sudo apt install python3-statsmodels
  

  Stoop

  Stoop は，金融に関するポータルサイト．

  URL: https://stooq.pl/

  【関連項目】 株価データ

  Structure from Motion (SfM)

  オブジェクトを周囲から撮影した多数の複数画像から， 撮影位置と方向，オブジェクトの３次元点群を構成する．

  【関連項目】 3次元再構成 (3D reconstruction), meshroom, Multi View Stereo, OpenMVG, OpenMVS

  Sunspot Number データセット（黒点数のデータセット）

  太陽の黒点数の観測データである．

  次の URL で公開されているデータセット（オープンデータ）である．

  URL: https://wwwbis.sidc.be/silso/datafiles

  データは数種類ある． 毎日の黒点数のデータは， SN_d_tot_V2.0.csv というファイル名で公開されている． 属性は， (year, month, day, decimal year, SNvalue , SNerror, Nb observations) である

  【関連項目】 time-series data

  SVHN (The Street View House Numbers, ストリートビュー家番号) データセット

  ストリートビュー家番号データセット (SVHN) は，小さく切り取られた数字の画像で，ラベル付けがされている． 機械学習での画像分類の学習や検証に利用できるデータセット

  • 実写（自然風景の画像中の数字や数値の認識）に由来．Googleストリートビュー画像中の家の番号から得ている．
  • 0から9までの数字が示された，32x32の，RGBカラー画像600000枚を含む．さらに，学習の助けになるように，530000枚の画像も含まれている．
  • 数字が切り取られ，中央にくるように調整されているが，近くにある他の数字や，妨げになるようなものは，そのまま残されている．

  ストリートビュー家番号データセット (SVHN) は，次の URL で公開されているデータセット（オープンデータ）である．

  http://ufldl.stanford.edu/housenumbers/

  【関連情報】

  • 文献

    Netzer, Yuval and Wang, Tao and Coates, Adam and Bissacco, Alessandro and Wu, Bo and Ng, Andrew Y., https://www.bibsonomy.org/bibtex/263f0dc176f197808682a84b6ec5fa1aa/kirk8

    http://ufldl.stanford.edu/housenumbers/nips2011_housenumbers.pdf

  • Papers With Code の SVHN データセットのページ: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.SVHN
  • TensorFlow データセットの SVHN データセット: https://www.tensorflow.org/datasets/catalog/svhn_cropped

  svn

  svn は，バージョン管理システム

  Windows での svn のインストール

  Windows では，TortoiseSVN を，次の手順で， wingetを用いてインストールできる．

  1. winget をインストール
  2. コマンドプロンプトを管理者として実行し，「winget install TortoiseSVN」を実行

  TecoGAN

  • 文献, Mengyu Chu, You Xie, Jonas Mayer, Laura Leal-Taixé, Nils Thuerey, Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation, CoRR, abs/1811.09393v4, 2018.

    https://arxiv.org/pdf/1811.09393v4.pdf

  • TecoGAN の GitHub のページ: https://github.com/thunil/TecoGAN
  • 公式のデモページ（Google Colaboratory）: https://colab.research.google.com/drive/1vgD2HML7Cea_z5c3kPBcsHUIxaEVDiIc
  • PaperswithCode のページ: https://paperswithcode.com/paper/temporally-coherent-gans-for-video-super

  関連項目 GAN (Generative Adversarial Network), super resolution, video super resolution

  Google Colaboratory での TecoGAN のインストールと動作確認

  次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

  !pip3 install tensorflow==1.15.5
  !pip3 install -U keras==2.3.1
  !pip3 install git+https://www.github.com/keras-team/keras-contrib.git
  !git clone https://github.com/thunil/TecoGAN
  %cd TecoGAN
  !pip3 install -U -r requirements.txt
  !python runGan.py 0
  !python runGan.py 1
  from IPython.display import Image, display
  display(Image('LR/calendar/0001.png'))
  display(Image('results/calendar/output_0001.png'))
  

  Ubuntu での TecoGAN のインストールと動作確認

  前準備：事前に Python のインストール, NVIDIA CUDA ツールキット，NVIDIA cuDNN のインストールを行うこと．

  1. pyenv のダウンロードと更新

     端末で，次のコマンドを実行する．

     cd /tmp
     git clone https://github.com/pyenv/pyenv.git ~/.pyenv
     cd ~/.pyenv
     git pull
     src/configure 
     make -C src
     

  2. pyenv の設定

     端末で，次のコマンドを実行する．

     echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.profile
     echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.profile
     echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.profile
     echo '    eval "$(pyenv init --path)"' >> ~/.profile
     echo 'fi' >> ~/.profile
     echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.profile
     exec $SHELL -l
     source ~/.profile
     

  3. python 3.6 のインストールと有効化（pyenv を使用）

     端末で，次のコマンドを実行する．

     「pyenv install -l | grep 3.6」でインストールできる最新バージョンを確認

     pyenv install -l | grep 3.6
     pyenv install 3.6.15
     pyenv shell 3.6.15
     python -m pip install -U pip setuptools
     

  4. TecoGAN をUbuntu でインストールを行うには，端末で，次のコマンドを実行する．

     sudo apt -y update
     sudo apt -y install git
     cd /usr/local
     sudo rm -rf TecoGAN
     sudo git clone https://github.com/thunil/TecoGAN
     sudo chown -R $USER TecoGAN
     cd /usr/local/TecoGAN
     pip install -U tensorflow-gpu==1.15.5
     pip install -U keras==2.3.1
     pip install git+https://www.github.com/keras-team/keras-contrib.git
     pip install -U -r requirements.txt
     pip list
     

  5. 学習済モデルのダウンロード

     公式ページに記載の https://github.com/thunil/TecoGAN の手順に従う．

     cd /usr/local/TecoGAN
     python runGan.py 0
     

  6. 確認のため実行してみる

     公式ページに記載の https://github.com/thunil/TecoGAN の手順に従う．

     python runGan.py 1
     

  結果のうち一部を下に示す．画像は原寸で（拡大縮小せずに）表示している．

  • 処理前
  • 処理後

  TensorFlow

  tensorflowは， データフローグラフ (data flow graph) を特色とするフレームワークの機能を持つ Pythonのパッケージ． データフローグラフでは， 節が数値演算，枝が多次元の配列（テンソル）になっている．

  TensorFlow の URL: https://www.tensorflow.org

  参考 Web ページ

  • 文献

    TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems

    https://arxiv.org/pdf/1603.04467v2.pdf

  • Papers with Code のページ: https://paperswithcode.com/paper/tensorflow-large-scale-machine-learning-on
  • TensorFlow のWeb ページ: http://tensorflow.org/
  • github のページ: https://github.com/tensorflow/tensorflow
  • TensorFlow 2.00 リリースノート: https://github.com/tensorflow/tensorflow/releases/tag/v2.0.0
  • チュートリアル: http://tensorflow.org/tutorials, https://github.com/nlintz/TensorFlow-Tutorials
  • whitepaper: http://download.tensorflow.org/paper/whitepaper2015.pdf

  TensorFlow で，GPU のメモリ不足でエラーメッセージがでて，プログラムが止まる場合， プログラムの先頭部分に次を追加すると解決する場合がある．

  メッセージ

  Internal: Attempting to perform BLAS operation using StreamExecutor without BLAS support

  解決策：Python プログラムの先頭部分に次を追加すると解決する場合がある．

  import tensorflow as tf
  gpus = tf.config.experimental.list_physical_devices('GPU')
  tf.config.experimental.set_memory_growth(gpus[0], True)
  

  【関連項目】 Applications of Deep Neural Networks, Keras, ディープラーニング

  TensorFlow が必要とする Python と NIDIA CUDA ツールキットとNIDIA cuDNN のバージョン

  TensorFlow は，そのバージョンによって，必要となる Python，NVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョンが違う．必ずしも，「最新の NVIDIA CUDA ツールキット，NVIDIA cuDNN で動く」ということではないので，注意が必要である． そのことは，https://www.tensorflow.org/install/gpu で確認できる．

  そこで， まずは，使用したい TensorFlow のバージョンにより， 必要な Python, NVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョンを決める．

  • NVIDIA グラフィックスドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
  • NVIDIA CUDA ツールキットの URL: https://developer.nvidia.com/cuda-toolkit-archive
  • NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn から cuDNN を入手

    ダウンロードして展開（解凍）したら，パスを通しておくこと．

  • TensorFlow 2.7 GPU 版: Python は Python 3.9 または Python 3.8 または Python 3.7 (https://pypi.org/project/tensorflow/2.7/#files)， NVIDIA CUDA ツールキットのバージョンは，11.5 や 11.4 で動くようである．（11.5は，2021/11 時点の最新版である）．NVIDIA cuDNN のバージョンは 8.3 系列（2021/11 時点で，NVIDIA CUDA ツールキット 11.5 で動く最新版）．
  • TensorFlow 2.6 GPU 版: Python は Python 3.9 または Python 3.8 または Python 3.7 または Python 3.6 (https://pypi.org/project/tensorflow/2.6/#files)， NVIDIA CUDA ツールキットのバージョンは，11.4 や 11.3 で動くようである（11.5 やそれ以上は使わない）．NVIDIA cuDNN のバージョンは 8.2 系列．
  • TensorFlow 2.5 GPU 版: Python は Python 3.9 または Python 3.8 または Python 3.7 または Python 3.6 (https://pypi.org/project/tensorflow/2.5/#files)， NVIDIA CUDA ツールキットのバージョンは，11.4 や 11.3 で動くようである（11.5 やそれ以上は使わない）．NVIDIA cuDNN のバージョンは 8.2 系列．
  • TensorFlow 2.4 GPU 版: Python は Python 3.8 または Python 3.7 または Python 3.6 (https://pypi.org/project/tensorflow/2.4/#files)， NVIDIA CUDA ツールキットのバージョンは，11.0 で動くようである（11.1 やそれ以上は使わない）．NVIDIA cuDNN のバージョンは 8.0.5が良さそうである．
  • TensorFlow 2.3, 2.2 GPU 版: Python は Python 3.8 または Python 3.7 または Python 3.6 または Python 3.5 (https://pypi.org/project/tensorflow/2.3/#files, https://pypi.org/project/tensorflow/2.2/#files)， NVIDIA CUDA ツールキットのバージョンは 10.1 が指定されている．NVIDIA cuDNN のバージョンは 7 系列 （まずは，7.6.5を使い，7.6.5でうまく動かない場合には 7.4.2 を試す）．8 系列では動かない．
  • TensorFlow 2.1, 2.0 GPU 版: Python は Python 3.7 または Python 3.6 または Python 3.5 (https://pypi.org/project/tensorflow/2.1/#files, https://pypi.org/project/tensorflow/2.0/#files)， NVIDIA cuDNN のバージョンは 7 系列 （まずは，7.6.5を使い，7.6.5でうまく動かない場合には 7.4.2 を試す）．8 系列では動かない．
  • TensorFlow 1.15 GPU 版: Python は Python 3.7 または Python 3.6 (https://pypi.org/project/tensorflow/1.15.5/#files)， NVIDIA CUDA ツールキット のバージョンは 10.0 （10.1 以上は不可），NVIDIA cuDNN のバージョンは 7 系列 （まずは，7.6.5を使い，7.6.5でうまく動かない場合には 7.4.2 を試す）．8 系列では動かない．
  • TensorFlow 1.13, 1.14 GPU 版: NVIDIA cuDNN のバージョンは 7 系列 （まずは，7.6.5を使い，7.6.5でうまく動かない場合には 7.4.2 を試す）．8 系列では動かない．

  指定されているバージョンより高いものは使わない． その根拠は次のページ． URL: https://www.tensorflow.org/install/source#common_installation_problems