トップページ -> データベース関連技術 -> 顔検出、顔識別 -> 顔検出（ipazc/MTCNN，Python 3.6, TensorFlow 1.15，Dlib を使用）
[サイトマップへ], [サイト内検索へ]

顔検出（ipazc/MTCNN，Python 3.6, TensorFlow 1.15，Dlib を使用）

サイト構成 データベース関連技術 データの扱い インストール，設定，利用 プログラミング 授業資料 サポートページ 連絡先，業績など

MTCNN は Multi-task CNN (参考 Web ページ: https://github.com/open-face/mtcnn, 原論文: https://kpzhang93.github.io/MTCNN_face_detection_alignment/paper/spl.pdf)

手順の要点: Python 3.6, TensorFlow 1.15, Python の仮想環境（Windows では C:\venv\tf115py36）

ソフトウエア等の利用条件は，利用者で確認すること．

サイト内の関連ページ:

謝辞：MTCNN の考案者、そして、プログラムの作者に感謝します

参考Webページ https://www.github.com/ipazc/mtcnn

前準備

Python 3.6 のインストール，pip の更新

※ TensorFlow 1.15.3 に対応する Python は，3.6 や 3.7 など（3.8 は対応していない）（2020/06 時点）．このページでは 3.6 を使って説明する．3.7 でも同様の手順になる．

Windows の場合

  1. Python 3.6 のインストール

    Python の URL: http://www.python.org/

    インストール手順の詳細は： 別ページで説明している．

  2. pip と setuptools の更新

    コマンドプロンプトを管理者として実行し，次のコマンドを実行． 

    py -3.6 -m pip install -U pip setuptools

Ubuntu の場合

次の手順により，システム Python とは別に，pyenv を用いて Pytnon 3.6 をインストールする．（システム Python の設定は変えたくないため）．

  1. pyenv のインストールと設定

    図などの入った詳しい説明は別ページ． 

    sudo apt -yV install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
cd /tmp
curl https://pyenv.run | bash
echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
echo '    eval "$(pyenv init -)"' >> ~/.bashrc
echo '    eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
echo 'fi' >> ~/.bashrc
exec $SHELL -l
  2. 次のコマンドにより，pyenv を用いて Python 3.6.10 をインストール 
    pyenv install 3.6.10

  3. Ubuntu では端末を開く．
  4. pyenv の Python 3.6 の有効化． pip と setuptools の更新，Python 開発環境（JupyterLab, spyder）のインストール

    次のコマンドを実行． 

    pyenv shell 3.6.10
python -m pip install -U pip setuptools
python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder

Git のインストール

Git の URL: https://git-scm.com/

（NVIDIA GPU を使うとき）NVIDIA グラフィックスボード・ドライバのインストール

※ GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

ダウンロードページ

詳細説明

（NVIDIA GPU を使うとき）NVIDIA CUDA ツールキット 10.0 のインストール

※ CUDA とは，NVIDIA社が提供している GPU 用のプラットフォームである． ダウンロードページ

TensorFlow 2.1 以上の GPU 版での，NVIDIA CUDA のバージョンは 10.1 が指定されている． TensorFlow 1.15の GPU 版での，NVIDIA CUDA のバージョンは 10.0 が指定されている． 指定されているバージョンより高いものは使わない． その根拠は次のページ． URL: https://www.tensorflow.org/install/source#common_installation_problems

詳細説明

（NVIDIA GPU を使うとき）NVIDIA cuDNN のインストール

ダウンロードページ

次のページには，TensorFlow 2.1 以上の GPU 版での，cuDNN のバージョンは 7.6．そして，TensorFlow 1.13 以上 TensorFlow 2.0 までの GPU 版での，cuDNN のバージョンは7.4 が指定されている．

URL: https://www.tensorflow.org/install/source#common_installation_problems

詳細説明

隔離された Python 仮想環境の新規作成と，TensorFlow 1.15.3 （旧バージョン）のインストール

最新版ではない TensorFlow を使う．そうした場合，運用を簡単にする（バージョン指定のもの間違ってアップデートしないなど）のために，venv を用いて，隔離された Python 仮想環境を作る

今から作成する隔離された Python 仮想環境の名前と、Pythonのバージョンを決めておく

ここで行う「隔離された Python 仮想環境の新規作成と，TensorFlow 1.15.3（旧バージョン）のインストール」ついては，より詳しくは，次のページで説明している．

Windows の場合

  1. Python 3.6 の準備

    Windows での Python 3.6 の準備は，このページの上の方で説明している．

  2. コマンドプロンプトを実行．
  3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

    下の例では，隔離された Python 仮想環境のためのディレクトリを C:\venv\tf115py36に作成している． 

    py -3.6 -m venv C:\venv\tf115py36

  4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール

    venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる． 

    C:\venv\tf115py36\Scripts\activate.bat
python -m pip install -U pip setuptools
python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets

Ubuntu の場合

  1. Python 3.6 の準備

    Ubuntu での Python 3.6 の準備は，このページの上の方で説明している．

  2. Ubuntu では端末を開く．
  3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

    下の例では，隔離された Python 仮想環境のためのディレクトリを ~/tf115py36に作成している． 

    pyenv shell 3.6.10
python -m venv ~/tf115py36

  4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール

    venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる． 

    source ~/tf115py36/bin/activate
python -m pip install -U pip setuptools
python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets

TensorFlow の確認

  1. 隔離された Python 仮想環境を有効化
  2. TensorFlow のバージョン確認

    ※ バージョン番号が表示されれば OK．下の図とは違うバージョンが表示されることがある． 

    python -c "import tensorflow as tf; print( tf.__version__ )"

  3. (GPU を使うとき) GPU が認識できてるかの確認

    TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う． 

    python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"

ipazc/MTCNN のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

  1. Windows では，コマンドプロンプトを実行．Ubuntu では端末を開く．
  2. 隔離された Python 仮想環境を有効化

    以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

  3. Python 用 scikit-image opencv-python dlib のインストール

    venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる． 

    python -m pip install -U scikit-image opencv-python dlib
  4. ipazc/MTCNN のインストール 
    C:\venv\tf115py36\.venv\Scripts\activate.bat
python -m pip install -U mtcnn

    （省略）

このページで説明のために使用するビデオ、写真

必要であればダウンロードして使ってください．

顔検出（ipazc/MTCNN，Python 3.6, TensorFlow 1.15，Dlib を使用）

画像で動かしてみる

  1. C:\face-image のような作業用のディレクトリ（フォルダ）を作る

    [image]
  2. このディレクトリに、顔写真: 126.png, 127.png をダウンロード

  3. 次の Python プログラムを実行

    https://github.com/ipazc/mtcnn で公開されているプログラムを変更して使用 

    import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN
img = cv2.imread("C:/face-image/126.png")
detector = MTCNN()
print(detector.detect_faces(img))
img = cv2.imread("C:/face-image/127.png")
detector = MTCNN()
print(detector.detect_faces(img))

    顔検出と、５点（左目、右目、鼻、口の左、口の右）の検出結果が表示されるので確認する


    （途中省略）
  4. 矩形（四角形）を書き、情報を表示する関数 box_label 
    import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN
bgr = cv2.imread("C:/face-image/126.png")
def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
box_label(bgr, 100, 300, 200, 400, "hello")
cv2.imshow('', bgr)
cv2.waitKey(0)
cv2.destroyAllWindows()

    画像が表示されるので確認． このあと，ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる

  5. 顔検出と、５点（左目、右目、鼻、口の左、口の右）の検出結果を、グラフィックスで表示 
    import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN
def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
bgr = cv2.imread("C:/face-image/126.png")
detector = MTCNN()
a1 = detector.detect_faces(bgr)
for i, d in enumerate(a1):
    x1, y1 = tuple( d['box'][0:2] )
    x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
    box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
    left_eye = d['keypoints']['left_eye']
    if len(left_eye) == 2:
        cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
    right_eye = d['keypoints']['right_eye']
    if len(right_eye) == 2:
        cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
    nose = d['keypoints']['nose']
    if len(nose) == 2:
        cv2.circle(bgr, nose, 6, (255,255,255), -1)
    mouth_left = d['keypoints']['mouth_left']
    if len(mouth_left) == 2:
        cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
    mouth_right = d['keypoints']['mouth_right']
    if len(mouth_right) == 2:
        cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)
cv2.imshow('', bgr)
cv2.waitKey(0)
cv2.destroyAllWindows()

    画像が表示されるので確認． このあと，ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる

ビデオファイルで動かしてみる

  1. C:\face-image のような作業用のディレクトリ（フォルダ）に、mp4 形式ビデオファイル: sample1.mp4 をダウンロード
  2. 次の Python プログラムを実行

    「C:/face-image/sample1.mp4」のところは、実際のファイル名に置き換えること 

    import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN
def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
detector = MTCNN()
v = cv2.VideoCapture("C:/face-image/sample1.mp4")

while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    a1 = detector.detect_faces(bgr)
    for i, d in enumerate(a1):
        x1, y1 = tuple( d['box'][0:2] )
        x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
        box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
        left_eye = d['keypoints']['left_eye']
        if len(left_eye) == 2:
            cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
        right_eye = d['keypoints']['right_eye']
        if len(right_eye) == 2:
            cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
        nose = d['keypoints']['nose']
        if len(nose) == 2:
            cv2.circle(bgr, nose, 6, (255,255,255), -1)
        mouth_left = d['keypoints']['mouth_left']
        if len(mouth_left) == 2:
            cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
        mouth_right = d['keypoints']['mouth_right']
        if len(mouth_right) == 2:
            cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

    ※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコンの USB カメラで動かしてみる

「v = cv2.VideoCapture(0) 」は、USB カメラを使うためのもの。他の部分は、上のプログラムと同じ。 

import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN
def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
detector = MTCNN()
v = cv2.VideoCapture(0)

while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    a1 = detector.detect_faces(bgr)
    for i, d in enumerate(a1):
        x1, y1 = tuple( d['box'][0:2] )
        x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
        box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
        left_eye = d['keypoints']['left_eye']
        if len(left_eye) == 2:
            cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
        right_eye = d['keypoints']['right_eye']
        if len(right_eye) == 2:
            cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
        nose = d['keypoints']['nose']
        if len(nose) == 2:
            cv2.circle(bgr, nose, 6, (255,255,255), -1)
        mouth_left = d['keypoints']['mouth_left']
        if len(mouth_left) == 2:
            cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
        mouth_right = d['keypoints']['mouth_right']
        if len(mouth_right) == 2:
            cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

本サイトは金子邦彦研究室のWebページです．サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先： 金子邦彦（かねこ くにひこ） [image]