トップページ ▶ 人工知能，実世界DB ▶ 顔情報（顔検出，顔識別、表情判定，顔のクラスタリングや類似度や分類，肌色部分の抽出，瞳孔の検出，顔姿勢の推定） ▶ ビデオを扱ってみる（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）

サイトマップ

サイト内検索

用語集

アクセスログ

金子邦彦研究室

ビデオを扱ってみる（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）

前準備

（Windows を使う場合のみ）マイクロソフト C++ ビルドツール (Build Tools) のインストール

「Visual Studio Community 2019 vesion 16.2, マイクロソフト C++ ビルドツールのインストール（Windows 上）」で説明している．

Python，TensorFlow 1.15 のインストール

すでに TensorFlow 2 を使っている，あるいは使う予定ということがありえる． 単純には，TensorFlow 2 と TensorFlow 1.15 を共存させて Python で使うということはできないが， 少しの手間で，共存できるようになる． そこで，TensorFlow 2 とTensorFlow 1.15 の共存を前提として， TensorFlow 1.15 のインストールを行う．

Windows の場合

Windows でのPython3.6，TensorFlow 1.15 のインストール：別ページで説明している．

すでにPython 3.9 あるいは Python 3.8 をインストールしている，あるいは，インストール予定という場合を想定し， あとのトラブルが起きにくい，そして，簡単に運用できるように 「Python 3.6 をインストールし，その上に，TensorFlow 1.15.5 をインストールする」という手順を案内している．

Ubuntu の場合

Ubuntu でのPython，TensorFlow 1.15 のインストール：別ページで案内している．

Ubuntu のシステム Python に影響を与えないように，隔離された Python 3.6 仮想環境の新規作成し，その上にTensorFlow 1.15.5 をインストールするという手順（venv を使用）（Ubuntu 上）を案内している．

Git のインストール

Git の URL: https://git-scm.com/

• Windows での Git のインストール手順: 別ページで説明している．
• Ubuntu での Git のインストール手順:

  sudo apt -y update
  sudo apt -y install git
  

Git, cmake のインストール

Git の URL: https://git-scm.com/

cmake のダウンロード URL: https://cmake.org/download/

• Windows での Git, cmake のインストール手順: 別ページで説明している．
• Ubuntu では，端末で，次のコマンドを実行して，Git, cmake をインストールする．

  sudo apt -y update
  sudo apt -y install git cmake cmake-curses-gui
  

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Windows で，コマンドプロンプトを管理者として実行する．
2. DeepGaze のインストールディレクトリを空にしておく

   cd c:\pytools
   rmdir /s /q deepgaze
   
3. DeepGaze のインストール

   git clone https://github.com/mpatacchiola/deepgaze
   cd deepgaze
   python setup.py build
   python setup.py install 
   

   
   

このページで説明のために使用するビデオ、写真

• ここで使用する mp4 形式ビデオファイル: sample1.mp4

1. C:\facevideo のような作業用のディレクトリ（フォルダ）を作る
2. mp4 形式ビデオファイル: sample1.mp4 を、C:\facevideo の下にダウンロード

ビデオカメラで動かしてみる

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Windows で，コマンドプロンプトを管理者として実行する．

2. Python プログラムを動かす．

   import numpy as np
   import cv2
   from deepgaze.saliency_map import FasaSaliencyMapping 
   # Using OpenCV the resolution of the webcam is set to these values.
   # You must check which resolution your webcam support and adjust the values in accordance.
   RESOLUTION_WIDTH = 320
   RESOLUTION_HEIGHT = 180
   # Open the video stream and set the webcam resolution.
   # It may give problem if your webcam does not support the particular resolution used.
   video_capture = cv2.VideoCapture(0)
   # Create the main window and move it
   cv2.namedWindow('Video')
   # Obtaining the CAM dimension
   cam_w = int(video_capture.get(3))
   cam_h = int(video_capture.get(4))
   # Defining the FASA object using the camera resolution
   my_map = FasaSaliencyMapping(cam_h, cam_w)
   while True:
       # Capture frame-by-frame
       ret, frame = video_capture.read()
       image_salient = my_map.returnMask(frame, tot_bins=8, format='BGR2LAB')
       cv2.imshow('Video', image_salient)
       # Press Q to exit
       if cv2.waitKey(1) & 0xFF == ord('q'):
           break