Windowsでディープラーニング環境を整える
【概要】Windows環境におけるディープラーニングのためのソフトウェアセットアップについて説明する。基本的な開発環境の構築(Python、Git、CMake、7-Zip、Build Tools for Visual Studio)、NVIDIA関連ソフトウェア(ドライバ、CUDAツールキット、cuDNN)のインストール、Python関連パッケージ(NumPy、scikit-learn、TensorFlow、Keras、Matplotlib、OpenCV、PyTorch)のインストールと設定、各種機械学習ライブラリ(Dlib、face_recognition、MTCNN、OpenPose、Tesseract OCR、Mask R-CNN、Meshroom、MuZero、OpenAI Gym)のインストールについて解説する。各ソフトウェアについて、インストール手順、設定方法、動作確認の方法を示す。GPU利用のための設定や各ツールの基本的な使用方法も示す。
【目次】
- ニューラルネットワークの基礎
- Windowsシステムの基本操作について
- Windowsのセットアップ、便利なフリーソフトウェア
- ビルドツール(Build Tools)のインストール
- Git、CMake、7-Zipのインストール
- NVIDIAドライバ、NVIDIA CUDAツールキット、NVIDIA cuDNNのインストール
- Pythonのインストール、pipとsetuptoolsの更新、Python開発環境のインストール、PyCharm、Pythonの種々のパッケージ
- NumPy、scikit-learn、TensorFlow、Keras、Matplotlib、opencv-python、PyTorch
- ディープラーニング応用
注意事項
- このページで紹介するソフトウェア等の利用条件は各自で確認すること
- ダウンロード時には、ダウンロード元のURLを確認する
- マルウェア(コンピュータウイルス)の感染防止のため、ダウンロードしたファイルは、ウイルスチェックする
【サイト内の関連ページ】
まとめページ
- 種々のまとめページ: [人工知能、データサイエンス、データベース、3次元]、[Windows]、[Ubuntu]、[Python(Google Colaboratoryを含む)]、[C/C++言語プログラミング用語説明]、[Rシステムの機能]、[Octave]
Windows関連
1. ニューラルネットワークの基礎
用語:ニューラルネットワーク、モデル、学習、過学習、ドロップアウト、CNN、転移学習、データ拡張
用語集:別ページ »にまとめ
説明資料: 別ページにまとめている
2. Windowsシステムの基本操作について
Windowsシステムの基本操作ガイドを、別ページ »で説明している
3. Windowsのセットアップ、便利なフリーソフトウェア
Windowsのセットアップ
便利なフリーソフトウェアのインストール
必要なフリーソフトウェアを選択して、インストールする。
- Firefoxとアドオン: Webブラウザ
- Windowsでのインストール手順: 別ページ »で説明
- Firefoxの公式ページ: https://www.mozilla.org/ja/firefox/new/
- アドオンの例: Superpower ChatGPT、uBlock、Falcon、Simple Translate
- Google Chromeとアドオン: Webブラウザ
- Google Chromeの公式ページ: https://www.google.com/intl/ja_jp/chrome/
- アドオンの例: Superpower ChatGPT、uBlock、Falcon、DeepL翻訳
- Search Everything: ファイル名検索ツール
- Windowsでのインストール: 別ページ »で説明
- 公式ページ: http://www.voidtools.com/
- Visual Studio Code: テキストエディタ
- Windowsでのインストール: 別ページ »で説明
- 公式ページ: https://azure.microsoft.com/ja-jp/products/visual-studio-code
- Emacs: テキストエディタ
- Windowsでのインストール: 別ページ »で説明
- 公式ダウンロードページ: https://www.gnu.org/software/emacs/download.html
- FileZilla: ファイル転送
- Windowsでのインストール: 別ページ »で説明
- 公式ページ: https://filezilla-project.org/index.php
- MobaXterm: リモート接続やファイル転送
- Windowsでのインストール: 別ページ »で説明
- 公式ページ: https://mobaxterm.mobatek.net/
- GreenShot: スクリーンショットツール
- 公式ダウンロードページ: https://getgreenshot.org/
理工学分野のフリーソフトウェア
理工学分野のフリーソフトウェア: 別ページ »で説明
その他、便利な機能をもったフリーソフトウェアの紹介
その他、便利な機能をもったフリーソフトウェアの紹介: 別ページ »で説明
4. Build Tools for Visual Studio 2022(ビルドツール for Visual Studio 2022)
Build Tools for Visual Studio(ビルドツール for Visual Studio)
Build Tools for Visual Studioは、Windowsで動作するMicrosoftの開発ツールセットである。主にC++プログラミングに使用される。このツールセットには、コンパイラ、リンカ、ランタイムライブラリ、その他のビルド関連ツールが含まれる。
【wingetを用いたインストールコマンド】
次のコマンドは、Build Tools for Visual Studio 2022とVC2015再配布可能パッケージをインストールする。
winget install --scope machine Microsoft.VisualStudio.2022.BuildTools
winget install --scope machine Microsoft.VCRedist.2015+.x64
【Build Tools for Visual StudioとVisual Studioの主な違い】
- Build Tools for Visual Studio:開発ツールセット。コマンドライン操作が主体
- Visual Studio:統合開発環境。Build Tools for Visual Studioの機能を含むか連携して使用可能。追加機能とGUIを提供
【関連する外部ページ】
Build Tools for Visual Studio 2022の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
Build Tools for Visual Studio 2022(ビルドツール for Visual Studio 2022)、Visual Studio 2022のインストール(Windows上)
Build Tools for Visual Studio 2022のインストールは、Visual Studioを使う予定がある場合と、使う予定がない場合で方法が分かれる。
- Visual Studioを使う予定がある場合
Visual Studio 2022をインストールする際に、「C++によるデスクトップ開発」を選択することで、Build Tools for Visual Studio 2022の機能も一緒にインストールされる。このためBuild Tools for Visual Studio 2022を別途インストールする必要はない。
【サイト内の関連ページ】WindowsでのVisual Studio Community 2022のインストール: 別ページ »で説明
- Visual Studioを使う予定がない場合
WindowsでBuild Tools for Visual Studio 2022をインストールするには、公式ページ(https://visualstudio.microsoft.com/ja/downloads/)から、「Build Tools for Visual Studio 2022」をダウンロードし、実行する。インストール時に「C++によるデスクトップ開発」を選択する。
【サイト内の関連ページ】
5. Git、CMake、7-Zipのインストール
Gitのインストール
管理者権限でコマンドプロンプトを起動し、以下を実行する。
REM Gitをシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent
REM Gitのパス設定
set "GIT_PATH=C:\Program Files\Git\cmd"
if exist "%GIT_PATH%" (
echo "%PATH%" | find /i "%GIT_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%GIT_PATH%" /M >nul
)
CMakeのインストール
管理者権限でコマンドプロンプトを起動し、以下を実行する。
REM CMakeをシステム領域にインストール
winget install --scope machine --id Kitware.CMake -e --silent
REM CMakeのパス設定
set "GMAKE_PATH=C:\Program Files\CMake\bin"
if exist "%GMAKE_PATH%" (
echo "%PATH%" | find /i "%GMAKE_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%GMAKE_PATH%" /M >nul
)
7-Zipのインストール
管理者権限でコマンドプロンプトを起動し、以下を実行する。
REM 7-Zipをシステム領域にインストール
winget install --scope machine --id 7zip.7zip -e --silent
REM 7-Zipのパス設定
set "SEVENZIP_PATH=C:\Program Files\7-Zip"
if exist "%SEVENZIP_PATH%" (
echo "%PATH%" | find /i "%SEVENZIP_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%SEVENZIP_PATH%" /M >nul
)
6. NVIDIAドライバ、NVIDIA CUDAツールキット、NVIDIA cuDNNのインストール
GPUとは
GPUは、グラフィックス・プロセッシング・ユニット(Graphics Processing Unit)の略である。並列計算能力を持ち、3次元コンピュータグラフィックス、3次元ゲーム、動画編集、科学計算、ディープラーニングなど、並列処理が必要な分野で活用されている。
TensorFlow GPU版
TensorFlowは、Googleが開発した機械学習フレームワークである。Python、C/C++言語から利用可能で、CPU、GPU、TPU上で動作する。TensorFlowを使用することで、音声、画像、テキスト、ビデオなど多様なデータを扱う機械学習アプリケーションの開発が可能になる。
TensorFlow GPU版の動作に必要なもの(2023年4月時点)
- NVIDIAドライバ
Windowsで、NVIDIAグラフィックス・ボードの種類を調べるには、次のコマンドを実行する。
wmic path win32_VideoController get name
【関連する外部ページ】
- NVIDIA CUDAツールキット 11。但しNVIDIA cuDNNに対応するもの
TensorFlowの動作に、cudart64_110.dll、cusolver64_11.dll、cudnn64_8.dllが必要であるため、NVIDIA CUDAツールキット 11をインストールする。
注意点:NVIDIA CUDAツールキットは、バージョン12でなくバージョン11の最新版を使うこと。
- NVIDIA cuDNN。但し、NVIDIA CUDAツールキット 11に対応するもの
NVIDIAドライバのインストール(Windows上)
NVIDIAドライバとは
NVIDIAドライバは、NVIDIA製GPUをWindowsシステム上で適切に動作させるための基盤となるソフトウェアである。このドライバをインストールすることにより、GPUの性能を引き出し、グラフィックス処理やCUDAを利用したAI関連アプリケーションなどの計算速度を向上させることができる。
公式サイト: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
【サイト内の関連ページ】
- NVIDIAグラフィックス・ボードの確認
Windowsのコマンドプロンプトで次のコマンドを実行する。
wmic path win32_VideoController get name
- NVIDIAドライバのダウンロード
確認したグラフィックス・ボードのモデル名と、お使いのWindowsのバージョンに対応するドライバを、以下のNVIDIA公式サイトからダウンロードする。
- ドライバのインストール
ダウンロードしたインストーラー(.exeファイル)を実行し、画面の指示に従ってインストールを進める。
NVIDIA CUDAツールキット11.8のインストール(Windows上)
CUDAツールキットには、GPUでプログラムを実行するためのライブラリ、nvccコンパイラ、開発ツールなどが含まれている。ここではwingetを使ってCUDA 11.8をインストールする手順を示す。
NVIDIA CUDAツールキットの概要と注意点
NVIDIAのGPUを使用して並列計算を行うための開発・実行環境である。
【NVIDIA CUDAツールキットの動作に必要なもの】
- CUDA対応のNVIDIA GPU
- 対応するNVIDIAドライバ
- サポートされているバージョンのC++コンパイラ(Visual StudioまたはBuild Toolsをインストール済み)
【Windowsでインストールするときの注意点】
- Windowsでは、NVIDIA CUDAツールキットのインストール中は、他のアプリケーションは終了しておくことが推奨される
【関連する外部ページ】
- 他のウィンドウを閉じる
- Windowsで、コマンドプロンプトを管理者権限で起動する
wingetコマンドでCUDA 11.8をインストールするrem グラフィックボードの確認 wmic path win32_VideoController get name rem CUDA Toolkit 11.8のインストール winget install --scope machine Nvidia.CUDA --version 11.8 rem CUDA_HOME環境変数の設定 powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDA_HOME\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\", \"Machine\")"
- ユーザ環境変数TEMPの設定(日本語ユーザ名の場合)
Windowsのユーザ名に日本語が含まれている場合、CUDAコンパイラ
nvccが一時ファイルの作成に失敗することがある。この問題を回避するために、ユーザ環境変数TEMPおよびTMPを、ASCII文字のみのパス(例:C:\TEMP)に変更する。mkdir C:\TEMP powershell -command "[System.Environment]::SetEnvironmentVariable(\"TEMP\", \"C:\TEMP\", \"User\")" powershell -command "[System.Environment]::SetEnvironmentVariable(\"TMP\", \"C:\TEMP\", \"User\")"
NVIDIA cuDNN 8.9.7のインストール(Windows上)
NVIDIA cuDNN
NVIDIA cuDNNは、NVIDIA CUDAツールキット上で動作する、ディープラーニング用ライブラリである。畳み込みニューラルネットワーク(CNN)やリカレントニューラルネットワーク(RNN)など、さまざまなディープラーニングモデルのトレーニングと推論を高速化する。
【cuDNN利用時の注意点: zlibwapi.dllエラー】
Windows環境でcuDNNを利用するアプリケーションを実行した際に、「Could not locate zlibwapi.dll. Please make sure it is in your library path!」というエラーが表示されることがある。このエラーが発生した場合は、後述する手順でZLIB DLLをインストールする必要がある。
【関連する外部ページ】
- NVIDIA cuDNNの公式ページ(ダウンロードにはDeveloper Programへの登録が必要): https://developer.nvidia.com/cudnn
NVIDIA cuDNNのインストール(Windows上)の概要
- NVIDIA Developer Programメンバーシップへの加入: cuDNNのダウンロードには無料のメンバーシップ登録が必要である
- 互換バージョンの選択とダウンロード: インストール済みのCUDAツールキットのバージョン(今回は11.x)に適合するcuDNNのバージョン(今回はv8.9.7)を選択し、Windows用のzipファイルをダウンロードする
- ファイルの展開と配置: ダウンロードしたzipファイルを展開し、中のファイル(
bin、include、libフォルダ内)を、CUDAツールキットのインストールディレクトリにコピーする - (オプション) 環境変数の設定: 必要に応じてシステム環境変数
CUDNN_PATHを設定する - (必要に応じて) ZLIB DLLのインストール:
zlibwapi.dllが見つからないエラーが発生する場合にインストールする - 動作確認: cuDNNライブラリ(
cudnn64_*.dll)にパスが通っているか確認する
zlibのインストール(Windows上)
- Windowsで、管理者権限でコマンドプロンプトを起動
- 次のコマンドを実行
cd /d c:%HOMEPATH% rmdir /s /q zlib git clone https://github.com/madler/zlib cd zlib del CMakeCache.txt rmdir /s /q CMakeFiles\ cmake . -G "Visual Studio 17 2022" -A x64 -T host=x64 -DCMAKE_INSTALL_PREFIX=c:/zlib cmake --build . --config RELEASE --target INSTALL powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\zlib\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")" powershell -command "[System.Environment]::SetEnvironmentVariable(\"ZLIB_HOME\", \"C:\zlib\", \"Machine\")"
【関連する外部ページ】
- zlibの公式ページ: https://www.zlib.net/
NVIDIA cuDNN 8.9.7のインストール(Windows上)
- NVIDIA cuDNNのウェブページを開く
- cuDNNのところにある「Download cuDNN」をクリック
- cuDNN Downloadsのページで「Archive of Previous Releases」をクリック
- 「cuDNN 8.x - 1.x」をクリック
- ダウンロードしたいバージョンを選ぶ
ここでは「NVIDIA cuDNN v8.9.7 for CUDA 11.x」を選んでいる。
- WindowsにインストールするのでWindows版を選ぶ
- NVIDIA Developer Programメンバーシップに入る
「Join now」をクリック。その後、画面の指示に従う。
- ログインする
- 調査の画面が出たときは、調査に応じる
- ライセンス条項の確認
- ダウンロードが始まる
- ダウンロードした.zipファイルを展開する
- NVIDIA CUDAツールキットをインストールしたディレクトリを確認する
- 確認したら、さきほど展開してできたすべてのファイルとディレクトリを、NVIDIA CUDAツールキットをインストールしたディレクトリにコピーする
- パスが通っていることを確認
Windowsのコマンドプロンプトを開き、次のコマンドを実行する。
where cudnn64_8.dll
- Windowsのシステム環境変数 CUDNN_PATHの設定を行う
コマンドプロンプトを管理者として開き、次のコマンドを実行する。
powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\", \"Machine\")"
7. Pythonのインストール、pipとsetuptoolsの更新、Python開発環境のインストール、PyCharm、Pythonの種々のパッケージ
① インストールするPythonのバージョンの確認
2022年12月時点では、Python 3.10を使う。
Python 3.10の根拠:
- この記事作成(2024年5月)時点のPythonの最新版は3.12であるが、必ずしも最新版がよいわけではない
- Python 3.10は、TensorFlow 2.10.1にも対応している
② Pythonのインストール
【Pythonのインストールでの注意点】
- Python 64-bit版を使用すること
- Pythonをシステム領域にインストールすることを推奨する
- TensorFlow 2.10.1の利用
TensorFlow 2.10.1は次のPythonのバージョンと互換性がある: Python 3.10、Python 3.9、Python 3.8、Python 3.7
- Windowsでは、Pythonの3.6.A、3.7.B、3.8.C、3.9.D、3.10.Eのように、複数のバージョンのPythonを同時にインストールできる
【インストール手順の詳細(別ページ)】WindowsでのPythonのインストール: 別ページ »で説明
【Pythonの公式ページ】https://www.python.org/
③ pipとsetuptoolsの更新
④ WindowsでのPython開発環境として、Jupyter Qt Console、Jupyterノートブック(Jupyter Notebook)、Jupyter Lab、Nteract、spyderのインストール
- Windowsで、管理者権限でコマンドプロンプトを起動
- 次のコマンドを実行する
python -m pip install -U pip setuptools requests notebook==6.5.7 jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
⑤ PyCharmのインストール(Windows上)
WindowsでのPyCharmのインストール: 別ページ »で説明
⑥ Jupyter Qt Console、NTeractが起動できるかを確認
- NumPy、Matplotlibのインストール
コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
pip install -U numpy matplotlib
- Jupyter Qt Consoleの起動チェック
新しくコマンドプロンプトを開き、次のコマンドを実行する。
jupyter qtconsole
- 確認のため、Jupyter Qt Consoleで、次のPythonプログラムを実行する
次のプログラムは、NumPyとMatplotlibを使用して、0から6までの範囲のsin関数のグラフを描画する。
import numpy as np %matplotlib inline import matplotlib.pyplot as plt import warnings warnings.filterwarnings('ignore') x = np.linspace(0, 6, 100) plt.style.use('default') plt.plot(x, np.sin(x))
- nteractの起動チェック
新しくコマンドプロンプトを開き、次のコマンドを実行する。
jupyter nteract
- 確認のため、nteractで、次のPythonプログラムを実行してみる
「Start a new notebook」の下の「Python」をクリック、次のPythonプログラムを実行する
import numpy as np %matplotlib inline import matplotlib.pyplot as plt import warnings warnings.filterwarnings('ignore') x = np.linspace(0, 6, 100) plt.style.use('default') plt.plot(x, np.sin(x))
⑦ NumPy、scikit-learnを使ってみる
- コマンドプロンプトを管理者として開き次のコマンドを実行する
python -m pip install -U numpy scikit-learn scikit-learn-intelex
- NumPyの動作確認
Pythonプログラムを実行する
import numpy as np print(np.sin(0)) exit()
- Pythonの数値演算等の性能確認
Pythonプログラムを実行する
次のプログラムは、NumPyとscikit-learnを使用して、行列計算とデータ分析を行う。
- 2000x2000の乱数行列XとYを生成し、それらの行列積を計算する
- scikit-learnのPCAを使用して、Xの主成分分析を行い、2次元に次元削減する
- NumPyのsvd関数を使用して、Xの特異値分解を行う
- scikit-learnのKMeansを使用して、Xに対して10クラスタのk-meansクラスタリングを行う
各操作の実行時間を測定し、結果を出力する。
import time import numpy import numpy.linalg import sklearn.decomposition import sklearn.cluster X = numpy.random.rand(2000, 2000) Y = numpy.random.rand(2000, 2000) # 行列の積 a = time.time(); Z = numpy.dot(X, Y); print(time.time() - a) # 主成分分析 pca = sklearn.decomposition.PCA(n_components = 2) a = time.time(); pca.fit(X); X_pca = pca.transform(X); print(time.time() - a) # SVD a = time.time(); U, S, V = numpy.linalg.svd(X); print(time.time() - a) # k-means a = time.time(); kmeans_model = sklearn.cluster.KMeans(n_clusters=10, random_state=10).fit(X) labels = kmeans_model.labels_ print(time.time() - a)
実行結果の例
- 行列の積: 0.04秒
- 主成分分析: 0.14秒
- SVD: 6.96秒
- k-Meansクラスタリング: 0.42秒
⑧ Pythonの種々のパッケージ
その他、Pythonパッケージは、必要なものをインストールする。
- pipでインストールするもの
コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
python -m pip install -U pip setuptools python -m pip install -U numpy scipy h5py scikit-learn scikit-learn-intelex scikit-image seaborn pandas pillow pytest cython bokeh statsmodels plotly sympy csvkit docopt pyproj flake8 protobuf bs4 html5lib rope wrapt cffi wheel six sphinx bottleneck pygments numexpr xlrd xlsxwriter lxml graphviz pydot flask django redis pylint bz2file PyOpenGL PyOpenGL-accelerate msgpack mecab ggplot matplotlib-venn pyglet pygame cocos2d bottle rtree shapely fiona gdal geopandas geopy geographiclib requests moviepy av gdown yt-dlp ruamel.yaml einops timm transformers pandasql pyyaml bokeh pymc3 mkl mkl-include holoviews pandas-bokeh ggplot prettyplotlib pybrain3 firebase-admin googletrans google-cloud-vision gpyocr azure-cognitiveservices-vision-computervision gensim gloo scikit-video scikits.datasmooth scikits.example scikits.fitting scikits.optimization scikits.vectorplot zodb gdata pycaret pywin32 python -m pip install --extra-index-url https://archive.panda3d.org/ panda3d cd C:\ curl -O https://www.panda3d.org/download/panda3d-1.10.9/panda3d-1.10.9-samples.zip powershell Expand-Archive -DestinationPath . panda3d-1.10.9-samples.zip
- Pythonパッケージで、ソースコードからインストールするもの
コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
python -m pip install git+https://github.com/jrosebr1/imutils.git python -c "import imutils; print(imutils.__version__)" python -m pip install git+https://github.com/DinoTools/python-overpy.git python -c "import overpy; print(overpy.__version__)" python -m pip install git+https://github.com/ianare/exif-py.git python -c "import exifread; print(exifread.__version__)" python -m pip install git+https://github.com/mapado/haversine.git python -m pip install git+https://github.com/Turbo87/utm.git # cd /d c:%HOMEPATH% rmdir /s /q head-pose-estimation git clone https://github.com/lincolnhard/head-pose-estimation cd head-pose-estimation curl -O http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2 "c:\Program Files\7-Zip\7z.exe" x shape_predictor_68_face_landmarks.dat.bz2 # cd /d c:%HOMEPATH% rmdir /s /q PupilTracker git clone https://github.com/TobiasRoeddiger/PupilTracker
- pipのキャッシュの消去
python -m pip cache purge cd %LOCALAPPDATA% cd pip rmdir /s /q Cache
8. NumPy、scikit-learn、TensorFlow、Keras、Matplotlib、opencv-python、PyTorch
① TensorFlow GPU版2.10、Keras、Matplotlib、Python用opencv-pythonのインストール
設定の要点
システム環境変数 TF_FORCE_GPU_ALLOW_GROWTHの設定: true
- 管理者権限でコマンドプロンプトを起動
- 使用するPythonのバージョンの確認
python --version
- pipとsetuptoolsの更新
python -m pip install -U pip setuptools
- TensorFlow関係のパッケージのアンインストール操作
python -m pip uninstall -y protobuf tensorflow tensorflow-cpu tensorflow-gpu tensorflow-intel tensorflow-text tensorflow-estimator tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
- TensorFlow 2.10.1および関連パッケージのインストール
python -m pip install -U protobuf tensorflow==2.10.1 tf_slim tensorflow_datasets==4.8.3 tensorflow-hub tf-keras keras keras_cv keras-tuner keras-visualizer python -m pip install git+https://github.com/tensorflow/docs python -m pip install git+https://github.com/tensorflow/examples.git python -m pip install git+https://www.github.com/keras-team/keras-contrib.git
(以下省略) - Matplotlib、Python用opencv-pythonのインストール
python -m pip install -U numpy pillow pydot matplotlib seaborn pandas scipy scikit-learn scikit-learn-intelex opencv-python opencv-contrib-python
- TensorFlowのバージョン確認
python -c "import tensorflow as tf; print( tf.__version__ )"
- TensorFlowパッケージの情報の表示
pip show tensorflow
- (GPUを使うとき) TensorFlowからGPUが認識できているかの確認
python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
実行結果の中に、次のように「device_type: "GPU"」があれば、GPUが認識できている。
- システム環境変数 TF_FORCE_GPU_ALLOW_GROWTHに、trueを設定
powershell -command "[System.Environment]::SetEnvironmentVariable(\"TF_FORCE_GPU_ALLOW_GROWTH\", \"true\", \"Machine\")"
② PyTorch、Torchvision、Caffe2
Webブラウザで最新情報を確認ののち、所定のコマンドによりインストールを行う。
PyTorchのURL: https://pytorch.org/
- PyTorchの「はじめよう」のWebページを開く
- 種類を選ぶ
Windows、pip、Python、NVIDIA CUDAツールキット11.3以上での実行例
- PyTorch Build: 「Stable」
- Your OS: 「Windows」
- Package: 「Pip」
- Language: 「Python」
- CUDA: 「11.8」
- 「Run the command」のところに、コマンドが表示されるので確認する
- 表示されたコマンドを実行。「pip3」は「python -m pip」に読み替える
PyTorch 2.3のインストール手順例は次の通り
- 管理者権限でコマンドプロンプトを起動
- 次のようなコマンドを実行
python -m pip install -U --ignore-installed pip python -m pip uninstall -y torch torchvision torchaudio torchtext xformers python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118 python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
- PyTorchのバージョン確認
python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
- PyTorchの動作確認
Pythonプログラムを実行する
from __future__ import print_function import torch x = torch.rand(5, 3) print(x) exit()
- GPUが動作しているか確認
Pythonプログラムを実行する
import torch torch.cuda.is_available() exit()
9. ディープラーニング応用
dlib、face_recognition(顔検出、顔のアラインメント、顔のランドマーク、顔認識その他)
【関連する外部ページ】
- Dlibの公式ページ: http://dlib.net/
【インストール手順の詳細(別ページ)】
【Dlibのインストール操作】コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
「11.8」のところは、実際にインストールしているNVIDIA CUDAツールキットのバージョンにあわせること。
cd C:\
rmdir /s /q dlib
git clone https://github.com/davisking/dlib
cd dlib
rmdir /s /q build
mkdir build
cd build
del CMakeCache.txt
rmdir /s /q CMakeFiles\
cmake .. -G "Visual Studio 17 2022" -A x64 -T host=x64 ^
-DCUDA_SDK_ROOT_DIR="c:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.8" ^
-DCUDA_TOOLKIT_ROOT_DIR="c:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.8" ^
-D CUDA_NVCC_FLAGS="-allow-unsupported-compiler" ^
-DCUDA_NVCC_FLAGS_DEBUG="-allow-unsupported-compiler" ^
-DCMAKE_INSTALL_PREFIX=c:/dlib ^
-DUSE_AVX_INSTRUCTIONS=1
cmake --build . --config RELEASE --target INSTALL -- /m:4
python -m pip uninstall -y dlib
cd C:\
cd dlib
python setup.py build
python setup.py install
python -c "import dlib; print( dlib.__version__ )"
powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\dlib\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
cd C:\dlib
cd python_examples
curl -O http://dlib.net/files/mmod_human_face_detector.dat.bz2
curl -O http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2
curl -O http://dlib.net/files/shape_predictor_5_face_landmarks.dat.bz2
curl -O http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x mmod_human_face_detector.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x dlib_face_recognition_resnet_model_v1.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x shape_predictor_5_face_landmarks.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x shape_predictor_68_face_landmarks.dat.bz2
del mmod_human_face_detector.dat.bz2
del dlib_face_recognition_resnet_model_v1.dat.bz2
del shape_predictor_5_face_landmarks.dat.bz2
del shape_predictor_68_face_landmarks.dat.bz2
Dlibの動作確認のため、次を実行する。
cd C:\dlib
cd python_examples
python cnn_face_detector.py mmod_human_face_detector.dat ..\examples\faces\2007_007763.jpg
【face_recognitionのインストール操作】コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
cd /d c:%HOMEPATH%
rmdir /s /q face_recognition
git clone https://github.com/ageitgey/face_recognition
cd face_recognition
copy C:\dlib\python_examples\shape_predictor_68_face_landmarks.dat .
python setup.py build
python setup.py install
face_recognitionの動作確認のため、次を実行する。
mkdir %HOMEPATH%\face_recognition\known_people
mkdir %HOMEPATH%\face_recognition\unknown_pictures
copy %HOMEPATH%\face_recognition\examples\biden.jpg %HOMEPATH%\face_recognition\known_people
copy %HOMEPATH%\face_recognition\examples\obama.jpg %HOMEPATH%\face_recognition\known_people
copy %HOMEPATH%\face_recognition\examples\two_people.jpg %HOMEPATH%\face_recognition\unknown_pictures
cd /d c:%HOMEPATH%\face_recognition
face_recognition --show-distance true known_people unknown_pictures
ipazc/mtcnn
【関連する外部ページ】
- ipazc / mtcnnの公式ページ: https://github.com/ipazc/mtcnn
【ipazc/mtcnnのインストール手順(Windows上)】
- インストール
コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
python -m pip install git+https://github.com/ipazc/mtcnn.git python -c "import mtcnn; print(mtcnn.__version__)"
- 動作確認
コマンドプロンプトを実行し、次のコマンドを実行
cd C:\dlib python
次のPythonプログラムを実行
from mtcnn import MTCNN import cv2 img = cv2.cvtColor(cv2.imread("./examples/faces/2007_007763.jpg"), cv2.COLOR_BGR2RGB) detector = MTCNN() detector.detect_faces(img)
OpenPose(人体の姿勢推定、指のポーズ推定)
【関連する外部ページ】
- OpenPoseのURL: https://github.com/CMU-Perceptual-Computing-Lab/openpose
- OpenPoseダウンロードのURL: https://github.com/CMU-Perceptual-Computing-Lab/openpose/releases
【インストール手順の詳細(別ページ)】
OpenPoseの動作確認のため、次を実行する。
cd C:\openpose-1.7.0-binaries-win64-gpu-python3.7-flir-3d_recommended
cd openpose
bin\OpenPoseDemo.exe --video examples\media\video.avi
Tesseract OCR 5(文字認識)
【関連する外部ページ】
- Tesseract OCRの公式ドキュメント: https://github.com/tesseract-ocr/tessdoc
【インストール手順の詳細(別ページ)】
matterplot/masked_rcnn(画像のセグメンテーション)
matterplot/masked_rcnnのURL: https://github.com/matterport/Mask_RCNN
コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
python -m pip install scikit-image cython
python -m pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI
cd /d c:%HOMEPATH%
rmdir /s /q Mask_RCNN
git clone --recursive https://github.com/matterport/Mask_RCNN
cd Mask_RCNN
python -m pip install -r requirements.txt
python setup.py build
python setup.py install
cd samples/coco
Meshroom(写真測量、フォトグラメトリ)
【関連する外部ページ】
- Meshroomの公式ページ: https://alicevision.org/
【Meshroomのインストール操作(Windows上)】
- Meshroomの公式ページ: https://alicevision.org/からダウンロードしてインストール
muZero
コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
rmdir /s /q c:\muzero-general
cd c:\
git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general
python -m pip install -r requirements.txt
確認のため実行してみる。
python muzero.py
tensorboard --logdir ./results
OpenAI Gym
コマンドプロンプトを管理者として実行し、次のコマンドを実行する。
rmdir /s /q c:\gym
cd c:\
git clone https://github.com/openai/gym.git
cd gym
python -m pip install -e .