ユースケース: Ubuntu で、Python とフリーソフトウエアを一度にインストールしたい.説明ページに記載のコマンドを,コピー&ペーストして確認しながら進めたい場合向け
極力,コマンドのコピー&ペーストで済むようにしている.所要時間の目安:3時間程度.
※ それぞれのソフトウエアの利用条件は,利用者側で確認すること.
【このページの目次】
設定:
Ubuntu のインストール手順は,「別のページ」で説明している.
Ubuntu で OS のシステム更新を行うときは, 端末で,次のコマンドを実行.
sudo apt update sudo apt -yV upgrade sudo /sbin/shutdown -r now
※ GPU とは,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある.
ダウンロードページ
詳しくは,次のように別ページで説明している.インストール手順が分からなくなったり,不具合があったときは,次に書いている別ページの説明を確認すること.
※ CUDA とは,NVIDIA社が提供している GPU 用のプラットフォームである.
ダウンロードページ
TensorFlow 2.1 以上の GPU 版での,NVIDIA CUDA のバージョンは 10.1 が指定されている. TensorFlow 1.15の GPU 版での,NVIDIA CUDA のバージョンは 10.0 が指定されている. 指定されているバージョンより高いものは使わない. その根拠は次のページ. URL: https://www.tensorflow.org/install/source#common_installation_problems
詳細説明
ダウンロードページ
ダウンロードして展開(解凍)したら,パスを通しておくこと.
URL: https://www.tensorflow.org/install/source#common_installation_problems
詳細説明
ここでインストールするもの: Python 3, Python 2, それぞれの pip (pi3, pip)
sudo apt -yV install python3-dev python3-pip sudo apt -yV install python-dev python-pip
※ エラーメッセージが出ないことを確認.
python3 --version python --version
cd /tmp sudo rm -f get-pip.py wget https://bootstrap.pypa.io/get-pip.py sudo rm -rf ~/.cache/pip mkdir ~/.cache/pip sudo python3 get-pip.py sudo python get-pip.py
※ エラーメッセージが出ないことを確認.
pip3 list pip list
Ubuntu システムの Python とは別にインストールする.インストールディレクトリは /usr/local/Python3.7.3 にしている.
cd /tmp wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz rm -rf Python-3.7.3 tar -xvzof Python-3.7.3.tgz cd Python-3.7.3 ./configure --enable-optimizations --prefix=/usr/local/Python3.7.3 make sudo make install cd /tmp sudo rm -f get-pip.py wget https://bootstrap.pypa.io/get-pip.py sudo /usr/local/Python3.7.3/bin/python3 get-pip.py
ここでインストールするもの: virtualenv, virtualenv-wrapper
sudo pip install -U virtualenv virtualenv-wrapper sudo python3 -m pip install -U virtualenv virtualenv-wrapper
エラーメッセージが出ていないことを確認
export WORKON_HOME=$HOME/.virtualenvs export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3 source /usr/local/bin/virtualenv-wrapper.sh touch ~/.profile echo -e "\n# virtualenv and virtualenv-wrapper" >> ~/.profile echo "export WORKON_HOME=$HOME/.virtualenvs" >> ~/.profile echo "export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3" >> ~/.profile echo "source /usr/local/bin/virtualenv-wrapper.sh" >> ~/.profile source ~/.profile
virtualenv-wrapper の使い方
端末で,次のコマンドを実行.
sudo apt -yV install git wget p7zip-full
端末で,次のコマンドを実行.
sudo apt -yV install build-essential cd /tmp git clone https://github.com/Kitware/CMake.git cd CMake # cmake には curl, zlib が必要 sudo apt -yV install zlib1g-dev libcurl4-openssl-dev ./configure --system-curl --system-zlib make sudo make install
さまざまなフリーソフトウエア (OpenCV, openpose, Dlib など) のソースコードを入手して,インストールしたいときに役に立つソフトウエアをインストールしておく.
端末で,次のコマンドを実行.
sudo apt -yV install build-essential gcc g++ dpkg-dev pkg-config sudo apt -yV install make autoconf automake flex bison clang binutils swig curl sudo apt -yV install subversion ccache sudo apt -yV install zip unzip sudo apt -yV install libopenblas-dev liblapack-dev libtbb-dev sudo apt -yV install libxi-dev libsndfile1-dev libopenexr-dev libjpeg-dev libalut-dev libsdl-dev libavdevice-dev libavformat-dev libavutil-dev libavcodec-dev libswscale-dev libx264-dev libxvidcore-dev libmp3lame-dev libspnav-dev libglu1-mesa-dev libv4l-dev libprotobuf-dev protobuf-compiler protobuf-c-compiler libgoogle-glog-dev libhdf5-dev libboost-dev libboost-system-dev libboost-filesystem-dev libboost-thread-dev sudo apt -yV install libbz2-dev libsqlite3-dev libssl-dev libreadline-dev libpng-dev libjpeg-dev libtiff-dev zlib1g-dev libx11-dev libgl1-mesa-dev libxrandr-dev libxxf86dga-dev libxcursor-dev libfreetype6-dev libvorbis-dev libeigen3-dev libopenal-dev libode-dev libbullet-dev libgtk2.0-dev sudo apt -yV install libgtk-3-dev libatlas-base-dev gfortran
Intel社による説明Webページ https://software.intel.com/en-us/articles/installing-intel-free-libs-and-python-apt-repo
バージョンは「sudo apt install intel-mkl-64bit intel-tbb intel-mpi」の実行で調べることができる.
cd /tmp wget -O - https://apt.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS-2019.PUB | sudo apt-key add - cd /etc/apt/sources.list.d sudo rm -f intelproducts.list sudo wget https://apt.repos.intel.com/setup/intelproducts.list sudo apt update sudo apt -yV install intel-mkl-64bit-2019.4-070 2019.4-070 intel-tbb-2019.6-070 2019.6-070 intel-mpi-2019.4-070 2019.4-070 intelpython3
端末で,次のコマンドを実行.
sudo apt -yV install libopencv-dev
sudo mkdir /tmp
cd /tmp
rm -rf /tmp/openpose
git clone https://github.com/CMU-Perceptual-Computing-Lab/openpose
cd /tmp/openpose
rm -rf build
mkdir build
cd build
if [ "`lspci | grep -i nvidia | grep VGA`" != "" ]; then
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
cmake -DDOWNLOAD_BODY_COCO_MODEL=ON \
-DBUILD_PYTHON=ON \
-DBUILD_EXAMPLES=ON \
-DINSTRUCTION_SET=AVX2 \
-DUSE_MKL=OFF \
-DBUILD_CAFFE=ON \
-DGPU_MODE=CUDA \
-DCUDNN_INCLUDE=/usr/local/cuda-10.0/include \
-DCUDNN_LIBRARY=/usr/local/cuda-10.0/lib64 ..
else
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
cmake -DDOWNLOAD_BODY_COCO_MODEL=ON \
-DBUILD_PYTHON=ON \
-DBUILD_EXAMPLES=ON \
-DINSTRUCTION_SET=AVX2 \
-DUSE_MKL=OFF \
-DBUILD_CAFFE=ON \
-DGPU_MODE=CPU_ONLY ..
fi
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" make
sudo make install
#
cd examples
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" cmake ..
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" make
sudo make install
#
bash /tmp/openpose/models/getModels.sh
sudo mkdir /usr/local/src
sudo mkdir /usr/local/src
cd /tmp/openpose; tar cvf - . | ( cd /usr/local/src/openpose; sudo tar -xvf - )
sudo /sbin/ldconfig
ここでインストールするもの:
setuptools, numpy, scipy, h5py, sciklit-learn, scikit-image, matplotlib, seaborn, pandas, pillow, jupyter, pytest, docopt, pyyaml, cython, python3-opencv, msgpack, firebase-admin, googletrans, google-cloud-vision, gpyocr
imutils, mtcnn, python-visualization/folium, DinoTools/python-overpy, ianare/exif-py, mapado/haversine, Turbo87/utm,
face_recognition, geopandas
sudo apt -yV install python3-setuptools python3-numpy python3-scipy python3-h5py python3-sklearn python3-skimage python3-matplotlib python3-seaborn python3-pandas python3-pil sudo apt -yV install python3-jupyter-console python3-pytest python3-docopt python3-yaml # sudo mkdir /usr/local/pytools cd /usr/local/pytools sudo apt build-dep cython sudo git clone https://github.com/cython/cython cd cython sudo python3 setup.py build sudo python3 setup.py install make # sudo apt -yV install python3-msgpack python3-pyproj sudo apt -yV install python3-opencv libjasper-dev sudo python3 -m pip install -U firebase-admin googletrans google-cloud-vision gpyocr
※ mtcnn については https://github.com/open-face/mtcnn
sudo mkdir /usr/local/pytools cd /usr/local/pytools sudo rm -rf imutils sudo rm -rf mtcnn
cd /usr/local/pytools sudo git clone https://github.com/jrosebr1/imutils cd imutils sudo python3 setup.py build sudo python3 setup.py install cd /usr/local/pytools sudo git clone https://github.com/ipazc/mtcnn cd mtcnn sudo python3 setup.py build sudo python3 setup.py install
python3 -c "import imutils; print( imutils.__version__ )"
※ バージョン番号が表示されれば OK.下の図とは違うバージョンが表示されることがある.
python3 -c "import mtcnn; print( mtcnn.__version__ )"
sudo mkdir /usr/local/pytools cd /usr/local/pytools sudo rm -rf folium sudo rm -rf python-overpy sudo rm -rf exif-py sudo rm -rf haversine sudo rm -rf utm
cd /usr/local/pytools sudo git clone https://github.com/python-visualization/folium cd folium sudo python3 setup.py build sudo python3 setup.py install cd /usr/local/pytools sudo git clone https://github.com/DinoTools/python-overpy cd python-overpy sudo python3 setup.py build sudo python3 setup.py install cd /usr/local/pytools sudo git clone https://github.com/ianare/exif-py cd exif-py sudo python3 setup.py build sudo python3 setup.py install cd /usr/local/pytools sudo git clone https://github.com/mapado/haversine cd haversine sudo python3 setup.py build sudo python3 setup.py install cd /usr/local/pytools sudo git clone https://github.com/Turbo87/utm cd utm sudo python3 setup.py build sudo python3 setup.py install
sudo mkdir /usr/local/pytools cd /usr/local/pytools sudo rm -rf face_recognition sudo rm -rf geopandas
cd /usr/local/pytools sudo git clone https://github.com/ageitgey/face_recognition cd face_recognition sudo python3 setup.py build sudo python3 setup.py install cd /usr/local/pytools sudo git clone https://github.com/geopandas/geopandas cd geopandas sudo apt -yV install gdal-bin python3-gdal libgdal-dev sudo python3 setup.py build sudo python3 setup.py install
その他・必要に応じて追加.例えば,次のように.
sudo apt -yV install python3-django sudo apt -yV install python3-exif sudo apt -yV install python3-flask sudo apt -yV install python3-gdal sudo apt -yV install python3-geopandas sudo apt -yV install python3-pygraphviz sudo apt -yV install python3-pydot sudo apt -yV install python3-six sudo apt -yV install python3-sympy
※ 下に書いているコマンドは,隔離された Python 仮想環境を新規作成し、そこにインストールしたいときに限る
source /usr/local/bin/virtualenv-wrapper.sh mkvirtualenv --python=/usr/bin/python3 py36 lsvirtualenv workon py36 # pip3 install -U numpy scipy h5py scikit-learn scikit-image matplotlib seaborn pandas pandasql pillow pip3 install -U jupyter pytest docopt pyyaml pip3 install -U cython pip3 install -U msgpack pyproj pip3 install -U opencv-python pip3 install -U firebase-admin googletrans google-cloud-vision gpyocr
時間がかかるので待つ
※ 「pip3 install」は、パッケージをインストールするためのコマンド
sudo python3 -m pip install -U tensorflow keras
※ バージョン番号が表示されれば OK.下の図とは違うバージョンが表示されることがある.
python3 -c "import tensorflow as tf; print( tf.__version__ )"
※ バージョン番号が表示されれば OK.下の図とは違うバージョンが表示されることがある.
python3 -c "import keras; print( keras.__version__ )"
pip3 list
sudo apt -yV install python3-h5py python3-pil
478.png のようなファイル名で保存しておく
cd <画像を置いたディレクトリ> python
VGG を使うプログラム。Kerasのサイトで公開されているものを少し書き換えて使用。
import h5py from keras.preprocessing import image from keras.applications.vgg16 import VGG16 from keras.applications.vgg16 import preprocess_input import numpy as np m = VGG16(weights='imagenet', include_top=False) img_path = '478.png' img = image.load_img(img_path, target_size=(299, 299)) x = image.img_to_array(img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) features = m.predict(x) print(features)
InceptionV3 を使うプログラム。Kerasのサイトで公開されているものを少し書き換えて使用。
import h5py
from keras.preprocessing import image
from keras.applications.inception_v3 import preprocess_input, decode_predictions, InceptionV3
import numpy as np
m = InceptionV3(weights='imagenet')
img_path = '478.png'
img = image.load_img(img_path, target_size=(299, 299))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)
preds = m.predict(x)
print('Predicted:')
for p in decode_predictions(preds, top=5)[0]:
print("Score {}, Label {}".format(p[2], p[1]))
端末で,次のコマンドを実行.
終了までしばらく待つ.
cd /tmp rm -rf cupy git clone https://github.com/cupy/cupy.git cd /tmp/cupy sudo CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" pip3 -v install .
端末で,次のコマンドを実行.
終了までしばらく待つ.
cd /tmp rm -rf chainer git clone https://github.com/chainer/chainer.git cd /tmp/chainer sudo CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" pip3 -v install .
ここでインストールするもの:
PyCharm Community (Python 開発環境), OpenJDK (Java), BlueJ (Java 開発環境), Processing 3 (プログラミング), swi-prolog (プログラミング), scratch (プログラミング),
catfish (ファイル検索), pinta (画像編集), notepad3 (エディタ), emacs (エディタ), hwinfo(ハードウエア情報),
Chromium Web ブラウザ, Firefox Web ブラウザ,
imagemagick (画像), ffmpeg (ビデオデータ処理), VLC media player (動画), Openshot (動画),
Blender (3次元), makehuman (人体アニメーション),
MeshLab (3次元), CloudCompare (3次元), PlotDigitizer (デジタイザ),
Tesseract (文字認識), MeCab (形態素解析),
shutter (画面キャプチャ), netcat (通信), net-tools (通信設定), SQLite 3 (データベース), DB Browser for SQLite (データベース)
※ BlueJ, Processing については,下のコマンドの実行前にバージョンを確認.下のコマンドを書き換えて使用.
BlueJ: https://www.bluej.org/
Processing: http://download.processing.org//
端末で,次のコマンドを実行.
# sudo apt -yV install openjdk-11-jdk scratch sudo apt -yV install swi-prolog # cd /tmp sudo rm -f pycharm-community-2019.1.3.tar.gz wget https://download.jetbrains.com/python/pycharm-community-2019.1.3.tar.gz cd /usr/local tar -xvzof /tmp/pycharm-community-2019.1.3.tar.gz # cd /tmp sudo apt -yV install libopenjfx-java sudo rm -f BlueJ-linux-421.deb wget http://www.bluej.org/download/files/BlueJ-linux-421.deb sudo dpkg -i BlueJ-linux-421.deb # cd /tmp sudo rm -f processing-3.5.3-linux64.tgz wget http://download.processing.org/processing-3.5.3-linux64.tgz cd /usr/local sudo tar -xvzof /tmp/processing-3.5.3-linux64.tgz cd processing-3.5.3 sudo bash install.sh
端末で,次のコマンドを実行.
sudo apt -yV install catfish pinta hwinfo emacs emacs-mozc sudo snap install notepad-plus-plus
端末で,次のコマンドを実行.
sudo apt -yV install chromium-browser firefox
端末で,次のコマンドを実行.
sudo apt -yV install imagemagick ffmpeg vlc openshot
端末で,次のコマンドを実行.
sudo apt -yV install blender makehuman
CloudCompare は「ccViewer」で起動
sudo apt -yV install meshlab # CloudCompare sudo apt -yV install qtbase5-dev qtdeclarative5-dev qt5-default qttools5-dev libqt5widgets5 libqwt-qt5-dev libqt5svg5-dev cd /tmp rm -f master.zip sudo rm -rf CloudCompare-master wget https://github.com/CloudCompare/CloudCompare/archive/master.zip 7z x master.zip rm -f master.zip cd CloudCompare-master rm -rf build mkdir build cd build cmake .. cmake --build . sudo make install
端末で,次のコマンドを実行.
cd /tmp wget https://sourceforge.net/projects/plotdigitizer/files/plotdigitizer/2.6.8/PlotDigitizer_2.6.8_Linux_and_Others.tgz sudo tar -xvzof PlotDigitizer_2.6.8_Linux_and_Others.tgz -C /usr/local
端末で,次のコマンドを実行.
sudo apt -yV install tesseract-ocr tesseract-ocr-jpn libtesseract-dev libleptonica-dev sudo apt -yV install tesseract-ocr-script-jpan tesseract-ocr-script-jpan-vert o
端末で,次のコマンドを実行.
sudo apt -yV install mecab libmecab-dev mecab-utils mecab-jumandic-utf8 mecab-naist-jdic python-mecab sudo python3 -m pip install mecab-python3
端末で,次のコマンドを実行.
sudo apt -yV install shutter netcat net-tools sudo add-apt-repository -y -n ppa:sicklylife/ppa sudo apt update sudo apt install -y libgoo-canvas-perl sudo add-apt-repository -y --remove ppa:sicklylife/ppa # sqlite3, SQLite browser sudo apt -yV install sqlite3 sqlitebrowser
ここでインストールするもの: gdal, OpenALPR, OpenNI, libPCL, OpenCV, Dlib, UnrealEngine 4
端末で,次のコマンドを実行.
sudo apt -yV install gdal-bin python3-gdal libgdal-dev libgdal1-dev
端末で,次のコマンドを実行.
sudo apt -yV install openalpr openalpr-utils libopenalpr-dev sudo apt -yV install openni2-utils libopenni2-dev sudo apt -yV install primesense-nite-nonfree sudo apt -yV install libpcl-dev
※ OpenCV で NVIDIA CuDNN を使いたい場合には,NVIDIA の所定のページで,登録を行い,利用条件を確認した上で,別途インストールしておくこと.
端末で,次のコマンドを実行.
sudo apt --purge remove libopencv-dev
sudo apt -yV autoremove
sudo apt autoclean
cd /tmp
sudo rm -rf opencv
git clone https://github.com/opencv/opencv.git
cd /usr/local
sudo rm -rf opencv_contrib
sudo git clone https://github.com/opencv/opencv_contrib.git
sudo apt -yV install python-dev python3-dev pylint pylint3 flake8 python-flake8 python3-flake8
cd /tmp
cd opencv
sudo rm -rf build
mkdir build
cd build
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local \
-D OPENCV_EXTRA_MODULES_PATH=/usr/local/opencv_contrib/modules \
-D OpenBLAS_INCLUDE_DIR=/usr/include/x86_64-linux-gnu \
-D OpenBLAS_LIB=/usr/lib/x86_64-linux-gnu/libopenblas.so \
-D INSTALL_TESTS=ON \
-D INSTALL_C_EXAMPLES=ON \
-D INSTALL_PYTHON_EXAMPLES=ON \
-D WITH_PYTHON=ON \
-D BUILD_opencv_python2=OFF \
-D BUILD_opencv_python3=ON \
-D PYTHON_DEFAULT_EXECUTABLE=python3 \
-D BUILD_EXAMPLES=ON ..
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
make -j4
sudo make install
export LD_LIBRARY_PATH=/usr/local/lib:${LD_LIBRARY_PATH}
echo 'export LD_LIBRARY_PATH=/usr/local/lib:${LD_LIBRARY_PATH}' >> ${HOME}/.bashrc
sudo /sbin/ldconfig
端末で,次のコマンドを実行.
※ Dlib で NVIDIA CuDNN を使いたい場合には,NVIDIA の所定のページで,登録を行い,利用条件を確認した上で,別途インストールしておくこと.
Dlib: http://dlib.net/files/
cd /tmp
sudo rm -rf dlib
sudo git clone https://github.com/davisking/dlib
cd /tmp/dlib
rm -rf build
mkdir build
cd build
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
cmake -DUSE_AVX_INSTRUCTIONS=YES ..
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
cmake --build .
sudo make install
#
cd /tmp/dlib
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
python3 setup.py build
sudo python3 setup.py install
cd /tmp/dlib
cd examples
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
cmake .
CUDA_PATH="/usr/local/cuda-10.0" CFLAGS="-I/usr/local/cuda-10.0/include" LDFLAGS="-L/usr/local/cuda-10.0/lib64" \
make
sudo make install
Unreal Engine 4 のインストールで EPIC Game Account と GitHub のアカウントが必要になるので準備しておく. (Unreal Engine 4 をインストールしない場合には不要) UnrealEngine 4 本体のソースコードやビルドの成果物を他者に開示しないこと(必ず著作者の許諾が必要です).
※ UnrealEngine4 で NVIDIA CuDNN を使いたい場合には,NVIDIA の所定のページで,登録を行い,利用条件を確認した上で,別途インストールしておくこと.
端末で,次のコマンドを実行.
# ue4 cd /usr/local sudo git clone https://github.com/EpicGames/UnrealEngine.git # github username and password cd UnrealEngine sudo ./Setup.sh sudo ./GenerateProjectFiles.sh sudo make # UE4Editor で起動
本サイトは金子邦彦研究室のWebページです.サイトマップは,サイトマップのページをご覧下さい. 本サイト内の検索は,サイト内検索のページをご利用下さい.
問い合わせ先: 金子邦彦(かねこ くにひこ) ![]()