CIFAR 10, CIFAR 100, MNIST, Fashion MNIST データセットの主成分分析プロット（Python, matplotlib, seaborn を使用）

Keras に付属のデータセットの主成分分析を行い，その結果として偉える第１主成分スコアと第２主成分スコアをプロットする．

この資料の URL: https://www.kkaneko.jp/data/pca/princomp2.html

Google Colab へのリンク
前準備
データセットの準備とデータセットの主成分分析プロット

【サイト内の関連ページ】

関連の用語集: https://www.kkaneko.jp/db/man.html

keras に付属のデータセットに関する Web ページ: https://keras.io/ja/datasets/

1. Google Colab へのリンク

このページの内容は，Google Colaboratory でも実行できる．

そのために，次の URL で，Google Colaboratory のノートブックを準備している．

次のリンクをクリックすると，Google Colaboratory のノートブックが開く．そして，Google アカウントでログインすると，Google Colaboratory のノートブック内のコードを実行することができる．Google Colaboratory のノートブックは書き換えて使うこともできる．このとき，書き換え後のものを，各自の Google ドライブ内に保存することもできる．

https://colab.research.google.com/drive/1Blm3l62DN_4dqUoltwhq-sdtsfr7ZaiU?usp=sharing

(1) 前準備（Google Colaboratory のノートブックを新規作成して使う場合）

自分で，Google Colaboratory のノートブックを新規作成する場合（上のリンクを使わない）のため，手順を説明する．

パソコンを使う場合は，下に「前準備（パソコンを使う場合）」で説明している．

Google Colaboratory のWebページを開く
https://colab.research.google.com

Google Colab はオンラインの Python 開発環境．使用するには Google アカウントが必要
「ファイル」で、「ノートブックを新規作成」を選ぶ
Google アカウントでのログインが求められたときはログインする

(2) （自分のパソコンで Python を動かす場合）Python の準備

Python のインストール: 別ページで説明している．，pip と setuptools の更新，Python 開発環境

Windows での Python のインストール: 別ページで説明している．，pip と setuptools の更新: 別ページで説明している．（あとのトラブルが起きにくいような手順を定めている）
Ubuntu の場合:
システム Python を使うことができる（システム Python を使う場合，Python のインストールは行わない）
システム Python を用いるときは，pip, setuptools の更新は次のコマンドで行う．
```
sudo apt -y update
sudo apt -y install python3-pip python3-setuptools
```
Ubuntu で，システム Python 以外の Python をインストールしたい場合は pyenv が便利である: 別ページで説明している．

Python の URL: http://www.python.org/

【Python, pip の使い方】

Python, pip は，次のコマンドで起動できる．

Windows: python, python -m pip (または py -3.9, py -3.9 -m pip のようにバージョン指定）
Ubuntu: python3, sudo pip3
但し，「sudo pip3」でパッケージをインストールする前に，「apt-cache search ＜キーワード＞」で Ubuntu パッケージを検索し，Ubuntu パッケージが見つかった場合にはそちらを apt でインストール．

【Python 開発環境のインストール】

Windows:
JupyterLab, spyder, nteract （Python 開発環境）のインストールは， Windows でコマンドプロンプトを管理者として実行し，次のコマンドを実行．
```
python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
```
詳しくは，: 別ページで説明している．
Ubuntu
JupyterLab, spyder, nteract （Python 開発環境）のインストール: : 別ページで説明している．

TensorFlow，tensorflow_datasets のインストール

Windows の場合:
Windows での pip の実行では，コマンドプロンプトを管理者として実行することにする。
```
python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
python -m pip install -U tensorflow tensorflow_datasets
```
Windows でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．

Ubuntu の場合:

端末で，次のコマンドを実行．

sudo pip3 uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
sudo pip3 uninstall -y six wheel astunparse tensorflow-estimator numpy keras-preprocessing absl-py wrapt gast flatbuffers grpcio opt-einsum protobuf termcolor typing-extensions google-pasta h5py tensorboard-plugin-wit markdown werkzeug requests-oauthlib rsa cachetools google-auth google-auth-oauthlib tensorboard tensorflow
sudo apt -y install python3-six python3-wheel python3-numpy python3-grpcio python3-protobuf python3-termcolor python3-typing-extensions python3-h5py python3-markdown python3-werkzeug python3-requests-oauthlib python3-rsa python3-cachetools python3-google-auth
sudo pip3 install -U tensorflow tensorflow_datasets

Ubuntu でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．

Python の numpy, pandas, seaborn, matplotlib, scikit-learn のインストール

Windows の場合

コマンドプロンプトを管理者として実行し，次のコマンドを実行．

python -m pip install -U pip setuptools numpy pandas matplotlib seaborn scikit-learn scikit-learn-intelex

Ubuntu の場合

端末で，次のコマンドを実行

sudo apt -y update
sudo apt -y install python3-numpy python3-pandas python3-seaborn python3-matplotlib python3-sklearn

3. データセットの準備とデータセットの主成分分析プロット

keras に付属のデータセットに関する Web ページ: https://keras.io/ja/datasets/

主成分分析プロットの前準備

import pandas as pd
import seaborn as sns
sns.set()
import numpy as np
import sklearn.decomposition
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# 主成分分析
def prin(A, n):
    pca = sklearn.decomposition.PCA(n_components=n)
    return pca.fit_transform(A)

# 主成分分析で２つの成分を得る
def prin2(A):
    return prin(A, 2)

# M の最初の2列を，b で色を付けてプロット
def scatter_plot(M, b, alpha):
    a12 = pd.DataFrame( M[:,0:2], columns=['a1', 'a2'] )
    a12['target'] = b
    sns.scatterplot(x='a1', y='a2', hue='target', data=a12, palette=sns.color_palette("hls", np.max(b) + 1), legend="full", alpha=alpha)

# 主成分分析プロット
def pcaplot(A, b, alpha):
    scatter_plot(prin2(A), b, alpha)

CIFAR10 データセット

CIFAR10 データセットのロード

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

cifar10, cifar10_metadata = tfds.load('cifar10', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = cifar10['train'][0], cifar10['train'][1], cifar10['test'][0], cifar10['test'][1]
print(cifar10_metadata)
# 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 ～ 255 であるのを，0 ～ 1 に調整）する】
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))
# numpy に変換
x_train = x_train.numpy().astype("float32") / 255.0
x_test = x_test.numpy().astype("float32") / 255.0
y_train = y_train.numpy()
y_test = y_test.numpy()
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))

CIFAR10 データセットの主成分分析プロット

x_train = x_train.reshape(x_train.shape[0], -1) # サブフラット化
x_test = x_test.reshape(x_test.shape[0], -1) # サブフラット化
print(x_train.shape)
print(x_test.shape)
pcaplot(np.concatenate( (x_train, x_test) ), np.concatenate( (y_train, y_test) ), 0.1)

CIFAR 100データセット

CIFAR100 データセットのロード

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

cifar100, cifar100_metadata = tfds.load('cifar100', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = cifar100['train'][0], cifar100['train'][1], cifar100['test'][0], cifar100['test'][1]
print(cifar100_metadata)
# 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 ～ 255 であるのを，0 ～ 1 に調整）する】
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))
# numpy に変換
x_train = x_train.numpy().astype("float32") / 255.0
x_test = x_test.numpy().astype("float32") / 255.0
y_train = y_train.numpy()
y_test = y_test.numpy()
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))

CIFAR100 データセットの主成分分析プロット

x_train = x_train.reshape(x_train.shape[0], -1) # サブフラット化
x_test = x_test.reshape(x_test.shape[0], -1) # サブフラット化
print(x_train.shape)
print(x_test.shape)
pcaplot(np.concatenate( (x_train, x_test) ), np.concatenate( (y_train, y_test) ), 0.1)

MNIST データセットのロード

データセットの準備

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

mnist, mnist_metadata = tfds.load('mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = mnist['train'][0], mnist['train'][1], mnist['test'][0], mnist['test'][1]
print(mnist_metadata)
# 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 ～ 255 であるのを，0 ～ 1 に調整）する】
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))
# numpy に変換
x_train = x_train.numpy().astype("float32") / 255.0
x_test = x_test.numpy().astype("float32") / 255.0
y_train = y_train.numpy()
y_test = y_test.numpy()
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))

MNISTデータセットの主成分分析プロット

x_train = x_train.reshape(x_train.shape[0], -1) # サブフラット化
x_test = x_test.reshape(x_test.shape[0], -1) # サブフラット化
print(x_train.shape)
print(x_test.shape)
pcaplot(np.concatenate( (x_train, x_test) ), np.concatenate( (y_train, y_test) ), 0.1)

Fashion MNIST データセット

Fashion MNIST データセットのロード

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

fashion_mnist, fashion_mnist_metadata = tfds.load('fashion_mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = fashion_mnist['train'][0], fashion_mnist['train'][1], fashion_mnist['test'][0], fashion_mnist['test'][1]
print(fashion_mnist_metadata)
# 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 ～ 255 であるのを，0 ～ 1 に調整）する】
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))
# numpy に変換
x_train = x_train.numpy().astype("float32") / 255.0
x_test = x_test.numpy().astype("float32") / 255.0
y_train = y_train.numpy()
y_test = y_test.numpy()
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))

Fashion MNIST データセットの主成分分析プロット

x_train = x_train.reshape(x_train.shape[0], -1) # サブフラット化
x_test = x_test.reshape(x_test.shape[0], -1) # サブフラット化
print(x_train.shape)
print(x_test.shape)
pcaplot(np.concatenate( (x_train, x_test) ), np.concatenate( (y_train, y_test) ), 0.1)

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）