トップページ -> データベース研究スタート -> Keras 2 の利用 -> Keras に付属のデータセット
[サイトマップへ]  

Keras に付属のデータセット

Python の kerasパッケージには,次のデータセットを簡単にダウンロードできる機能があります.

先人に感謝.

キーワード: Keras, データセット, CIFAR10, CIFAR100, IMDB, Reuters newswire topics, MNIST, Fashion MNIST, Boston Housing Price


前もって準備しておくこと

前準備として,Anaconda のインストールが終わっていること. 手順を下に説明しています.

Anaconda のインストール

Python 3 の開発環境である Anacondaをおすすめ.Window でのインストール手順は次の通りです(Linuxでも同様の手順です).

  1. https://www.continuum.io/downloads#windowsを開く

  2. Download」をクリックする.

  3. ダウンロードが始まるので確認する.

  4. ダウンロードした .exe ファイルを実行して,Anacondaをインストール.

    Python処理系にはいくつかの種類がある. この Web ページでは Anaconda をおすすめしている. 以下,Windows に Anacondaをインストールしたものとして説明を続ける.

  5. コマンドプロンプトを管理者として実行

  6. まずは,最新の conda-build パッケージが欲しい.コマンドプロンプトで,次のコマンドを実行

    conda install -y conda-build
    

    ※ 「Proceed ([y]/n)?」と表示されたら, y + Enter で続行する.「反応が遅いなあ」と思ったら、Enter キーを押してみる.

  7. conda が更新されたので,コマンドプロンプトをいったん閉じる
  8. 再び,コマンドプロンプトを管理者として実行
  9. Anaconda プロンプトで,次のコマンドを実行

    conda update -y pip
    conda update -y setuptools
    conda update -y conda
    conda update -y conda-build
    

    ※ 「Proceed ([y]/n)?」と表示されたら, y + Enter で続行する.「反応が遅いなあ」と思ったら、Enter キーを押してみる.


Keras 2 と前提となる Python パッケージのインストール手順

  1. コマンドプロンプトを管理者として実行

  2. Anaconda プロンプトで,次のコマンドを実行

    ※ Anaconda や Miniconda を使っていないときは conda コマンドがないので pip コマンドを使ってください

    ※ conda パッケージの tensorflow が古いので(2018/02時点),pip を使うことにする.

    conda install numpy scipy 
    conda install yaml 
    conda install hdf5 
    conda install h5py
    conda --upgrade all
    pip install --ignore-installed --upgrade tensorflow 
    pip install --ignore-installed --upgrade keras 
    

    ※ 「Proceed ([y]/n)?」と表示されたら, y + Enter で続行する.「反応が遅いなあ」と思ったら、Enter キーを押してみる.

  3. Keras がインストールできたかの確認したい。

    Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

    次の Python プログラムを実行してみる.

    エラーメッセージが出なければ OK。

    import tensorflow as tf 
    import keras 
    from keras.models import Sequential
    model = Sequential()
    
    from keras.layers import Dense, Activation
    import keras.optimizers
    model.add(Dense(units=64, input_dim=100))
    model.add(Activation('relu'))
    model.add(Dense(units=10))
    model.add(Activation('softmax'))
    model.compile(loss=keras.losses.categorical_crossentropy,
                  optimizer=keras.optimizers.SGD(lr=0.01, momentum=0.9, nesterov=True))
    

データセットの確認

keras に付属のデータセットを取得するときのオプションについては, https://keras.io/ja/datasets/(日本語版), https://keras.io/datasets/(英語版) に説明されている.

ここでの、オブジェクトの名前付けのルール

CIFAR10

Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

from keras.datasets import cifar10
(X_train, y_train), (X_test, y_test) = cifar10.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示(確認のため)

import matplotlib.pyplot as plt
plt.imshow( X_train[0] )

CIFAR100

Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

from keras.datasets import cifar100
(X_train, y_train), (X_test, y_test) = cifar100.load_data(label_mode='fine')

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示(確認のため)

import matplotlib.pyplot as plt
plt.imshow( X_train[0] )

IMDB Movie reviews sentiment classification

Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

from keras.datasets import imdb
(X_train, y_train), (X_test, y_test) = imdb.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示(確認のため)

print( X_train[0] )

Reuters newswire topics classification

Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

from keras.datasets import reuters
(X_train, y_train), (X_test, y_test) = reuters.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示(確認のため)

print( X_train[0] )

MNIST database of handwritten digits

Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

from keras.datasets import mnist
(X_train, y_train), (X_test, y_test) = mnist.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示(確認のため)

import matplotlib.pyplot as plt
plt.imshow( X_train[0], cmap='gray' )

Fashino MNIST

Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

from keras.datasets import fashion_mnist
(X_train, y_train), (X_test, y_test) = fashion_mnist.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示(確認のため)

import matplotlib.pyplot as plt
plt.imshow( X_train[0], cmap='gray' )

Boston housing price regression dataset

Python 処理系」で次を実行.(Anacondaに入っている開発環境 spyder を実行し,右下の ipython コンソールを使うのが簡単.)

from keras.datasets import boston_housing
(X_train, y_train), (X_test, y_test) = boston_housing.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示(確認のため)

print( X_train[0] )

以下、書きかけ

参考Webページ http://www.procrasist.com/entry/2017/01/07/154441

https://keras.io/getting-started/sequential-model-guide/ で言及されている次の事項について.

https://github.com/fchollet/keras/tree/master/examples に記載のプログラムを動かしてみる.

  • CIFAR 10

    https://github.com/fchollet/keras/blob/master/examples/cifar10_cnn.py を実行してみる.