トップページ ▶ データ処理 ▶ データの取り扱い ▶ SQL 問い合わせ（Python, pandas, pandasql を使用）

サイトマップ

サイト内検索

まとめページ

アクセスログ

金子邦彦研究室

SQL 問い合わせ（Python, pandas, pandasql を使用）

前準備

Python の準備

Google Colaboratory のノートブックを使うか， 自分のパソコンで Python を動かすなどがありえる．

• Google Colaboratory のノートブックを使う場合: 必要に応じて，下の「(1)」を参考に準備する．
• 自分のパソコンで Python を動かす場合: 必要に応じて，下の「(2)」を参考に準備する．

(1) （Google Colaboratory を使う場合）Google Colaboratory のノートブックの準備

Google Colaboratory のノートブックを新規作成を行う．

1. Google Colaboratory のWebページを開く

   https://colab.research.google.com

   Google Colab はオンラインの Python 開発環境． 使用するには Google アカウントが必要

2. 「ファイル」で、「ノートブックを新規作成」を選ぶ
3. Google アカウントでのログインが求められたときはログインする

(2) （自分のパソコンで Python を動かす場合）Python の準備

Python のインストール: 別ページで説明している．，pip と setuptools の更新，Python 開発環境

• Windows での Python のインストール: 別ページで説明している．，pip と setuptools の更新: 別ページで説明している．（あとのトラブルが起きにくいような手順を定めている）
• Ubuntu の場合:

  システム Python を使うことができる（システム Python を使う場合，Python のインストールは行わない）

  システム Python を用いるときは，pip, setuptools の更新は次のコマンドで行う．

  sudo apt -y update
  sudo apt -y install python3-pip python3-setuptools
  

  Ubuntu で，システム Python 以外の Python をインストールしたい場合は pyenv が便利である: 別ページで説明している．

Python の URL: http://www.python.org/

Python の numpy，pandas，seaborn，matplotlib，pandasql のインストール

• Windows の場合

  コマンドプロンプトを管理者として実行し，次のコマンドを実行．

  python -m pip install -U numpy pandas seaborn matplotlib pandasql
  

• Ubuntu の場合

  端末で，次のコマンドを実行

  sudo apt -y update
  sudo apt -y install python3-numpy python3-pandas python3-seaborn python3-matplotlib
  sudo pip3 install -U pandasql
  

Iris データセット, titanic データセットの準備

1. iris, titanic データセットの読み込み

   import pandas as pd
   import seaborn as sns
   sns.set()
   iris = sns.load_dataset('iris')
   titanic = sns.load_dataset('titanic')
   
2. データの確認

   print(iris.head())
   print(titanic.head())
   

SQL 問い合わせの例（Python, pandasql を使用）

1. 選択 (selection)

   import pandas as pd
   from pandasql import sqldf
   import seaborn as sns
   sns.set()
   iris = sns.load_dataset('iris')
   pysqldf = lambda q: sqldf(q, globals())
   print(pysqldf("SELECT * FROM iris WHERE sepal_length > 5;"))
   
2. 射影 (projection)

   import pandas as pd
   from pandasql import sqldf
   import seaborn as sns
   sns.set()
   iris = sns.load_dataset('iris')
   pysqldf = lambda q: sqldf(q, globals())
   print(pysqldf("SELECT sepal_length, sepal_width FROM iris WHERE sepal_length > 5;"))
   
3. グループごとの数え上げ

   列を１つ選ぶことで、グループを作り、各グループの要素数を求める

   pandasql と SQL を使う場合

   import pandas as pd
   from pandasql import sqldf
   import seaborn as sns
   sns.set()
   iris = sns.load_dataset('iris')
   titanic = sns.load_dataset('titanic')
   pysqldf = lambda q: sqldf(q, globals())
   print( pysqldf("SELECT species, count(*) FROM iris group by species;") );
   print( pysqldf("SELECT embark_town, count(*) FROM titanic group by embark_town;") );
   
4. グループごとの最大、最小、平均、中央値、和

   Iris データセットで，各グループの最大値を求める場合のみを載せる．

   pandasql と SQL を使う場合

   import pandas as pd
   from pandasql import sqldf
   import seaborn as sns
   sns.set()
   iris = sns.load_dataset('iris')
   titanic = sns.load_dataset('titanic')
   pysqldf = lambda q: sqldf(q, globals())
   print( pysqldf("SELECT species, max(sepal_length), max(sepal_width), max(petal_length), max(petal_width) FROM iris group by species;") );