オープンデータ，データサイエンス，データの分析，データの管理，データベースシステム，R システム，データを扱うためのパソコン類のセットアップ．
考えていること：私は，データベースについて専攻している大学教授です． 授業などで，データベースについて教える機会が多く，詳しさ，分野の違うさまざまな教材を自分で準備するようになりました． そして，データベース研究を行うとき，実データを見る，データを分析する，データを活用するというさまざまな活動を行います．そのときの経験をできる限り残しておき，分かち合いたいと思うようになりました．
このページは目次ページである．
それぞれのリンクをクリックすることで，各項目の目次ページ等にジャンプする．
【サイト内の関連ページ】
統計処理演習
目次ページ：統計処理演習（スライド）
R システムでデータサイエンス演習（スライド，全１２回）
「R システムでデータサイエンス演習」では、種々のデータ処理を R システムを用いて演習主体で学ぶための教材を公開している．
目次ページ：R システムでデータサイエンス演習（スライド，全１２回）
Shiny によるデータシステム演習（スライド，全３回）
「Shiny によるデータシステム演習」では，オンライン（Web ペース）のデータシステムに関する次のことを演習形式で学ぶ．
目次ページ： R システムでデータサイエンス演習（スライド，全１２回）
データ処理とデータ活用
目次ページ：データ処理とデータ活用
NoSQL データベース演習
目次ページ：NoSQL データベース演習
目次ページ: Python の Pandas データフレーム
要約統計量，散布図，ヒストグラム，集計集約，CSV ファイル
目次ページ: R システムのインストール
Windows
動画「R システムのインストール（Windows 上）」の URL:
https://www.youtube.com/watch?v=JPeAF0TBjqg
R システム，RTools，RStudio のインストール: 別ページにまとめている．
目次ページ: R システムの活用
目次ページ: R システムでデータサイエンス演習（スライド，全１２回）
目次ページ: 日時データの処理
目次ページ: ビデオ，連番画像の処理
目次ページ: RNA データ
目次ページ: 主成分分析，次元削減
Python
R システムでの主成分分析
R システムでの不偏分散行列，相関係数行列
R システムでのCCA
R システムでのSOM
目次ページ: クラスタリング
Python
R システム
目次ページ: CSV ファイル，Excel ファイル，JSON ファイル
【CSV ファイル，Excel ファイル】
【JSON ファイル】
【サイト内の関連ページ】
CSV ファイルに対する SQL の実行
CSV ファイルのリレーショナルデータベースへのインポート
SQL を用いたさまざまな処理
CSV ファイルでの SQL 実行での性能確認
並行実行での性能確認
目次ページ: データ合成，分布
目次ページ: データベース序論（データベースの入門者へ）（全４回）
リレーショナルデータベースの基本を学び，全体を把握する．SQL の実習付き．
目次ページ: リレーショナルデータベースの基本（短縮版）（全７回）
以上をまとめた資料：[PDF ファイル]，[パワーポイントファイル]
リレーショナルデータベースの利用法，設計，運用などの基本を学ぶ．SQL，IE 図 の演習付き．演習では，Access，オンラインの MySQL, オンラインの draw.io を使用．
目次ページ: リレーショナルデータベースの基本（全１５回）
リレーショナルデータベースの基礎 [PDF], [ワードファイル]
リレーショナルデータベースの基礎であるテーブル定義，一貫性制約，SQL，結合と分解，トランザクション，埋め込みSQL，実行計画，二次索引を学ぶ．SQLite 3 を用いて，SQL についての演習も行う．
目次ページ: リレーショナルデータベースの基礎（全１２回）
SQL の LIKE, group by, ORDER BY, HAVING, COUNT に関する簡単な演習
SQLite 3 のインストールと使用
SQLite 3 による SQL 演習（全３回）
SQL の入門者を対象に，インストールや設定が簡単な SQLite 3 を使い，SQL の基本を学ぶための資料を公開している．SQL の実習付き．
下のすべてのファイルをまとめたもの：[PDF ファイル]，[パワーポイントファイル]
動画再生リスト:
https://www.youtube.com/playlist?list=PLwoDcGBEg9WEzEjlsg8Dn148xXpwi3WLJ
SQLite 3 の主な機能
SQLite 3 のシステム機能
SQLite 3 のデータベースツール
SQLite 3 とJDBC
目次ページ：PostgreSQL PostgreSQL とは，リレーショナルデータベースのフリーソフトウエア．PostgreSQL をインストールし，phpPgAdmin などのツールの設定を行う．
PostgreSQL および関連ツールのインストール
・ Windows
・ Ubuntu
psql の利用
PostgreSQL データベースツールの利用
目次ページ: MySQL
MySQL は，リレーショナルデータベース管理システム．
MySQL のインストール
MySQL の機能
MySQL への ODBC, JDBC 接続
MySQL に関係する各種ツールの使用法
Firebird
Java DB
Java DB は，pure JAVA なリレーショナルデータベース管理システム．
HiRDB
目次ページ： HiRDB HiRDB は商用のシステム．
商品の評価等を行うものでない．操作手順について記述するものである．
Access の基本的な機能を学び，全体を把握する．Access の実演動画を主として構成．
目次ページ: Access データベースの実演（全６回）
下のすべてのファイルをまとめたもの：[PDF ファイル]，[パワーポイントファイル]
動画再生リスト:
https://www.youtube.com/playlist?list=PLwoDcGBEg9WGrNJj3iBrbPQFqjKxXX8RM
Access を用いて，リレーショナルデータベースの基本的な機能であるテーブル定義，SQL問い合わせなどの基本を学び，演習を行う．
動画再生リスト「Access によるリレーショナルデータベース演習（全７回）」:
https://www.youtube.com/playlist?list=PLwoDcGBEg9WFRDKzC7xoNSw9DeT4i1Qsf
目次ページ：Access の活用 キーワード：問い合わせ（クエリ）, 副問い合わせ, IN, SQLビュー キーワード：テーブル定義, create table, insert into, DELETE FROM WHERE, UPDATE SET WHERE, SQLビュー キーワード：問い合わせ（クエリ）, NULL, IS NULL, IS not null, AND, OR, SQLビュー キーワード: Microsoft Access, SQL, テーブル定義, 問い合わせ（クエリ），Access と Excel の連携
目次ページ: データベースツールのインストールと利用
目次ページ: Redis と関連ツールのインストールと試用
【Redis のインストール】
【Redis 用の ツール】
目次ページ: マルチメディアデータベース序論（全６回）
目次ページ: Jasmine オブジェクトデータベースシステム 利用条件，出典表示の方法などは利用者で確認すること． 利用条件，出典表示の方法などは利用者で確認すること． URL: https://sites.google.com/site/datasciencehiro/datasets Titanic, MLB datasets など多数 URL: http://archive.ics.uci.edu/ml/ Iris, Adult, Wine, Car Evaluation, Wine Quality, Heart Disease, Breast Canser Wisconsin, Bank Marketing, Human Activity Recognition Using Smartphones など多数 URL: http://scikit-learn.org/stable/datasets/index.html iris, digits, wine, breast cancer, boston, diabetes, linnerud． URL: http://www.statsmodels.org/dev/datasets/index.html Iris, Titanic など URL: http://seaborn.pydata.org/examples/index.html Iris, Titanic など http://www.mlit.go.jp/road/census/h22-1/index.html
URL http://www.data.jma.go.jp/gmd/risk/obsdl/ など 過去の気象データなど http://places.csail.mit.edu/index.html
画像数: 250万，シーンカテゴリ数: 205 URL: https://www.cs.toronto.edu/~kriz/cifar.html ダウンロード URL: https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 10 URL: https://www.cs.toronto.edu/~kriz/cifar.html 画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 100, スーパークラス数: 20 URL: https://www.kaggle.com/c/cifar-10 CIFAR10のテスト画像に 290,000枚の junk 画像を追加したもの． 画像数: 14,197,122（うち，バウンディングボックス付きの画像数: 1,0134,908）, synset 数: 21,841 手書き文字 MNIST と互換なカラー画像 URL: https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/ 画像数(元画像，セグメンテーション画像）: 500 画像数: 330,000 以上（うち，タグ付きの画像数 200,000 以上），オブジェクトカテゴリ数: 81
pip install pycocotools
URL: http://cs-people.bu.edu/jmzhang/sos.html 画像数（タグ付き）: 1,224 http://host.robots.ox.ac.uk/pascal/VOC/
画像数: 11,530, ROI でアノテーションされたオブジェクト数: 27,450, セグメンテーション数: 6,929 URL: http://sipi.usc.edu/database/, http://www.imageprocessingplace.com/root_files_V3/image_databases.htm テクスチャ，航空写真など URL: https://eros.usgs.gov/aerial-photography 米国の航空写真 URL: http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html 顔画像数（顔の5ランドマーク，40の属性付き）: 202,599, 人数: 10,177 URL: http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html URL: https://talhassner.github.io/home/projects/Adience/Adience-data.html#agegender 画像数（年齢と性別のラベル付き）: 26,580 URL: http://www.robots.ox.ac.uk/~vgg/software/vgg_face/ 顔画像数: 1,000,000 以上
URL: https://ebill.uncw.edu/C20231_ustores/web/classic/product_detail.jsp?PRODUCTID=8
URL: http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/index.html 画像数（車両の画像）: 136,726，キャプション数: 27618, 車両の種類（5s種類のラベル付き）: 1,716 URL: http://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html, http://www.robots.ox.ac.uk/~vgg/data/flowers/17/ 画像数（花の画像）: 136,726，カテゴリ数: 102 URL: https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php アクションカテゴリ: basketball shooting, biking/cycling, diving, golf swinging, horse back riding, soccer juggling, swinging, tennis swinging, trampoline jumping, volleyball spiking, and walking with a dog
2. Python のデータフレーム，R システム
2.1 Python の Pandas データフレーム
2.2 R システムのインストール
2.3 R システムの機能全般
2.4 R システムでデータサイエンス演習（スライド，全１２回）
3. 種々のデータ（日時，時系列，ビデオ）の扱い
3.1 日時データの処理
3.2 時系列データの処理
3.3 ビデオデータの処理
3.4. RNA データ
4. データの分析，データを裏付けとする結論
4.1 主成分分析，次元削減
4.2 クラスタリング
4.3 データマイニング
5. CSV ファイル，Excel ファイル，JSON ファイル，データ連携
5.1 CSV ファイル，Excel ファイル，JSON ファイル
5.2 SQL の活用，リレーショナルデータベースのデータ連携
6. データ合成，分布
7. リレーショナルデータベース
7.1 データベース序論（データベースの入門者へ）（全４回）
7.2 リレーショナルデータベースの基本（短縮版）（全７回）
7.3 リレーショナルデータベースの基本（全１５回）
7.4 リレーショナルデータベースの基礎
7.5 リレーショナルデータベースの基礎（全１２回）
8. リレーショナルデータベースの活用
8.1 SQLite 3 によるSQL 演習，SQLite 3 のインストールと活用
8.2 PostgreSQL
8.3 MySQL
8.4 種々のリレーショナルデータベース管理システム（Firebird，Java DB など）
8.5 Access データベースの実演（全６回）
8.6 Access によるリレーショナルデータベース演習（全７回）
8.7 Access の活用
8.8 XML ドキュメントのリレーショナルデータベースへのマッピング
8.9 データベースツールのインストールと利用
9. 種々のデータベースシステム
Redis と関連ツールのインストールと試用
10. 種々のデータベースシステム
10.1 マルチメディアデータベース序論（全６回）
Jasmine オブジェクトデータベースシステム
11. オープンデータ，オンラインサイト
11.1 オープンデータのダウンロード
セグメンテーション済みのカラー画像，セグメンテーションのラベルは20種類．アノテーションも？（調査中）
11.2 オンラインサイトの紹介
https://www.ocf.berkeley.edu/~acowen/music.html
11.3 商用データなど
TurboSquid は，3D モデルの販売サイト
12. 種々のオープンデータへのリンク
数値，ラベル等
import pansda as pd
pd.read_excel('hoge.xls', header=8, index_col=F)
import geopandas.geocode
geopandas.geocode('ほげ')
画像 + ラベル
画像 + セグメンテーション結果
画像
顔画像
特定種類の画像
動作
CSV ファイル，エクセルファイル
地図
URL: http://www.speech.cs.cmu.edu/databases/an4/
948 training and 130 test utterances
URL: https://corochann.com/penn-tree-bank-ptb-dataset-introduction-1456.html
ダウンロードリンク: https://gumroad.com/l/fqLaS
リファレンスゲノム配列 GRCh38 NCBI のページ: https://www.ncbi.nlm.nih.gov/assembly/GCF_000001405.26/
Detector : Dlib, SSD Mobilenet-v2 Recognition: VGG2 VGG2-Resnet Model: Inception ResNet2 Face Datasets: VGGFace2, MS-Celeb-1M, CASIA WebFace, Labeled Faces in the Wild [1] VGG Face : http://www.robots.ox.ac.uk/~vgg/software/vgg_face/ [2] VGG Face in TensorFlow : https://github.com/ZZUTK/TensorFlow-VGG-face [3] DLib : https://github.com/davisking/dlib [4] Dlib Guide Blog : https://www.pyimagesearch.com/2017/04/03/facial-landmarks-dlib-opencv-python/
Computer Vision Group, Freiburg: https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html NYU Depth Dataset V2, https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
以下、書きかけ
#!/bin/bash cat >/tmp/a.$$.sql <<-SQL drop table KENALL; drop table JIGYOSYO; SQL cat /tmp/a.$$.sql | sqlite3 /tmp/mydb01 # cat >/tmp/a.$$.sql <<-SQL
本サイトは金子邦彦研究室のWebページである．
資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．
公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している． 再配布や資料改変の際には，そのページをご確認ください．
サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．
問い合わせ先： 金子邦彦（かねこ くにひこ） ![[image]](../info/kanekomail.png){kind=small}
![[image]](../info/logo_png.png){kind=logo}