トップページデータ処理(目次ページ)

データ処理(目次ページ)

オープンデータ,データサイエンス,データの分析,データの管理,データベースシステム,R システム,データを扱うためのパソコン類のセットアップ.

考えていること:私は,データベースについて専攻している大学教授です. 授業などで,データベースについて教える機会が多く,詳しさ,分野の違うさまざまな教材を自分で準備するようになりました. そして,データベース研究を行うとき,実データを見る,データを分析する,データを活用するというさまざまな活動を行います.そのときの経験をできる限り残しておき,分かち合いたいと思うようになりました.

このページは目次ページである.

項目目次

それぞれのリンクをクリックすることで,各項目の目次ページ等にジャンプする.

1. セットアップ

Windows

Ubuntu

データサイエンス

  1. 統計処理演習
  2. R システムでデータサイエンス演習(スライド,全12回)
  3. Shiny によるデータシステム演習(スライド,全3回)

データ応用,種々のデータベース

  1. データ処理とデータ活用
  2. NoSQL データベース演習
  3. バイオインフォマティクスとデータベース

2. Python のデータフレーム,R システム

  1. Python の Pandas データフレーム
  2. R システムのインストール
  3. R システムの活用
  4. R システムでデータサイエンス演習(スライド,全12回)

3. 種々のデータ(日時,時系列,ビデオ)の扱い

  1. 日時データの処理
  2. 時系列データのプロット(Python, matplotlib, seaborn を使用)
  3. ビデオ,連番画像の処理
  4. RNA データ

4. データの分析,データを裏付けとする結論

  1. 主成分分析,次元削減
  2. クラスタリング
  3. R でアプリオリ・アルゴリズムを動かしてみる (arules パッケージを使用)

5. CSV ファイル,Excel ファイル,JSON ファイル,データ連携

  1. CSV ファイル,Excel ファイル,JSON ファイル
  2. SQL の活用,リレーショナルデータベースのデータ連携

【サイト内の関連ページ】

  1. Excel によるオペレーションズリサーチ演習(全14回): 別ページで説明している.

6. データ合成,分布

  1. データ合成,分布

7. リレーショナルデータベース入門,基礎

  1. リレーショナルデータベースの基本(短縮版)(全7回)
  2. リレーショナルデータベースの基礎 [PDF], [ワードファイル]
  3. リレーショナルデータベースの基礎(全12回)

リレーショナルデータベース序論(全4回):別ページにまとめている

リレーショナルデータベースの基本(全15回):別ページにまとめている

8. リレーショナルデータベースの活用

  1. SQLite 3 によるSQL 演習,SQLite 3 のインストールと活用
  2. PostgreSQL
  3. MySQL
  4. 種々のリレーショナルデータベース管理システム(Firebird,Java DB など)
  5. Access データベースの実演(全6回)
  6. リレーショナルデータベース演習(全15回)
  7. Access の活用

  8. XML ドキュメントのリレーショナルデータベースへのマッピング
  9. データベースツールのインストールと利用

9. NoSQL データベースシステム

  1. Redis と関連ツールのインストールと試用

10. 種々のデータベースシステム

11. オープンデータ,オンラインサイト

  1. オープンデータのダウンロード
  2. オンラインサイトの紹介
  3. 商用データなど

12. 種々のオープンデータへのリンク

  1. 種々のオープンデータへのリンク

詳細目次

1. セットアップ

Windows

Ubuntu

データ活用分野(データの管理,データの処理,データの活用)

リレーショナルデータベース,SQL

データサイエンス分野

統計処理演習

目次ページ:統計処理演習(スライド)

R システムでデータサイエンス演習(スライド,全12回)

「R システムでデータサイエンス演習」では、種々のデータ処理を R システムを用いて演習主体で学ぶための教材を公開している.

目次ページ:R システムでデータサイエンス演習(スライド,全12回)

Shiny によるデータシステム演習(スライド,全3回)

「Shiny によるデータシステム演習」では,オンライン(Web ペース)のデータシステムに関する次のことを演習形式で学ぶ.

目次ページ: R システムでデータサイエンス演習(スライド,全12回)

データベース応用,種々のデータベース

データ処理とデータ活用

目次ページ:データ処理とデータ活用

  1. リレーショナルデータベース [ワード], [PDF], [MS mht 版],
  2. SQL 問い合わせ [ワード], [PDF], [MS mht 版],
  3. SQL による結合 [ワード], [MS mht],
  4. Python のデータフレーム,集計・集約,ソート [ワード], [MS mht],
  5. Web でのリクエスト URL による処理の振り分け(Python の bottle を使用)[ワード], [MS mht],
  6. オブジェクト指向データベース(1) [ワード], [MS mht],
  7. オブジェクト指向データベース(2) [ワード], [MS mht],
  8. クラスタリング [ワード], [MS mht],
  9. ガウス分布,クラスタリング [ワード], [MS mht],
  10. 分類 [ワード], [MS mht],
  11. 種々のグラフ(Python の pandas を使用) [ワード], [MS mht],
  12. brief_introduction_to_database.ppt (書きかけ)[MS PowerPoint]

NoSQL データベース演習

目次ページ:NoSQL データベース演習

  1. NoSQL データベース [PDF], [パワーポイント], 動画 URL: https://www.youtube.com/watch?v=ZoZjNXpj1z
  2. JSON [PDF], [パワーポイント], 動画 URL: https://www.youtube.com/watch?v=8tQwAiBz2SM
  3. Cloud FireStore で JSON を扱う [PDF], [パワーポイント], 動画 URL: https://www.youtube.com/watch?v=GzX7ysvMQjk
  4. Key-Value ストアのシステム Redis, 動画 URL: https://www.youtube.com/watch?v=LBvcbMKxDDk

バイオインフォマティクスとデータベース

2. Python のデータフレーム,R システム

2.1 Python の Pandas データフレーム

目次ページ: Python の Pandas データフレーム

要約統計量,散布図,ヒストグラム,集計集約,CSV ファイル

2.2 R システムのインストール

目次ページ: R システムのインストール

Windows

動画「R システムのインストール(Windows 上)」の URL: https://www.youtube.com/watch?v=JPeAF0TBjqg

2.3 R システムの機能全般

R システム,RTools,RStudio のインストール: 別ページにまとめている.

目次ページ: R システムの活用

2.4 R システムでデータサイエンス演習(スライド,全12回)

目次ページ: R システムでデータサイエンス演習(スライド,全12回)

3. 種々のデータ(日時,時系列,ビデオ)の扱い

3.1 日時データの処理

目次ページ: 日時データの処理

3.2 時系列データの処理

3.3 ビデオデータの処理

目次ページ: ビデオ,連番画像の処理

3.4. RNA データ

目次ページ: RNA データ

4. データの分析,データを裏付けとする結論

4.1 主成分分析,次元削減

目次ページ: 主成分分析,次元削減

Python

R システムでの主成分分析

R システムでの不偏分散行列,相関係数行列

R システムでのCCA

R システムでのSOM

4.2 クラスタリング

目次ページ: クラスタリング

Python

R システム

4.3 データマイニング

5. CSV ファイル,Excel ファイル,JSON ファイル,データ連携

5.1 CSV ファイル,Excel ファイル,JSON ファイル

目次ページ: CSV ファイル,Excel ファイル,JSON ファイル

【CSV ファイル,Excel ファイル】

【JSON ファイル】

【サイト内の関連ページ】

5.2 SQL の活用,リレーショナルデータベースのデータ連携

CSV ファイルに対する SQL の実行

CSV ファイルのリレーショナルデータベースへのインポート

SQL を用いたさまざまな処理

CSV ファイルでの SQL 実行での性能確認

並行実行での性能確認

6. データ合成,分布

目次ページ: データ合成,分布

 

7. リレーショナルデータベース

7.1 リレーショナルデータベースの基本(短縮版)(全7回)

リレーショナルデータベースの基本を学び,全体を把握する.SQL の実習付き.

目次ページ: リレーショナルデータベースの基本(短縮版)(全7回)

  1. dd-1. リレーショナルデータベースの特徴

    [PDF], [パワーポイント]

  2. dd-2. テーブルとテーブル定義

    [PDF], [パワーポイント]

  3. dd-3. 種々の制約,関連

    [PDF], [パワーポイント]

  4. dd-4. 問い合わせと SQL

    [PDF], [パワーポイント]

  5. dd-5. 貸し出し記録のテーブル

    [PDF], [パワーポイント]

  6. dd-6. さまざまな SQL 問い合わせ

    [PDF], [パワーポイント]

  7. dd-7. テーブルの分割と結合

    [PDF], [パワーポイント]

以上をまとめた資料:[PDF ファイル],[パワーポイントファイル]

7.2 リレーショナルデータベースの基礎

リレーショナルデータベースの基礎 [PDF], [ワードファイル]

7.3 リレーショナルデータベースの基礎(全12回)

リレーショナルデータベースの基礎であるテーブル定義,一貫性制約,SQL,結合と分解,トランザクション,埋め込みSQL,実行計画,二次索引を学ぶ.SQLite 3 を用いて,SQL についての演習も行う.

目次ページ: リレーショナルデータベースの基礎(全12回)

  1. リレーショナルデータベースの基本概念
  2. テーブル定義と一貫性制約
  3. SQL 問い合わせ
  4. テーブルの結合と分解
  5. テーブルの更新,トランザクション
  6. データベースの物理構造
  7. 埋め込み SQL
  8. SQL の実行計画
  9. SQL 入門演習(1)

    SQL の LIKE, group by, ORDER BY, HAVING, COUNT に関する簡単な演習

  10. 二次索引 (1)
  11. 二次索引 (2)

8. リレーショナルデータベースの活用

8.1 SQLite 3 によるSQL 演習,SQLite 3 のインストールと活用

目次ページ: SQLite 3 によるSQL 演習,SQLite 3 のインストールと活用

SQLite 3 のインストールと使用

SQLite 3 による SQL 演習(全3回)

SQL の入門者を対象に,インストールや設定が簡単な SQLite 3 を使い,SQL の基本を学ぶための資料を公開している.SQL の実習付き.

下のすべてのファイルをまとめたもの:[PDF ファイル],[パワーポイントファイル]

動画再生リスト: https://www.youtube.com/playlist?list=PLwoDcGBEg9WEzEjlsg8Dn148xXpwi3WLJ

  1. si-1. SQLite 3 のインストールと基本操作

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=9lIiTxGLOWw

  2. si-2. テーブル定義,データ型,主キー,SQL 問い合わせ

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=ceu-KO9GG4k

  3. si-3. SQL による結合

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=1dOwQpszOtk

SQLite 3 の主な機能

SQLite 3 のシステム機能

SQLite 3 のデータベースツール

SQLite 3 とJDBC

8.2 PostgreSQL

目次ページ:PostgreSQL

PostgreSQL とは,リレーショナルデータベースのフリーソフトウエア.PostgreSQL をインストールし,phpPgAdmin などのツールの設定を行う.

PostgreSQL および関連ツールのインストール

・ Windows

・ Ubuntu

psql の利用

PostgreSQL データベースツールの利用

8.3 MySQL

目次ページ: MySQL

MySQL は,リレーショナルデータベース管理システム

MySQL のインストール

MySQL の機能

MySQL への ODBC, JDBC 接続

MySQL に関係する各種ツールの使用法

8.4 種々のリレーショナルデータベース管理システム(Firebird,Java DB など)

Firebird

Firebird は,オープンソースのリレーショナルデータベース管理システム

Java DB

Java DB は,pure JAVA なリレーショナルデータベース管理システム

HiRDB

目次ページ: HiRDB

HiRDB は商用のシステム. 商品の評価等を行うものでない.操作手順について記述するものである.

8.5 Access データベースの実演(全6回)

Access の基本的な機能を学び,全体を把握する.Access の実演動画を主として構成.

目次ページ: Access データベースの実演(全6回)

下のすべてのファイルをまとめたもの:[PDF ファイル],[パワーポイントファイル]

動画再生リスト: https://www.youtube.com/playlist?list=PLwoDcGBEg9WGrNJj3iBrbPQFqjKxXX8RM

  1. qd-1. 全体説明

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=C9W3hv0ideI

  2. qd-2. テーブル定義

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=ZN6hyeF71dc

  3. qd-3. フォーム,レポート

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=H3Jh56e0bGY

  4. qd-4. SQL 問い合わせ

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=963tyIEDnsc

  5. qd-5. テーブルのリレーションシップ

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=zYWNDez7kBQ

  6. qd-6. クエリのデザインビュー

    [PDF], [パワーポイント]

    動画 URL: https://www.youtube.com/watch?v=Fb_SW6iImBw

8.6 リレーショナルデータベース演習(全15回)

Access を用いて,リレーショナルデータベースの基本的な機能であるテーブル定義,SQL問い合わせなどの基本を学び,演習を行う.

目次ページ: リレーショナルデータベース演習(全15回)

動画再生リスト「リレーショナルデータベース演習(全15回)」: https://www.youtube.com/playlist?list=PLwoDcGBEg9WFRDKzC7xoNSw9DeT4i1Qsf

  1. Microsoft Access の起動と終了,画面の説明,基本操作

    [PDF], [パワーポイント]

  2. Microsoft Access のデータベース操作(1)

    [PDF], [パワーポイント]

  3. Microsoft Access のデータベース操作(2)

    [PDF], [パワーポイント]

  4. Microsoft Access のデータベース操作(3)

    [PDF], [パワーポイント]

  5. 集計・集約

    [PDF], [パワーポイント]

  6. 並べ替え(ソート)

    [PDF], [パワーポイント]

  7. 結合

    [PDF], [パワーポイント]

8.7 Access の活用

目次ページ:Access の活用

8.8 XML ドキュメントのリレーショナルデータベースへのマッピング

目次ページ XML ドキュメントのリレーショナルデータベースへのマッピング

8.9 データベースツールのインストールと利用

目次ページ: データベースツールのインストールと利用

9. 種々のデータベースシステム

Redis と関連ツールのインストールと試用

目次ページ: Redis と関連ツールのインストールと試用

【Redis のインストール】

【Redis 用の ツール】

10. 種々のデータベースシステム

10.1 マルチメディアデータベース序論(全6回)

目次ページ: マルチメディアデータベース序論(全6回)

  1. マルチメディアデータベース序論 [PDF], [パワーポイント], [HTML]
  2. 画像データベース [PDF], [パワーポイント], [HTML]
  3. マルチメディアデータベースのインデックス [PDF], [パワーポイント], [HTML]
  4. 画像の内容検索 [PDF], [パワーポイント], [HTML]
  5. ビデオデータベース [PDF], [パワーポイント], [HTML]
  6. テキストデータベース [PDF], [パワーポイント], [HTML]

Jasmine オブジェクトデータベースシステム

目次ページ: Jasmine オブジェクトデータベースシステム

11. オープンデータ,オンラインサイト

11.1 オープンデータのダウンロード

利用条件,出典表示の方法などは利用者で確認すること.

  1. Python の seaborn, scikits.learn のデータセット
  2. Python の scikits.learn でダウンロードできる LFW 顔画像データセット
  3. データフレーム,小画像
  4. 数値標高モデル
  5. 衛星画像
  6. モーションデータ
  7. 手書き文字
  8. 顔画像
  9. Wikipedia
  10. ipadic
  11. 政府統計 e-Stat
  12. 外国為替データ(時系列データ)
  13. 郵便番号
  14. KITTY オドメトリデータセット
  15. coco データセット
  16. Kaggle
  17. PASCAL VOC 2012 Example Segmentations(書きかけ)
    セグメンテーション済みのカラー画像,セグメンテーションのラベルは20種類.アノテーションも?(調査中)

11.2 オンラインサイトの紹介

11.3 商用データなど

※ 特定の商用製品等を推奨、広報するものではない.使用感など評価を行うものでもない.

12. 種々のオープンデータへのリンク

利用条件,出典表示の方法などは利用者で確認すること.

数値,ラベル等

画像 + ラベル

画像 + セグメンテーション結果

画像

顔画像

特定種類の画像

動作

CSV ファイル,エクセルファイル

地図

ビデオ

音声

自然言語

ネットワーク

Blender シーン

ゲノム

リファレンスゲノム配列 GRCh38 NCBI のページ: https://www.ncbi.nlm.nih.gov/assembly/GCF_000001405.26/

その他

その他,オープンデータ関係

Detector : Dlib, SSD Mobilenet-v2

Recognition: VGG2 VGG2-Resnet

Model: Inception ResNet2

Face Datasets: VGGFace2, MS-Celeb-1M, CASIA WebFace, Labeled Faces in the Wild

[1] VGG Face : http://www.robots.ox.ac.uk/~vgg/software/vgg_face/

[2] VGG Face in TensorFlow : https://github.com/ZZUTK/TensorFlow-VGG-face

[3] DLib : https://github.com/davisking/dlib

[4] Dlib Guide Blog : https://www.pyimagesearch.com/2017/04/03/facial-landmarks-dlib-opencv-python/

Computer Vision Group, Freiburg: https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html NYU Depth Dataset V2, https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html

以下、書きかけ

  
#!/bin/bash

cat >/tmp/a.$$.sql <<-SQL
drop table KENALL; 
drop table JIGYOSYO; 
SQL
cat /tmp/a.$$.sql | sqlite3 /tmp/mydb01
#
cat >/tmp/a.$$.sql <<-SQL

この Web ページの配下にある資料の維持方針