SlideShare a Scribd company logo
PostgreSQLとPython
PyCon mini 広島
What is it?
PostgreSQLとPython
What is it?
一見関係なさそうですが…
What is it?
一見関係なさそうですが…
密接な関係があります!
What is it?
そんな2つの関係をご紹介します
あじぇんだ
1 自己紹介
2 PL/Python
3 FDWとPython
4 まとめ
あじぇんだ
1 自己紹介
2 PL/Python
3 FDWとPython
4 まとめ
自己紹介
名前:曽根 壮大(そね たけとも)
年齢:31歳(三人の子供がいます)
職業:Webエンジニア
所属:日本PostgreSQLユーザ会
   中国支部 支部長
  技術的にはLL系言語とかRDBが好きです
中国地方DB勉強会
https://dbstudychugoku.github.io/
岡山Python勉強会
https://okapython.doorkeeper.jp/
岡山Python勉強会
https://okapython.doorkeeper.jp/
ハングアウトでも参加可能!
あじぇんだ
1 自己紹介
2 PL/Python
3 FDWとPython
4 まとめ
PL/Python
PL/Python?
PL/Python
まずはPL/pgSQLの話
PL/Python
ストアドプロシージャ
を作るための機能
↓
DB内で手続き型な処理がしたい時に使う
PL/Python
ストアドプロシージャ
を作るための機能
↓
DB内で手続き型な処理がしたい時に使う
PL/Python
具体例
• ループさせたい(for文)
• 条件分岐したい(if文)
• データを加工したい
PL/Python
PL/pgSQLを使うメリット
(公式ドキュメントから引用)
•クライアント サーバ間において、不要
な中間処理の結果や通信を減らす
•一連の問い合わせに、複数の解析が不要
PL/Python
新しい言語覚えるの面倒
+
PL/pgSQLは読みにくい
PL/pgSQL
CREATE OR REPLACE FUNCTION fnc_test() RETURNS int AS $$
DECLARE
cs CURSOR FOR SELECT * FROM t_test;
rec record;
dum char;
BEGIN
OPEN cs;
LOOP
FETCH cs INTO rec;
IF NOT FOUND THEN
EXIT;
END IF;
RAISE NOTICE 'record is %', rec;
END LOOP;
CLOSE cs;
RETURN 0;
END;
$$ LANGUAGE plpgsql;
PL/pgSQL
CREATE OR REPLACE FUNCTION fnc_test() RETURNS int AS $$
DECLARE
cs CURSOR FOR SELECT * FROM t_test;
rec record;
dum char;
BEGIN
OPEN cs;
LOOP
FETCH cs INTO rec;
IF NOT FOUND THEN
EXIT;
END IF;
RAISE NOTICE 'record is %', rec;
END LOOP;
CLOSE cs;
RETURN 0;
END;
$$ LANGUAGE plpgsql;
ループのスコープがわかりにくい
PL/pgSQL
CREATE OR REPLACE FUNCTION fnc_test() RETURNS int AS $$
DECLARE
cs CURSOR FOR SELECT * FROM t_test;
rec record;
dum char;
BEGIN
OPEN cs;
LOOP
FETCH cs INTO rec;
IF NOT FOUND THEN
EXIT;
END IF;
RAISE NOTICE 'record is %', rec;
END LOOP;
CLOSE cs;
RETURN 0;
END;
$$ LANGUAGE plpgsql;
ループのスコープがわかりにくい
IFが直感的ではない
PL/Python
そこでPL/Python!
PL/Python
PL/○○
•PHP
•Perl
•Ruby
•JavaScript
•R
•Java …etc
PL/Python
PL/○○
•PHP
•Perl
•Ruby
•JavaScript
•R
•Java …etc
他にも色々ある
PL/Python
CREATE OR REPLACE FUNCTION fnc_test() 
RETURNS SETOF int AS $$
import plpy
cs = plpy.execute("SELECT * FROM t_test")
for record in cs:
yield record['text']
$$ LANGUAGE plpython2u;
PL/Python
CREATE OR REPLACE FUNCTION fnc_test() 
RETURNS SETOF int AS $$
import plpy
cs = plpy.execute("SELECT * FROM t_test")
for record in cs:
yield record['text']
$$ LANGUAGE plpython2u;
もちろんPython3も使える
PL/Python
CREATE OR REPLACE FUNCTION fnc_test() 
RETURNS SETOF int AS $$
import plpy
cs = plpy.execute("SELECT * FROM t_test")
for record in cs:
yield record['text']
$$ LANGUAGE plpython2u;
もちろんPython3も使える
既存のLibraryを再利用できる
PL/Python
既存のLibraryを再利用できる
PL/Python
既存のLibraryを再利用できる
↓
PyDataもNumPyも使える
PL/Python
既存のLibraryを再利用できる
↓
PyDataもNumPyも使える
Pythonはデータサイエンスと相性が良い
PL/Python
PL/Python
詳しいことは
@snagaさん
に聞くと良い(多分
PL/Python
DBの世界もこれで怖くない!
あじぇんだ
1 自己紹介
2 PL/Python
3 FDWとPython
4 まとめ
FDWとは
外部テーブルを作成するための機能
(外部のデータをtableにする)
FDWとは
外部データにテーブルと同様に
SQL文でアクセスできる
FDWとは
• WHEREやORDER BYが使える
• GROUP BYなどの集合関数も使える
• JOINなど、他tableと関連付け出来る
• 更新や削除も出来る(ただし9.3から)
FDWとは
外部データ
↓
DB、CSV、JSON、WebAPIなんでも良い
FDWとは
PostgreSQL
to
PostgreSQL
FDWとは
MySQL
to
PostgreSQL
FDWとは
MongoDB
to
PostgreSQL
FDWとは
Git
to
PostgreSQL
SQL Databases Wrappers
• postgres_fdw
• oracle_fdw
• mysql_fdw
• odbc_fdw
• jdbc_fdw
NoSQL Databases Wrappers
• couchdb_fdw
• MonetDB FDW
• mongo_fdw
• redis_fdw
• Neo4j fdw
• Tycoon FDW
Others
• git_fdw
• ldap_fdw
• IMAP_fdw
• s3_fdw
• www_fdw
• OS_fdw
FDWとは
その他に既に多くの実装がある
SQL Databases Wrappers
• postgres_fdw
• oracle_fdw
• mysql_fdw
• odbc_fdw
• jdbc_fdw
FDWを使う
MySQLPostgreSQL
FDWを使う
MySQLPostgreSQL
TABLE
FDWを使う
EXTENSION
MySQLPostgreSQL
TABLE
FDWを使う
EXTENSION
MySQLPostgreSQL
TABLE
mysql_fdwをインストールする
FDWを使う
server
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
FDWを使う
server
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
MySQLの接続先を設定する
MySQLの接続ユーザを設定する
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
PostgreSQLの外部tableを作成する
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
SQLで問い合わせ
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
SQLで問い合わせ
外部tableにアクセス
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
アクセス先を確認
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
MySQLにクエリを投げる
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
実行結果を取得
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
実行結果を表示
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
FDWを使う
server
FOREIGN
TABLE
EXTENSION
USER MAPPING
MySQLPostgreSQL
TABLE
Client
ここを作る
FDWを作る
現時点では
ほんの少しの元気と勇気と
PostgreSQLの内部構造に関する知識
がある程度必要です。
FDW超詳しい人
FDWを作る
なんか出来そう!!
FDWを作る
1週間後…
FDWを作る
圧倒的挫折…
FDWを作る
出来る人の簡単
FDWを作る
出来る人の簡単
↓
凡人の超えられない壁
FDWを作る
それなりの覚悟とちゃんとした
PostgreSQLとCの知識が必要
FDWを作る
でも大丈夫
FDWを作る
簡単にPythonで作る方法がある
FDWを作る
Multicorn
Multicorn
FDWを
Pythonで実装する
ためのLibrary
Multicorn
class hogeFDW(ForeignDataWrapper):
def __init__(self, options, columns):
super(hogeFDW, self).__init__(options, columns)
self.columns = columns
def execute(self, quals, columns):
#range(1,20)で20行の擬似TABLEを作る
for i in range(1,20):
# 値を返してあげる
yield(i, "hoge")
Multicorn
class hogeFDW(ForeignDataWrapper):
def __init__(self, options, columns):
super(hogeFDW, self).__init__(options, columns)
self.columns = columns
def execute(self, quals, columns):
#range(1,20)で20行の擬似TABLEを作る
for i in range(1,20):
# 値を返してあげる
yield(i, "hoge")
WHERE句の中身
必ず適用される
あじぇんだ
1 自己紹介
2 PL/Python
3 FDWとPython
4 まとめ
まとめ
PostgreSQLとPython
まとめ
PostgreSQLとPython
↓
実は仲良し
まとめ
OSやミドルウェアのレイヤでは
Pythonはデファクトスタンダード
と言って良い(多分
まとめ
Pythonを出来る
¦¦
インフラエンジニアとして有利!
まとめ
Pythonで視野を広げてみませんか?
参考資料
・公式ドキュメント(日本語)
https://www.postgresql.jp/document/9.4/html/postgres-fdw.html
・postgresql-jp Slack(チャットルーム)
https://postgresql-hackers-jp.herokuapp.com/
まとめ
Pythonを制するものは
インフラを制す
ご静聴ありがとうございました。

More Related Content

PDF
PostgreSQLとPythonとSQL
PDF
知って得するWebで便利なpostgre sqlの3つの機能
PDF
20140531 JPUGしくみ+アプリケーション分科会 勉強会資料
PPTX
R -> Python
PDF
PythonでテキストをJSONにした話(PyCon mini sapporo 2015)
PDF
OSS-DB Gold技術解説セミナー@db tech showcase 東京 2014
PDF
Python 機械学習プログラミング データ分析ライブラリー解説編
PDF
入門機械学習1,2章
PostgreSQLとPythonとSQL
知って得するWebで便利なpostgre sqlの3つの機能
20140531 JPUGしくみ+アプリケーション分科会 勉強会資料
R -> Python
PythonでテキストをJSONにした話(PyCon mini sapporo 2015)
OSS-DB Gold技術解説セミナー@db tech showcase 東京 2014
Python 機械学習プログラミング データ分析ライブラリー解説編
入門機械学習1,2章

What's hot (20)

PPTX
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PPTX
OSC2015kyoto
PDF
Pg14_sql_standard_function_body
PDF
Python入門
PPTX
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PDF
Postgre sql9.3 newlockmode_and_etc
PDF
PEP8を読んでみよう
PPTX
OSC2015nagoya
KEY
ひのきのぼうだけで全クリ目指す
PDF
Python東海Vol.5 IPythonをマスターしよう
PDF
OSC沖縄2014_JPUG資料
PDF
pythonでオフィス快適化計画
PPTX
SQLチューニング入門 入門編
PDF
pg_bigmを用いた全文検索のしくみ(前編)
PDF
シンプルでシステマチックな Linux 性能分析方法
PPT
クラウド時代の並列分散処理技術
PDF
Hackers Champloo 2016 postgresql-9.6
PDF
「Python言語」はじめの一歩 / First step of Python
PPT
20090107 Postgre Sqlチューニング(Sql編)
PPTX
2017/12/21 虎の穴 Python勉強会
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
OSC2015kyoto
Pg14_sql_standard_function_body
Python入門
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Postgre sql9.3 newlockmode_and_etc
PEP8を読んでみよう
OSC2015nagoya
ひのきのぼうだけで全クリ目指す
Python東海Vol.5 IPythonをマスターしよう
OSC沖縄2014_JPUG資料
pythonでオフィス快適化計画
SQLチューニング入門 入門編
pg_bigmを用いた全文検索のしくみ(前編)
シンプルでシステマチックな Linux 性能分析方法
クラウド時代の並列分散処理技術
Hackers Champloo 2016 postgresql-9.6
「Python言語」はじめの一歩 / First step of Python
20090107 Postgre Sqlチューニング(Sql編)
2017/12/21 虎の穴 Python勉強会
Ad

Similar to PostgreSQLとpython (20)

PDF
Ansible入門...?
PDF
Subprocess no susume
PDF
Pythonはどうやってlen関数で長さを手にいれているの?
PDF
20170131 python3 6 PEP526
ODP
Introduction of Python
PDF
「Python言語」はじめの一歩 / First step of Python / 2016 Jan 12
PPT
Llでゆるふわプログラミングのすすめ
PPTX
rpi_handson_2.5
PDF
私とOSS活動とPerl
PDF
Python界隈の翻訳プロジェクト
PDF
PythonistaがOCamlを実用する方法
PDF
LLdeade Python Language Update
PDF
PCAの最終形態GPLVMの解説
PDF
Scapyで作る・解析するパケット
PDF
PythonでPodcastを聴く
PPTX
Django_Fukuoka
PDF
How to run P4 BMv2
PDF
boost::shared_ptr tutorial
PDF
Django_fukuoka
KEY
OSS奨励賞受賞プレゼン 活動紹介
Ansible入門...?
Subprocess no susume
Pythonはどうやってlen関数で長さを手にいれているの?
20170131 python3 6 PEP526
Introduction of Python
「Python言語」はじめの一歩 / First step of Python / 2016 Jan 12
Llでゆるふわプログラミングのすすめ
rpi_handson_2.5
私とOSS活動とPerl
Python界隈の翻訳プロジェクト
PythonistaがOCamlを実用する方法
LLdeade Python Language Update
PCAの最終形態GPLVMの解説
Scapyで作る・解析するパケット
PythonでPodcastを聴く
Django_Fukuoka
How to run P4 BMv2
boost::shared_ptr tutorial
Django_fukuoka
OSS奨励賞受賞プレゼン 活動紹介
Ad

More from Soudai Sone (20)

PDF
DBの闇を書くにはこの余白は狭すぎる
PDF
レガシーな環境からモダンへの挑戦
PDF
PostgreSQLアンチパターン
PDF
地方エンジニアがPostgreSQLを通じて成長した話
PDF
DDDハンズオン
PDF
実務で役立つデータベースの活用法
PDF
今すぐ使えるクラウドとPostgreSQL
PDF
Postgre sqlから見るnosql
PDF
Webで役立つRDBの使い方
PDF
中国地方Db勉強会
PDF
Ansibleで始めるpostgre sqlの冗長化
PDF
Web エンジニアが postgre sql を選ぶ 3 つの理由
PDF
Web で変わったクラウドと postgre sql の今と昔
PDF
すぐ始めれるクラウド
PDF
Osc2014
PDF
PostgreSQLの冗長化について
PDF
Osh2014
PDF
Postgre sql9.3新機能 (OSC hiroshima 2013)
PDF
聞いたら参加したくなるJjug cccの報告
PDF
地方における勉強会事情
DBの闇を書くにはこの余白は狭すぎる
レガシーな環境からモダンへの挑戦
PostgreSQLアンチパターン
地方エンジニアがPostgreSQLを通じて成長した話
DDDハンズオン
実務で役立つデータベースの活用法
今すぐ使えるクラウドとPostgreSQL
Postgre sqlから見るnosql
Webで役立つRDBの使い方
中国地方Db勉強会
Ansibleで始めるpostgre sqlの冗長化
Web エンジニアが postgre sql を選ぶ 3 つの理由
Web で変わったクラウドと postgre sql の今と昔
すぐ始めれるクラウド
Osc2014
PostgreSQLの冗長化について
Osh2014
Postgre sql9.3新機能 (OSC hiroshima 2013)
聞いたら参加したくなるJjug cccの報告
地方における勉強会事情

PostgreSQLとpython