以前に SQLでテーブルデータの一括作成、複製 という記事を書いたのですがもう少しかみ砕いて、かつPostgreSQLにも対応した内容で書き直してみます。 RDBMSを利用したアプリケーションを開発していて数千件を超える大量のデータを作成する必要が発生した場合に知っておくと便利なテクニックの紹介です。なお、以下のようなケースを想定しています。 SQLのパフォーマンス検証のために大量のレコードが必要 1テーブルに100万件以上 動作検証・評価作業のためにテスト内容に準じたデータが一定数必要 1セット100件を100セット 事前準備 SELECT文の 直積(CROSS JOIN) を利用します。 事前に一定数のレコードを保持するテーブルが必要です。 ここでは sample というテーブルを作成して 直積(CROSS JOIN) のSELECT文に利用します。 MySQLとPostgreSQLで
はじめに 数ヶ月に一回、ラーメンデータベースのスクレイピングをやっているんだけど、その集計のためにPostgreSQLを使っている。 で、スクレイピング結果を使って、PostgreSQL上でヒストグラムっぽいのを作っているんだけど、毎回そのやり方を忘れちゃうので、ここに書いておくことにした。 witdh_bucket関数 ヒストグラムっぽいのを作成するのに、PostgreSQLの算術演算関数 width_bucket(operand numeric, b1 numeric, b2 numeric, count int) を使う。 PostgreSQL文書だと、あんまり親切な説明がない。この素っ気なさはPostgreSQLクオリティだよなあｗ b1からb2までの範囲に広がる等幅でバケット数countのヒストグラムにおいて、operandが割り当てられるバケット番号を返す。 範囲の外側の入力値
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
docker-composeを使って、Vagrant上に開発環境を構築してみたいと思い、 環境構築を作成しました。 備忘録的な感じでメモベースな投稿になっています。 ゴール Vagrant上に、RailsとPostgreSQLのDocker環境を用意して、 ScaffoldしたRailsアプリでCRUDができるようにする。 バージョン Mac OS 10.12.5 Vagrant 1.9.2 Ruby 2.4.1 Rails 5.1.3 PostgreSQL 9.6.3 手順 Vagrantによるローカル開発環境を構築する Docker開発環境を作成する DBと接続する 1. Vagrantによるローカル開発環境を構築する Vagrantをインストール 開発スペースに移動して、以下のコマンドを実施してください。 // Vagrantfileを作成 OSX $ vagrant init //
Postgresqlデータベースの引越しを検討されている方や、引越し後にデータベースの肥大化に悩まされている方の参考になればと。 What happened Live環境のPostgresqlデータベースの引越しを行って数週間後、Postgresqlのdata volumeがこれまでにない異常なペースで消費されていることに気付く。 Drill down record数の増加状況は移行前後で特に大きな違いはない。 Liveのデータベースを定期的にstaging環境にrestore (+ データのクレンジング) しているが、staging環境と比較しても明らかに大きなサイズになっている。stagingにrestoreすると15GB程度のテーブルが、liveでは100GB以上。。 以上の２つから、vacuum周りに何か問題があるのでは？とあたりをつける。 Check auto-vacuum ex
データベースマイグレーションツールでフレームワーク非依存のもので有名所といえばflywayだが、Java製のツールであるためJVMを入れておく必要がある。JVMを入れるというのが意外とハードルで、稼働中の環境に入れる場合は影響範囲が怖かったり、CIのたびに容量が小さくないJVMを入れるのはちょっと・・・というケースもある。 そんなときにオススメしたいのがGo製のマイグレーションツールmattes/migrateだ。flywayと同じくCLIツールだが、JVMのようなランタイムは不要だ。ビルド済みのバイナリがGitHubで提供されていて、インストールはcurlやwgetですぐにできる。容量も7.1Mと小さい。MySQLやPostgreSQLなど主要なデータベースに対応している。Go製であるが、マイグレーションファイルは素のSQLで書くから、ユーザにはGo言語の知識は必要ない。 mattes/
Docker for Macのパブリックベータが公開されたので、Docker for MacでPostgreSQLを構築してみます。 参考ページ Docker for Mac Official https://docs.docker.com/engine/installation/mac/ Docker Hub Postgres Official https://hub.docker.com/_/postgres/ Docker for Mac https://docs.docker.com/engine/installation/mac/ インストーラをダウンロードして実行するだけで、ステータスバーにくじらが表示されてDockerが使えるようになります。超簡単ですね。 インストール要件は以下の通り。 Mac must be a 2010 or newer model OS X 10.10
https://hexdocs.pm/ecto/getting-started.html (Ecto v2.0.5) の翻訳になります。 訳が間違っている、抜けているなどの箇所などを見つけたら指摘していただけると助かります。 このガイドはElixirのデータベースラッパー及びクエリジェネレータEctoへのイントロダクションです。Ectoは、Elixirデベロッパーがどんなデータベースを使っていようと同じような方法でクエリによる問い合わせができるように、標準化されたAPIと抽象化された方法を提供しています。 このガイドでは、PostgreSQLデータベースのレコードの作成・読み込み・更新・削除のような基本的なことについて学べます。もしこのガイド中のコードを見たければ、ここ(at ecto/examples/friends on GitHub)のコードを見てください。 このガイドは事前にPos
Postgresql 9.3でJSON関連のサポートが強化されている。 JSON型 （>=9.2） JSON演算子 (読み込み専用アクセッサ) JSONサポート関数 (JSON データ変換) 9.3リリースの目玉機能だが、使ってみた人が少ないのか一向に情報が上がってこない。 ドキュメントを見てもなんだか面倒くさそうで自分から使う気は起きない。 実際の使い勝手はどうなのか、たまたま開発で触る機会があったのでまとめておく。 PostgreSQL自体そんなに詳しいわけではないので、間違いがあったら突っ込んでほしい。 追記: PostgreSQL 9.4 のリリースで jsonb の登場するなど状況がかなり変わっている。 9.4 ついてもフォローしたので参考にしてほしい。 PostgreSQL 9.4 の JSON サポートについて PostgreSQL JSON の応用メモ テーブルデータをJS
はじめに 仕事の現場でアプリ開発を一生懸命やっていたら 「PostgreSQLはちゃんとレプリケーション構成にしてあるよね？」 と言われ「え？何それ？」と思った人のためにPostgreSQLのレプリケーション設定手順まとめました。 レプリケーションについて レプリケーションについて、とても簡単に説明します。 同期/非同期について 同期 マスタDBの更新とスレーブDBの更新の両方が終わって処理完了とします。 非同期 マスタDBの更新が終わったら処理完了とします。スレーブDBの更新結果を待ちません。 スタンバイ/ホットスタンバイについて スタンバイ スレーブDBにアクセスできません。 ホットスタンバイ スレーブDBに対して参照処理を行うことができます。更新処理はできません。 今回は非同期レプリケーションでホットスタンバイの構成を構築します。 PostgreSQLのインストールと初期設定は以下参
PostgreSQL 9.4 で JSON 関連機能が強化された。 jsonb 型の追加 jsonb 関係演算子の追加 GIN インデックスの jsonb サポート JSON サポート関数の拡充 以前 PostgresSQL 9.3 の JSON サポートについてまとめた。 本稿はその続編であり、PostgreSQL 9.4 になって JSON どう進歩したのかをユーザ視点で検証したい。（また長いんだこれが） 修正リクエストは歓迎します。 なお本稿では、大文字の JSON はその書式やデータを表し、PostgreSQL の型を指す場合に json や jsonb のように小文字を使って区別する。検証は素でソースビルドした beta2 版の PostgreSQL 9.4 を仮想環境上の CentOS 7 上で行った。 jsonb 見参 9.4 で追加された jsonb 型は JSON テキス
はじめに 今日はPostgreSQL 10の目玉機能の一つになるであろう、ロジカルレプリケーションを使ってみた話を書きますよ。 参考にしたもの 実はPostgreSQL 10のロジカルレプリケーションに関しては、postgresql-jp Slackで、篠田さん＠HPEや前JPUG理事長の永安さんが簡単に検証した例を紹介しているので、そっちを見ればいいのだろうけど、まあこういうのは自分で手を動かさないと覚えないので、自分でもやってみることにする。 ロジカルレプリケーションって何よ？ 名前のとおり、論理WALを伝播させてレプリケーションさせる機能。 PostgreSQL 9.0から導入されたストリーミングレプリケーションは物理レプリケーションであり、WALをそのままダイレクトに反映させる機構。なので、レプリケーション元/先のメジャーバージョンやOSアーキテクチャが異なると適用できなかった。
はじめに PostgreSQL 10がやってくる（その2） このパーティションがすごい！の記事で、PostgreSQL 10のリストパーティションについて簡単に紹介したんですが、今回はパーティションに関する小ネタを幾つか書いてみました。 (ちょい長いです) 今日のお題は以下の6つ FOR VALUESに複数の値を指定する パーティションキーが重複する場合 別テーブルで同一のパーティションキーが存在し、同一のキー値を設定した場合 FOR VALUES IN () に関数を指定する Primary keyは設定不可 パーティションテーブルにインデックスを設定してみる FOR VALUESに複数の値を指定する 高度に発達した横濱は横浜と区別がつかない PostgreSQL 10devel DocumentationのCREATE TABLEを見ると、 and partition_bound_sp
はじめに 自分は別にPostgreSQLデベロッパーじゃないけど、PostgreSQL開発版を使って、期待の新しいパーティション機能を試してみましたよ。 この機能はAmit Langoteさんが主に開発した機能らしい。 PostgreSQL 9.6以前のパーティション PostgreSQL 9.6までもいわゆるパーティション機能はあったが、パーティション専用のDDLが存在していたわけではなかった。 テーブルの継承機能やINSERTトリガを組み合わせて構築するという、いわば「なんちゃってパーティション」である。 もちろん「なんちゃってパーティション」であっても、 パーティション単位でのパージ(TRUNCATE) パーティションキーが存在する場合には検索範囲を限定 というメリットは十分に受けられる。 ただ、問題はいろいろあって・・・。 親テーブルに対するINSERTが遅い。これはトリガベースで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![[python] pandasのDataFrameからpostgresにテーブルを作成 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6237a37a13238941ccc602286e3551a06d7b9da3/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMTE2NTI4JTJGcHJvZmlsZS1pbWFnZXMlMkYxNTcxMTQ3NDY1P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTgwNDg3NDM4MGFhNzk2NDM0NGU2MDRlOTVhNzc4NDcx%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Df09efd19313fdc541fe469627103d953%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCcHl0aG9uJTVEJTIwcGFuZGFzJUUzJTgxJUFFRGF0YUZyYW1lJUUzJTgxJThCJUUzJTgyJTg5cG9zdGdyZXMlRTMlODElQUIlRTMlODMlODYlRTMlODMlQkMlRTMlODMlOTYlRTMlODMlQUIlRTMlODIlOTIlRTQlQkQlOUMlRTYlODglOTAmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0xYWIyNDI0NzM0NWQ0MzJhMTVmYmY0YjJiNDNmZTZhZA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrby1kYS1rJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NGUzODhjYzVlMWU0OTMwODlkODRkZTI4OTJjZThkM2M%26blend-x%3D242%26blend-y%3D454%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44Oq44Kv44Or44O844OI44Op44Kk44OV44K544K_44Kk44Or%26txt-x%3D242%26txt-y%3D539%26txt-width%3D838%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25231E2121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D28%26s%3D0952ce841ad57d1e66d93320b0471477)
