概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい
鈴鹿医療科学大学学長、元国立大学財務・経営センター理事長、元三重大学学長の「つぶやき」と「ぼやき」のblog 今年度から、私は内閣府総合科学技術会議の「基礎研究および人育成部会」という会議の委員として出席をしているのですが、その会議で配られた資料には、日本の学術論文数が減少していること、そして、若手教員（研究者）の比率が減っていることを含め、たくさんの日本の研究機能についての分析データが示されていました。 日本の若手研究者の減少については、以前のブログでもご紹介したように、最も有名な科学誌の一つであるNature誌の3月20日号にも記事が掲載されていましたね。http://www.nature.com/news/numbers-of-young-scientists-declining-in-japan-1.10254 そして、資料の中で私が目を留めたのは、エルゼビア（Elsevier）社
HerokuがPostgreSQLのDatabase-as-a-Serviceを開始。しかし料金表がおかしいぞ Herokuは2007年にRuby on Railsをクラウドで提供することから始まっており、当初からバックエンドデータベースとしてPostgreSQLの機能を提供してきました。今回のHeroku Postgresは、そのPostgreSQLの機能をHeroku上のアプリケーション以外からも利用可能にするものです。 Herokuによると、Heroku PostgreSQLには以下の特徴があるとのこと。 Continuous Protection write-ahead-logと地理的に分散したデータコピーなどによって、つねにデータベースのデータを保護する技術。 If a meteor were to wipe out the east coast, you won’t lose
1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま
→紀伊國屋書店で購入 「情報と文学の関係」 著者の佐々木中氏は『夜戦と永遠 フーコー・ラカン・ルジャンドル』（2008年）という大部の思想書で、注目を集めた。本書でも特にルジャンドルが重要な導きの糸となっているものの、主題はあくまで「文学」に据えられている。 では、佐々木氏の文学観はどのあたりにあるのか。彼の語りは一種憑依型で、独特のリズムがあるが、言わんとすることは比較的単純である。すなわち、無味乾燥な「情報」の摂取にまで切り詰められた読書行為を、徹底して身体的で崇高なものとして捉え返すこと、これである。佐々木氏にとって、それはほとんど、読めないテクスト（聖典）を読み、しかも書き換えるという逆説的行為に近い。ゆえに、文盲であったムハンマド、読むことを「祈りであり瞑想であり試練である」といったルターが高く評価される。あるいは、ダンスや音楽を通じた「革命」が志される。 逆に、本書では、「情報
分散KVS（キーバリューストア）は、RDBMSの代わりになると思ってはいけない。RDBMSでは当たり前だった機能の一部は、あきらめる必要がある。このため、重要なデータをむやみやたらと分散KVS上に置くのはやめた方がよい。 分散KVSであきらめなければならない機能には、次の四つがある、 ・トランザクション機能 ・排他制御機能 ・読み取り一貫性を保証する機能 ・スプリットブレイン対策機能 逆にいえば、これらを取り込まないことで、分散KVSはRDBMSではかなわなかった、無尽蔵なスケーラビリティーや、極端に短いレイテンシー（要求が返ってくるまでの遅延時間）による高パフォーマンスを実現できたわけだ。 ところが、使い方を間違えれば、たちまち問題が生じてしまう。とりわけ、業務システムにおける重要なデータを分散KVS上に置く場合は注意が必要だ。 トランザクション処理に支障 重要なデータとは、不整合や損失
データベース研究者の大御所、マイケル・ストーンブレイカー氏が開発し、NoSQLデータベースをも上回る性能を発揮するリレーショナルデータベース「VoltDB」。前回の記事では、その特徴と、NoSQLデータベースのCassandraとのベンチマーク比較を紹介しました。 今回はVoltDBのアーキテクチャについて調べたことをご紹介しようと思います。基本的にはVoltDBのWebサイトやリンク先の内容を基にしています。また、ブログ「独り言v6」のエントリ「VoltDB登場 – RDBMSのようでRDBMSではない新システム」も参考にさせていただきました。 シェアドナッシングな分散インメモリデータベース VoltDBのアーキテクチャは、FAQのページで以下のように説明されています（英語を訳したものを引用しています。以下同じです）。 VoltDBは、シェアドナッシングなサーバ群から構成されるスケーラブ
リレーショナルデータベースを利用する際には、高い性能を引き出すために物理設計をし、スキーマを工夫し、パラメータのチューニングを行うことがつねに行われてきました。 性能のボトルネックはたいがいHDDにあり、いかにそのボトルネックを回避するかがチューニングのポイントですが、最近では性能向上のための武器として、HDDよりもずっとアクセス性能の高いSSDが注目されています。SSDはHDDと置き換えるだけで、アプリケーションにまったく手を加えずに性能向上を可能にする手段として非常に魅力的です。 HDDの代わりにSSDを利用したら、リレーショナルデータベースの性能はどれだけ向上するのでしょうか？ オラクルと富士通が共同検証を行い、その結果をホワイトペーパーとして先週発表しました（参考「日本オラクルと富士通 フラッシュ技術活用によるデータベース高速化を共同検証」）。 ホワイトペーパーでは、HDDの代わり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
