構成 [appサーバ] -> [lvs] -> [MySQL]群 DRでMySQLのスレーブ群にロードバランス appサーバはDBコネクションのプーリング、永続化をしている 問題の現象 DBサーバ上ではmysqldへのコネクションが存在するのに、appサーバ上ではコネクションが存在しない。(netstat調べ) →無用なコネクションが残留するせいで、MySQLのmax_connectionsに達してしまう。 原因 MySQLの世界の無通信時のコネクションのタイムアウトはデフォルトで 28800秒 (8時間)。一方、IPVSの世界の無通信時のタイムアウトはESTABLISHEDなコネクションで900秒 (15分)。 # ipvsadm -Ln --timeout Timeout (tcp tcpfin udp): 900 120 300なので、DBコネクションの永続化等でコネクションを張りっ

Sadayuki Furuhashi @frsyuki 将来の大規模分散システムでは、ストレージは集約してRAIDで並列化+ネットワークで繋げた方が、ローカルに単発のHDD（やSSD）を持つサーバを分散して設置するより、管理コストも勘案すると十分有利、という主張をしてみたいのだけども、ちょぃと厳しいかなぁ。 2011-02-21 19:13:45

先日、SPIDERストレージエンジンについて2度に渡り本ブログで紹介した（その１：Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン、その２：快適スケールアウト生活への第一歩。SPIDERストレージエンジンを使ってみよう！）が、SPIDERの作者である斯波氏は、実はもう一つ驚くべきストレージエンジンを開発している。その名も、VPストレージエンジンだ。ちょっと地味な名前だが、VPとは、Vertical Partitioning（垂直パーティショニング）の略で、複数のテーブルの上にVPストレージエンジンを被せて、垂直パーティショニング（カラムごとにデータを格納する領域を分ける）を実現するというものだ。他のテーブルの上に被せるアーキテクチャをとっているという点では、VPとSPIDERの発想は同じである。以下は、VPストレージエンジンの動作

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

若人: 我々は、超並列計算のフレームワークとしてMapReduceを実装し運用に成功した。 1000台のコンピュータで、1TBのデータ処理が68秒でできるんだ! これは、有史以来の快挙だ、どんなもんだい![6] 翁: あ～、水を差して悪いんだけどねえ、MapReduceなんて技術はねえ、我々データベースの専門家が40年も前から研究しておるんよ。 それに、MapReduceと同等の分散データベースのSQLエンジンも商用化されているし。 こんな事は、データベース研究分野の論文に全部発表されているよ。 君たちコンピュータサイエンティストは、人の論文を読まんからな、困ったもんだ。 それにMapReduceは、我々先達の知恵を活かしとらん! 若人: MapReduceに何か問題がありますか? 超簡単に並列アプリが開発でき、自動実行できるんですよ、こんなんシステム今までに無いし、快挙でしょ! 翁: そ

カラムナデータベース（列指向データベース）とデータベースの圧縮機能について、マイケル・ストーンブレイカー氏が語っていること データベースの高速化技術の1つに、データの圧縮があります。データを圧縮して扱うことでディスクアクセスとI/Oが減少し、データへのアクセス速度が向上するのです。最近のCPUコア数の増大やメモリ単価の下落はデータ圧縮と伸長にかかるオーバーヘッドのコストを相対的に小さくしており、それもこの技術に有利に働いています。 Ingresの開発者であり、InformixのCTOなどデータベースベンダの要職を歴任、データベース研究者として大御所ともいえるマイケル・ストーンブレイカー氏が、データベースにおけるこのデータ圧縮と伸長処理について、ブログ「The Database Column」のエントリ「"Just in Time" Decompression in Analytic Dat

少し前までデータベースと言えばRDBMSのことだったが、最近では徐々に変わり始めている。顕著なのがスキーマレスのデータベースの存在だ。さらにCouchDBというクライアントサイドでも使える分散型データベースも登場している。 シンプルなWiki スキーマレスというのは扱い勝手が悪いように感じられることもあるが、その利用ケースによってはぴたりと当てはまってくる。StrokeDBもその一つだ。 今回紹介するオープンソース・ソフトウェアはStrokeDB、Ruby製の分散型ドキュメントデータベースだ。 StrokeDBはCouchDBと似ているが、幾つかの特徴を備えている。まず分散型であることにおいてスケーリングが容易になる。ドキュメントのフォーマットはJSONを利用している。そのこともあってクライアントサイドの言語（JavaScriptやActionScript）との親和性も高い。 サンプルのス

スキーマ（schema） データベースの構造であり、データベース管理システム (DBMS) でサポートされている形式言語で記述される。関係データベースでは、スキーマは関係 (表) と関係内の属性 (フィールド) 、属性や関係の関連の定義である。スキーマは一般にデータ辞書に格納される。スキーマはテキストによるデータベース言語のデータ定義言語 (DDL) で定義されるが、グラフィカルにデータベース構造を表したものをスキーマと呼ぶことも多い （http://ja.wikipedia.org/wiki/%E3%82%B9%E3%82%AD%E3%83%BC%E3%83%9E_(%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9)） マルチデータベース 異種データベース間結合機能 既存データベース間に内在する新しい関係を抽出する 既存データベ

JSON（http://www.json.org/）データはけっこうよく使うので、何度か話題にしたことがあります（例えば「もう一度、ちゃんとJSON入門」）。でも、JSONには型情報／メタ情報が付けられないのがとても不満で、JSON改なんてもんを考えたこともありました。（後でXIONに改名） JSONデータに対するスキーマ定義の仕様がかたまりつつあることを、ごく最近になって知りました。 http://json-schema.org/ JSON本体はRFC 4627になっていますが、JSONスキーマの標準化のステータスは、あまりハッキリとは分かりません（僕には）。http://groups.google.com/group/json-schema?pli=1 を覗き見した感じでは、現状ワーキングドラフトという位置付けらしいです。 なかなか面白いし役に立ちそうなので紹介します。ただし、僕にとっ

カリフォルニア州マウンテンビュー発--Googleは、自社のコンピューティングの運用については多くを語らない。しかしGoogleは米国時間4月1日、当地で行われた、注目度が高まっているデータセンターの効率性に関するカンファレンスで、そのインターネットの力の中枢にあるハードウェアを初めて公開した。 ほとんどの企業は、DellやHewlett-Packard（HP）、IBM、Sun Microsystemsのような企業からサーバを購入している。しかしGoogleは、何十万台ものサーバを保有していて、そのサーバを稼働させることが自社の中心的な専門技術の一部だと考えており、自社独自のサーバを設計および構築している。Googleのサーバの多くを設計したBen Jai氏は、高度な技術を持つ、非常に熱心な聴衆の目の前で、現在のGoogleサーバを公開した。 Googleサーバで非常に驚くのは、サーバ1台

今年はSSDの台頭がめざましい。価格の低下、大容量化、そして高速化、さらには低電力化まで期待できるというからもうHDDの出番はなくなるんじゃないだろうかというぐらいの勢いである。しかしそんなSSDもデータベースで利用する時には気をつけてもらいたい。 MySQL Performance Blogでインテル製SSDを使って検証した結果がレポートされている。 インテル製SSDはめっぽう早い。彼らのテストでは一秒間に5250回もの書き込みが出来たそうだ。しかしそれはライトバックキャッシュが有効になっているときの話であって、ライトバックキャッシュを無効にすると書き込みは秒間1200回まで低下したらしい。（それでも高速だが。） で、このインテル製SSDのライトバックキャッシュはくせ者で、バッテリー等で保護されていない。つまり、ライトバックキャッシュにダーティな（まだディスクへの書き出しが完了していない

ちょっとキャッチ−なタイトルをつけてしまったが、今日は独断と偏見でMySQLを高速化する方法を10個紹介しよう。MySQLサーバをチューニングするときや初期導入する場合などに参考にしてもらいたい。 1. バッファを増やす、または減らす チューニングの基本中の基本であるが、適切なバッファサイズを設定することはパフォーマンスチューニングの要である。主なバッファは次の通り。 innodb_buffer_pool_size・・・InnoDBだけを利用する場合は空きメモリの7〜8割程度を割り当てる最も重要なバッファである。余談だが、実際にはここで割り当てた値の5〜10%ぐらいを多めにメモリを使うので注意が必要だ。 key_buffer_size・・・MyISAMだけを利用する場合は、空きメモリの3割程度を割り当てるといい。残りはファイルシステムのキャッシュ用に残しておこう。 sort_buffer_

連載2回目は、ネット時代の要請を受けて、データマイニングを取り巻くツール環境がどのように変化（進化）をしているかを、ご紹介させていただきます。 現在、企業内のDWH（データウェアハウス≒巨大なDB）に蓄積された膨大なデータは、例えればダムに貯められた水です。ただ水門を開け閉めするだけでは、膨大な水量（データ量）が流出してしまい、現実的に意思決定の材料としては機能しません。まさに消防ホースから水を飲むようなもので、受け手の処理能力を軽く超えてしまうのです。そこで、処理が可能な適切な量・質に情報を絞り込んで取り出す「蛇口」が必要となり、その機能がデータマイニングに求められています。 しかし、現実問題として、そのマイニング自体が非常に高度で職人的な作業であるため、属人的な制約をうけることになります。つまり、分析者の能力と人数に限界があるため、結果として処理できる件数とデータ量にもすぐに限界が来て

航空写真、衛星写真で特定場所の確認ができるのが Google Earth や Google マップの大きな特徴のひとつですが、ユーザーの皆様からはより鮮明な画像、さらに鮮度の高い画像の提供に対するリクエストをよく頂戴します。確かに、再開 発等で変化の激しい都市部においては、せっかく詳細画像があってもそれが古いものであるために、建物等が実際と異なるものであったとしたらあまり有用とは いえません。 残念ながら Google Earth や Google マップではまだこういった画像が存在するのですが、この状況を改善すべく先日、画像の更新が行われました。東京 23 区、名古屋市、大阪市の 3 地域の画像がこれまでよりも新しい画像に更新されています。さらに！今回の更新では画像の解像度をこれまでよりぐっと高め、かなり詳細なものにしました。 一段と綺麗になった画像で街の詳細をぜひ確認してみてください。