2014年6月28日開催 第9回 JAWS-UG クラウド女子会での発表資料です。Read less
2014年6月28日開催 第9回 JAWS-UG クラウド女子会での発表資料です。Read less
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
XFSのジャーナリング機能 XFSのジャーナリング機能は、メタ・データをジャーナルする方式である。ext3のように、メタ・データを書き込む前にデータをディスクに書き込むといった特別な方式は取っていない。XFSの特徴は、ログを頻繁に更新することで、復旧時にこのログの手順を再生する確率を高めている点である。 例えば、XFSはwriteなどのオペレーションが行われると、オペレーションのログとしてメタ・データの更新操作情報がメモリ上のバッファに書き込まれる(1)。バッファのデータは、ディスクに書き込まれるとジャーナルファイルとなる(2)。このディスクへの書き込みは非同期に行われる。ジャーナルファイルの書き込みが完了すると、リソースをディスクに書き込む。クラッシュ後の復旧は、マウント時にジャーナルファイルが読み込まれ、メタ・データのチェックを行うことで実行される。 XFSのジャーナルログの構造 XF
SQS, Simple Message Queue, is a message-queue-as-a-service offering from Amazon Web Services. It supports only a handful of messaging operations, far from the complexity of e.g. AMQP, but thanks to the easy to understand interfaces, and the as-a-service nature, it is very useful in a number of situations. But how fast is SQS? How does it scale? Is it useful only for low-volume messaging, or can it
モバイルファースト(という言葉も最近あんまり聞かなくなりましたが)だとかインタラクティブなサイトを作らないといけないだとか、そういう考えのもと JavaScript でやっていくみたいな感じのアレがあります。アレがありますね。アレです、アレ。 で、アレは辛いというような共通の認識があると思います。 そこで僕は インタラクティブなサイトを作るな 表示を速くしたいだけなら Rails で使われている Turbolinks あたりが落としどころではないのか ふつうの Web サイトで Angular.js を使うな使う方からしても迷惑だ と思っています。しかし現実にはブラウザで動く表計算みたいなアプリを作ってくれだとか、ブラウザで動くコンシュマー機並のすごいゲームを作ってくれだとか、そういう需要はあります。 ここで考えてみましょう。それらの GUI を作ることが辛くなかったことがこれまで一度でも
Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
1. classmethod.jp Run Spark on EMRって どんな仕組みになってるの？ AWS勉強会 in 北北海道札幌！ Developers.IO Meetup 05 1 2014/06/28 能登 諭 2. classmethod.jp 2 注意！！! ! このスライドの内容は現在は一部適切ではない内容になっています。! ! このスライドの元ネタであるAWSの記事が2014-10-22にアップデートされま した。! https://aws.amazon.com/articles/Elastic-MapReduce/4926593393724923! ! このアップデートでYARNに対応したSparkのBootstrap ActionがAWSより 提供されるようになりました。! http://blogs.aws.amazon.com/bigdata/pos
Some indexing structures are write optimized in that they are better than B-trees at ingesting data. Other indexing structures are read optimized in that they are better than B-trees at query time. Even within B-trees, there is a tradeoff between write performance and read performance. For example, non-clustering B-trees (such as MyISAM) are typically faster at indexing than clustering B-trees (su
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 結論: Javascriptの乱用をやめるのが一番。 はじめに書いておきますがしょうもない話です。 結論、開発者としてはどのような方向性でやるべきか、を書いています。 JS多い時代でのフレームワークの根本的な問題云々のことは書いてません。 さて、現状、モバイルにおいて、Javascriptでまともに動くものを作ることは難しいです。 Twitterから引き抜いた超優秀なWebエンジニアを多数抱えるMediumですら、未だにモバイルで多数のバグを抱えています。 超優秀なエンジニアを世界一抱えているであろうGoogleのGmailですら、モバ
Magic Quadrantに見るIaaSプロバイダの変遷
恒例のGartner Magic Quadrant IaaS May 2014が出た。 そこで今回はクラウドの要とも言えるIaaSプロバイダの変遷を分析し、今後を考えてみようと思う。クラウド全体を俯瞰すると、現状は第１ラウンドから第２ ラウンドに差し掛かっているようである。Geoffrey Moore氏の有名なマーケティング書「チャズム－裂け目を越える－Crossing the Chasm」でいうところの初期市場（Early Adopters）から主力市場（Mainstream Market）に移りつつある。氏はユーザを３つのセグメントに分ける。最初が「技術革新を好み、物事に興味深く、すぐに使いたがる人たち」 、次が「主力市場の人たち」、最後は「何事にも保守的な人たち」だ。これらの層によって技術の受け入れ方は違う。早いもの好きの人たちは技術の興味だけで使い始めるが、主力市場の人たちを動かす
Overwriting is much faster than appending
Writing small volume of data (Bytes-MBs) with sync (fsync()/fdatasync()/O_SYNC/O_DSYNC) is very common for RDBMS and is needed to guarantee durability. For transactional log files, sync happens per commit. For data files, sync happens at checkpoint etc. Typically RDBMS does syncing data very frequently. In this case, overwriting is much faster than appending for most filesystems/storages. Overwrit
kjournaldによるコミットとチェックポイント ext3では、トランザクションのコミット操作はカーネルスレッドである「kjournald」によって定期的に行われる。kjournaldは、Linuxに実装されているダイナミックタイマと呼ばれる時間管理のためのタイマ機構を利用し、これらのコミット操作が時系列に沿って実行されるようにする。 kjournaldは、カーネルから起動されるとインターバルが5秒ごとに実行されるタイマリストを作成する。個々のトランザクションは、このタイマリストに現在の時刻＋5秒後にコミットが実行されるようにタイマをセットする。kjournaldは5秒置きに起動し、コミットが予定されているトランザクションを登録していた場合は、そのトランザクションをコミットする。ext3では、コミットとチェックポイントはkjournaldの中に一緒に実装されており、コミットが完了するとチ
ファイルサーチを高速化するB-Treeアルゴリズム ext2、ext3がベースとするブロックアルゴリズムは、ブロック数が対応するディスクのジオメトリ数に制限されること、ファイルサーチにO（n）かかる（注）こと、ファイルサイズに関係するパフォーマンス低下など、いくつかの問題があった。 注：「O（n）」とは、実行時間が入力の大きさ「n」に比例するアルゴリズムである。O（n）は「nのオーダー」または「オーダーn」と読む。後述する「O（log n）」は、アルゴリズムの計算量に関する議論の場合logの底は常に2で、O（log n）の方がO（n）よりも効率が良い。例えばn＝8の場合、O（log n）は入力8に対して3回の実行で済むが、O（n）は8回の実行となる。 ReiserFS、JFS、XFSといったファイルシステムでは、こうしたブロックアルゴリズムの限界に対して、早い段階からデータベースの技術をフ
後で説明するが、ext2ではブロックグループ0の「スーパーブロック」に、パーティション内のブロックグループ全体の管理情報が格納される。 スーパーブロックには、 iノードの総数 ブロックサイズ ファイルシステムのサイズ 空きブロック数、空きiノード数 使用されているブロックグループ 最終fsck時刻 など、ファイルシステムに関するさまざまな情報が含まれている。「グループディスクリプタ」は、「データブロックビットマップ」や「iノードビットマップ」情報などを参照して空きブロックや空きiノードを探し、データを割り当てる際に最適なブロックを決定するのに使われる。 「データブロックビットマップ」と「iノードビットマップ」は、ビットマップ情報である。ビットマップ情報は、あるデータが使用中か未使用かを0か1のbitで保持している。1byte＝8bitsなので、80個のブロックの状態を10bytesで管理で
Learn what you need to know to experience nirvana in the evaluation of G1 GC even if your are migrating from Parallel GC to G1, or CMS GC to G1 GC You also get a walk through of some case study data G1 GCRead less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
