GAE/JでのScalaのSpinUp時間を計ってみました。 appengine ja night #6 Beer Talk : ATNDでLTしたときに言っちゃいましたのでね。 java-ja温泉第2回の成果その1ですお。 測定方法 測定パターンは以下の4パターンです。 simplescala Scalaで書いた単純なFilterで、Responseに直に"Hello World"を出力 listscala Scalaで書いた単純なFilterで、Listを使って1から10までResponseに直に出力 slim3scala ScalaでSlim3のControllerを用意し、Responseに直に"Hello World"を出力 slim3listscala ScalaでSlim3のControllerを用意し、Listを使って1から10までResponseに直に出力 単純なコードだ
2010年01月26日20:54 カテゴリGoogle App Engineサイト構築 GAE/J、起動時間（spin up時間）短縮の試行錯誤 cbnanashi@GAE/Jに対してprecompilationを有効にした結果、アプリケーションの起動時間（spin up時間）は多少短くなりましたが、まだ不満が残ります。さらなる起動時間の短縮のため、いろいろと試行錯誤してみました。 なお、それぞれの個別の対策の効果はしっかり分析したわけではなく、少ない実行結果からの推測ですのでご容赦ください。 対策その1・DatastoreへのアクセスをJDOからLow Level APIにする いままでJDOを使用していたDatastoreへのアクセスをLow Level APIに全面的に書き換えました。 しかしながら起動時間に関しては、数回の起動を試しましたがほとんど改善されませんでした。 Googl
＜Google App Engine Stackの構成（引用元）＞ GAE Stackの特徴 現在の利用状況 8万以上のアプリを収容 140M PV/day 20万人以上の開発者が利用 統合環境を提供 サーバーの構築や管理が不要。デプロイが容易 ログ管理、管理コンソールや各種ツールを提供 スケーラブルなWebアプリ構築のためのベストプラクティス利用を促す環境 個々のリクエストの処理時間やリソース消費を制限 ステートレス設計と内蔵APIの利用 Datastoreによるパーティション化されたデータモデルの利用 非常に高いスケーラビリティと可用性を備えるGoogleのクラスタ環境を簡単に利用できる 自動クラスタリングによる負荷分散と高可用性を提供 アプリの負荷状況に応じてApp Serverを動的に増減 アプリ間の隔離性を維持、個々のアプリの安全性とパフォーマンスを確保 既存のGoogleテクノ
(小)無料枠でおさまるサイト (中)GAEの無料枠でおさまらないまあまあサイズのサイト (大)MySQLのシャーディングが必要なレベルの大規模サイト と分けて、GAEで嬉しい規模感が(小)or(大)のどちらかだって所が微妙だと思っています。 (小)無料枠でおさまるサイト 無料はとにかくうれしい。 cronでTwitter API叩ければそれだけでいろいろできますものね。 botとかbotとか。 herokuもあるけどやはり制限がおおいみたい。 amazonも無料が始まったらしいが期間限定。 GAEは制限なく無料で使えるので素敵。 小さいサイトならGAEマンセーですね。 小さいといっても500万PV/月以下です。相当行けます。 (大)MySQLのシャーディングが必要なレベルの大規模サイト writeをkeyでシャーディングだなんてめんどくさすぎるのでDatastoreの自動分散は嬉しい。開発
Hackathonやカンファレンス参加時の利用を想定したノートアプリケーションです。Gearsを使ってローカルにプライベートノートの保存も可能です。
グーグルは「Google App Engine Blog」にて、データストアに2つの新機能、Eventual Consistency（結果整合性）とDatastore Deadline（データストアデッドライン）を追加したことを明らかにしました。これにより開発者は、データの一貫性と可用性のどちらを重視するのか、選べるようになりました。 プライマリが落ちていたらコピーを他のデータストアから取得 Google App Engine Blog: Read Consistency & Deadlines: More control of your Datastore Eventual Consistency（結果整合性）オプションは、プライマリのデータストア以外のデータストアにコピーされたデータを読み込むことを許すオプションです。 グーグルの解説によると、これまでのGoogle App Engin
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
_ Google App Engine のデータストアは Bigtable をどのように使っているのか [gae][bigtable] Google App Engine (GAE) が発表されてから2週間ほど経ちます．GFS や Bigtable という名前だけはよく耳にするようになりましたが，Bigtable と GAE のギャップについては話題になっていないように思います． Bigtable は multi dimensional sorted table と言われるように， primary key (row key) でソートされたテーブルでしかありません．つま り，GAE のデータストアが提供するような多様な検索機能は持たないわけ です．というわけで，GAE のデータストアを実現するために，Bigtable がどのように使われているのかを考えてみました． # この件について，もし
（随時更新中です。間違いなどありましたらコメントをお願いします！） このページのtinyurl: http://tinyurl.com/gaetips Datastoreのtips Bigtableの内部構造 BigtableによるDatastoreの実装 Datastoreによるクエリの実装 トランザクションとエンティティグループ Datastoreのtips List Proprtyとmerge joinの使い方 GAE一般のtips GAEのサーバー構成とリクエストの流れ Task Queue APIの使い方 開発環境とプロダクション環境の違い Flex/AIR＋GAEのtips GAE/JにBlazeDSを組み込む BlazeDSの本番環境へのデプロイでハマる Datastore APIの取り扱いでハマる App Engine開発の便利な参考ページ TOPGATEさんのGoogle
ちょっと逆説的に書きました。key-value store (KVS)やMapReduceは、クラウドにはなくてはならない重要な技術ではありますが、それらの技術単体では一般のエンジニアにとってそれほど価値はありません。もともと分散ストレージや分散処理技術は昔から学術研究の恰好のネタでしたし、最近になって技術的ブレークスルーがあったわけでもありません。 クラウドの真価は、「すでに巨大なクラウドがそこにあり、きちんと運用され、ビジネスモデルがある」ということです。学術研究や、まだ実績の少ないOSSフレームワークなどのレベルから、Google並の商用サービスに至るまでには、超えられない壁があります。例えばBigtable論文では、クラウドを構築して実運用することがいかに大変かが記されています。 One lesson we learned is that large distributed sys
いまコーディング中の案件で、Task Queueにぴったりハマる要件があったので、飛びついてみました。 課題：Datasource上の大量のデータをクライアントにダウンロードしたい。30秒内では終わらないので複数のリクエスト／レスポンスに分割してダウンロードする実装にした。しかしデータ量によっては何10分もかかってしまう。 原因：データ量の多さもあるが、それを取得するためのDatastoreのクエリ、および関連エンティティの取得にもっとも時間がかかっている 書こうとしているソリューション：クエリと関連エンティティ取得をTask Queueのタスクに分割して並列処理（map）し、取得したデータを集約（reduce）してクライアントに渡す …んん、これってMapReduceではないですか。1つのリクエストでは重い処理は、たくさんのタスクに細切れにして、キューにどんどん入れる。App Engin
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
