6. / 38 DMM.comラボにおけるSpark活用の歴史 • Developers Summit 2015 • Sparkによるリアルタイムレコメンド • http://event.shoeisha.jp/devsumi/20150219/session/642/ • プレスリリース • Sparkを活用したアジアパシフィック初のレコメンド基盤実現 • http://www.cloudera.co.jp/customers/dmm.html • Spark Conference Japan 2016 • Hive on Sparkを活用した高速データ分析 • 『詳解 Apache Spark』発売 • 8章 GraphX を担当 6 2015年2月 2015年9月 2016年2月 2016年4月
先週、箱根へ小旅行した帰りのロマンスカーでぼんやりと話したElasticsearchのshardとreplicaの話です。 どこかに書いたような気もするけど、メモごとどこかになくしたらしいので、忘れないように書きとめることにしました。 shard elasticsearchのshardはluceneの1インスタンスで、 elasticsearchに自動管理されているワーカーと考えてよい。 shardを増やせば並列数があがって1ノードのパフォーマンスがあがるかもしれない。 デフォルトでは5つのshardを作ることになっているけど、設定によって変えることもできるし、インデックスごとにshardsの数を設定することもできる。 ただし、shardの数はインデックス生成後に変更できない。 replica 一方のreplicaはノードのコピー。マスターノードを除いたクラスタ内でのコピー数。 ノードを増
現在Elastic BeanstalkのMulti-Container Docker環境を使っています。 New Relicを使ってコンテナを監視するようにしたので設定をメモ。 公式のドキュメントがだいぶ丁寧なので、ほとんどその通りなのですが。。。 設定ファイルを追加するだけ .ebextensions/newrelic.config packages: yum: newrelic-sysmond: [] rpm: newrelic: http://yum.newrelic.com/pub/newrelic/el5/x86_64/newrelic-repo-5-3.noarch.rpm commands: "01": command: usermod -a -G docker newrelic "02": command: nrsysmond-config --set license_ke
前の記事が予想以上に人気がありました。ありがとうございます。 Twitterやはてなブックマークでのコメントが面白かったので、いくつかコメント返しをしておこうと思います。 基本的には中の人、それも創業者レベルに聞かないとわからないことが多いと思います。投資を受けたことを大っぴらにしない会社も多いです。ただ、CrunchBaseというサイトに情報が記載されていることも多く、もし記載されている場合は大変に参考になります。例えば日本だと、Tokyo Otaku Modeさんの情報などが載っています。このサイトによると、TOMさんはシード期に投資を2回受け、シリーズAで$2.64M（約3億円）、シリーズBで$13.7M（約14億円）の投資を受けていることがわかります。 なお、投資額を公開することはありますが、一般的に時価総額は公表しないのが普通ですので、ネット等で調べても各投資家の具体的な株の持ち
$ docker stop $(docker ps -q) コンテナの一括削除 Docker管理のコンテナで停止中(stop)のコンテナを一括削除するコマンドは下記の通り。 $ docker rm $(docker ps -aq) 参考) 公式ドキュメント (rm) : Docker Docs – rm docker ps の -qオプションはコンテナIDのみ出力するオプション。 Docker – Docs – ps イメージの一括削除 イメージの場合は下記の通り。($で括る書き方でも良い。) $ docker rmi `docker images -aq` Dockerfileの修正・ビルドを繰り返している場合、中間イメージが肥大している場合があり、ゴミ掃除の際に使用する。 docker rmコマンドの使用例 $ docker ps -a CONTAINER ID IMAGE COMMA
[Elastic Beanstalk] 新しいデプロイメントポリシー、イミュータブル（immutable）を試してみた はじめに AWSチームのすずきです。 AWSにより提供されている、アプリケーション環境の構築、管理サービスAWS Elastic Beanstalk、 先日（2016年4月）のアップデートにより、新しいデプロイメントポリシー（immutable、Rolling additional batch）の指定が可能になりました。 AWS Elastic Beanstalk で、 2つの新しいデプロイメントポリシーとAmazon Linux AMI 2016.03 が利用可能に 従来のElastic Beanstalk アプリケーションのデプロイは 既存のインスタンスに対し上書きされる形で実施されていたため、デプロイ中にサービス影響が及ぶなどの 問題になる事がありました。 新たに追
![[Elastic Beanstalk] 新しいデプロイメントポリシー、イミュータブル（immutable）を試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7425cca287d58da0d33c34c67df2b5f84b005551/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FElastic_Beanstalk.png)
すこし記事が長いため、簡単なアウトラインを書いておきます。要点だけ掴みたい場合は、最終項の「まとめ」を読むのがいいかもしれません。 コマンドライン引数の一般的な解析手法 それぞれの特徴 〜 getopt と getopts の違い getopts（メリット・デメリット） getopt（メリット・デメリット） 自前で解析しちゃう（唯一のデメリット） まとめ ============================= コマンドライン引数を処理する一般的な手法として、 getopts getopt shift などで自力で解析 といった具合に、上から順に考えつくかと思います。getopt(3) は UNIX において、コマンドの引数を処理する一般的な C 言語のライブラリ関数です。それを用いて実装されたコマンドが getopt(1) です。Bourne シェル系だと内部関数になりますが、同系統の
シェルスクリプトで引数オプションを使いたい my_shell_script -a /usr/bin みたいに、bashのシェルスクリプトでも引数を扱いたい。 getopts を使えば引数が取れる bash では getopts を使えば、引数の処理を簡単に行うことができて便利。ruby などでは optparseに相当するやつです。 はじめに getopt / getopts の違いについて 全ての初めに。 getoptsについて読む前に知っておかなくちゃいけないことがある。 getopts コマンドとシェルのビルトインの二種類がある。 名前 種類 getopts シェル組み込み getopt コマンド・ファイル Google検索はgetopt/getopts を区別しないで結果を出すので注意が必要でした。 今回、調べたのは getopts です。 getopt は/usr/bin にある
if 文と test コマンド if 文とは？ if 文とは、与えられた条件式が真のときのみ処理を行い、それ以外の場合は処理をスキップする、などといった場合に使用される条件分岐処理である。 条件式には一般的に test コマンドを用いるが、ls コマンドや grep コマンド等の他のコマンドを用いても構わない。 if 文は条件式に指定されたコマンドの終了ステータスを判定し分岐を行う。終了ステータスが「0」の場合は真、その他の場合は偽となる。 if 文 タイプ 1
ちょっとしたshellscriptを書いていたときに分からなかったので調べた。zsh, bashでreadコマンドのオプションが違ったのでメモしておく。 #!/bin/zsh while true; do read Answer\?'Do you like coffee? [Y/n]' case $Answer in '' | [Yy]* ) echo Yes! break; ;; [Nn]* ) echo No! break; ;; * ) echo Please answer YES or NO. ;; esac done #!/bin/bash while true; do read -p 'Do you like coffee? [Y/n]' Answer case $Answer in '' | [Yy]* ) echo Yes! break; ;; [Nn]* ) echo N
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
