2017/05/18 BigData-JAWS 勉強会での発表資料です。 Explanation of Columnar format such as Parquet and ORC in japanese.
最近、S3のバケット毎の使用量が欲しくてたまらない菅野です。 aws-cliを駆使して取得する必要がでてきたのでスクリプトを作成しました。 今回の目標 全てのS3バケットのバケット毎の使用量を取得する では早速スクリプト作成開始です。 バケットの一覧を取得 不採用になったスクリプト 最初はこのようにしてみました。 # バケット一覧を取得 bucket_list=`aws cloudwatch list-metrics --namespace AWS/S3` # バケット名だけを取り出し bucket_list_json=`echo "${bucket_list}" | jq -r '.Metrics[] | select(.MetricName == "BucketSizeBytes") | .Dimensions[] | select(.Name == "BucketName") | .
AWS は Management Console や API ですべて操作できます（Direct Connect など一部例外もあります）。データセンターの物理的なセキュリティなどは AWS が責任を負うところで、ユーザーはまったく意識する必要はありません。 その代わり、OS やミドルウェアの管理、アプリケーションの設計や実装、適切な権限管理などはユーザーが責任を負うところです。 今回はあまり取り上げられないけど、すごく大事な権限管理についてまとめてみました。自分が仕事で関わっているプロダクトで権限管理を見直すときに調べたことをベースにしていますが、もっと良いプラクティスがあればぜひ教えてください。 AWS アカウントは使わない 普段の運用で AWS アカウントは使いません。 AWS アカウントとは、最初にサインアップするときに作られるアカウントです。 このアカウントは Linux で言う
はじめに AWS を使った開発をしていて、こんな困ったことがありました。 ○○を操作する権限が欲しいのに、IAM を操作できる担当者が捕まらなくて開発が進められない 特定のプロジェクトに関するリソースだけアクセス許可したいけど、○○にはリソースによる制限ができない マネジメントコンソールを使えるようにしようと思うと、あまり権限を絞れない これらによって、開発スピードが上がらないというのが大きな問題になりました。 さて、原因はなんでしょうか。 ○○を操作する権限が欲しいのに、IAM を操作できる担当者が捕まらなくて開発が進められない ⇒ 開発者に権限が与えられていないから、権限を持った人に頼らなければならない 特定のプロジェクトに関するリソースだけアクセス許可したいけど、○○にはリソースによる制限ができない ⇒ 開発者にアクセスさせられないリソースがあるから、開発者の権限を絞らなければならな
弊社で大規模なアダルトサイトの運用を行う上でのAWS利用構成を紹介させて頂きます。 利用料金を抑えたいというビジネス的な観点と、サービスを止めない為の障害回避を念頭に構成を紹介します。 関連：AWSのt2.microで月間100万PVに耐えるアダルトサイトを制作した話 この記事は技術者向けの内容になっています。 システム開発の発注をお考えの方は、こちらアダルトホームページ制作のご案内をご覧下さい。 サービスを止めない為のAWS利用構成 サービスを止めない事は弊社では2つの思想によって設計をしております。 障害を防ぐ為の堅牢な設計とする 障害が起きた時に瞬時に復旧、あるいは回避する 前者はイメージしやすいと思いますが、弊社では後者のフェイルオーバーも非常に大事であると考えています。 システム障害が起きない様にスペックを十分に確保する等は当然の事ですが、 万が一障害が発生した場合に即座に代替機
AWS Glue – 一般提供開始 | Amazon Web Services
Amazon Web Services ブログ AWS Glue – 一般提供開始 本日、AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform, load) サービスです。Glue は他の ETL サービスやプラットフォームと、いくつかのとても重要な点で違いがあります。第1に、Glue はサーバレスです — リソースのプロビジョニングや管理を行う必要はありません。ジョブ、もしくは、クローリングを実行している間に Glue が使用したリソースに対する支払いのみで利用可能です(分単位課金) 。第2に、Glue のクローラです。 Glue のクローラは、複数のデータソース、データタイプ、そして、様々な種類のパーティションを跨いで、スキーマを自動的に検出・推測することができます。ク
はじめに AzureのMachineLearningで使用している機械学習アルゴリズムを調査するついでに、他の主要クラウドサービスで提供している機械学習についても調べてみたので、機能比較としてまとめてみました。 対象クラウドサービス 以下ベンダーのクラウドサービスを対象としました。 Microsoft Azure Machine Learning Amazon Machine Learning Google Prediction API IBM Bluemix(Watson) 比較内容 １．機能有無 機械学習アルゴリズムを「学習分類」と「アルゴリズム分類」のカテゴリに分類し、その観点での機能有無の比較を行いました。 学習分類 アルゴリズム分類
こんにちは。アプリエンジニアの五味です。 2017年4月にリクルートホールディングスの新卒Web採用枠で入社した新卒社員のうち、21名がリクルートテクノロジーズに配属となりました。（いらっしゃい！） リクルートテクノロジーズでは「ブートキャンプ」と呼ばれる新卒社員向けの技術研修を3か月間実施しています。 もともと高い能力を持つ彼・彼女らですが、「これからのリクルートをリードしていく存在」になって欲しいという期待を込め、プロとしての重要な立ち上がり期を支援しています。 今年からは社外講師の既存プログラムに加え、より実践的な内容を求める経験者をターゲットに、総勢12名の現場エンジニアが担当する特別講座を開催しました。 各分野のスペシャリストがこれまで現場で培ってきた「本当に必要な生きた知識・技術」のインプットは、彼・彼女らの成長を加速させ、これからのエンジニア人生の礎になってくれるものと僕らは
AWS Summit Tokyo 2017 の先行発売でゲットした「実践 AWS Lambda」をさっそく読んだ．Lambda の解説だけではなく，サーバレスの文脈で導入事例が増えてきたアーキテクチャ（ユースケース）の紹介がされていたり，サーバレスのデプロイツールとして AWS SAM の紹介がされていたりして，非常に良書だった．Amazon を見ると，一般発売は明日 6/9 になっていたので，気になる人はすぐに買うと良いのでは！ 実践AWS Lambda ~「サーバレス」を実現する新しいアプリケーションのプラットフォーム~ 作者: 西谷圭介出版社/メーカー: マイナビ出版発売日: 2017/06/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る Chapter 3 AWS Lambdaの使い方 3-7 バージョニングとエイリアス Lambda 関数の ARN にバージョン
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
Amazon Web Services（AWS）は、国内で2カ所目のリージョンとなる「大阪ローカルリージョン」を2018年に開設すると、5月30日から6月2日まで開催中のイベント「AWS Summit Tokyo 2017」の基調講演で発表しました。 大阪ローカルリージョンの「ローカルリージョン」とは、AWSのこれまでのリージョンとは異なるもののようです。 本リージョンは、ローカルリージョンと呼ばれる新しい設計概念のデータセンターです。AWSのローカルリージョンは、旧来の単一データセンターのインフラ設計とは全く異なる、耐障害性の高い単一のデータセンターです。 （「【新リージョン】2018年に大阪ローカルリージョンを開設予定」から） これまでAWSのリージョンは複数のアベイラビリティゾーンを組み合わせることで耐障害性を実現してきましたが、ローカルリージョンはそれとは異なる方法で耐障害性を実現
CloudWatchはAWSが提供するメトリクス保存・監視サービスです。EC2のCPU使用率やNetwork I/Oなどの基本的なメトリクスを、何も追加で作業することなく無料で監視することができます。 一方で、デフォルトでは監視されない項目もカスタムメトリクスという方法を利用すれば、任意の値をCloudWatchに登録することが可能です。カスタムメトリクス登録のためにはCloudWatchのAPI経由で値の登録をする必要が有るため、AWS SDKやAWS CLIが利用されることが多いです。 カスタムメトリクスに簡単に値を追加できるように、登録するときのbashスクリプトを雛形として作ってみました。 スクリプト 例として、ディスク使用率をCloudWatchカスタムメトリクスとして送信するスクリプトを作成しました。 #!/bin/bash log() { echo $1 | logger }
こんにちは、虎塚です。 AWS LambdaのログをCloudWatch Logsに出力している場合、ログをフィルタリングして利用することがあります。ログをアドホックに検索するだけなら気にしなくてもよいのですが、ログのレベルやメッセージ内容をもとに大事な後続処理を動かしたい場合は、デフォルトのログフォーマットを整形してから使います。これは、もし処理系の設定が変わってしまっても、Lambdaを組み込んだシステムが問題なく動くようにするためです。 この記事では、Lambda関数をPythonで書くときに、loggerのフォーマットを変える方法を記述します。 設定と動作確認 AWS Management Consoleにログインして、AWS Lambda Dashboardを開きます。Lambda関数一覧の画面で、［Create a Lambda function］ボタンをクリックします。 Bl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
List of AWS Config Managed Rules - AWS Config
Activity Implementation - AWS Flow Framework for Java
