ブラウザから8GB以上の巨大なファイルや多量のファイルをS3に送りつけるには、MultiPart Uploadの機能を使っていく必要がある。 具体的には、データを5MB以上のchunkに分け、分割して送りつけることになる。 データが8GBいかないケースでも、ファイル読み込み量を分割できる機構が使えるので、メモリにも優しい。 それなりに使う場面はありそう。 1.とりあえずドキュメント通り実装して徳を積む マルチパートアップロードの概要 Multipart Upload API を使用したオブジェクトのアップロード (1) S3のCORS設定 ExposeHeader => ETag を指定する。 AllowHeader <AllowedHeader>Authorization</AllowedHeader> <AllowedHeader>Content-Type</AllowedHeader
AWS、「Amazon S3」の新ストレージクラス「One Zone-IA」を提供開始：既存の「S3標準 - IA」より20％安い AWSが発表、提供開始した「Amazon S3」の新しいストレージクラス「One Zone-Infrequent Access」は、オブジェクトを1つのアベイラビリティーゾーンに保存する低コストオプションだ。 Amazon Web Services（AWS）は2018年4月4日（米国時間）、オブジェクトストレージ「Amazon S3」（Amazon Simple Storage Service）の新しいストレージクラス「One Zone-Infrequent Access（One Zone-IA）」を発表、提供開始した。 S3 One Zone-IAは、オブジェクトを1つのアベイラビリティーゾーン（AZ）に保存するストレージクラスだ。「Amazon S3標準」
IAMのポリシー作成機能を使用してS3をアクセス制御する S3だけフルアクセスできる { "Statement": [ { "Effect": "Allow", "Action": "s3:*", "Resource": "*" } ] } 機能を絞る場合 { "Statement": [ { "Effect": "Allow", "Action": [ "s3:Get*", "s3:List*" ], "Resource": "*" } ] } S3の特定のバケットのみフルアクセス(バケットとその中身のリストは表示される) { "Statement": [ { "Action": [ "s3:ListAllMyBuckets" #ここがないとmanagement consoleからバケット全体が見えなくなってしまう。 ], "Effect": "Allow", "Resource":
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
ども、大瀧です。 一昨日、Amazon S3に地味〜な機能追加としてVersioningとLifecycleの両方の有効化がサポートされました。 元々S3ではファイル(オブジェクト)の管理オプションとしてVersioningとLifecycleを別々に使うことはできたのですが、排他の関係で両方有効化しようとするとエラーになっていました。両方を組み合わせることで、ユニークな使い方ができそうなのでご紹介してみます。 復習 S3 Versioningオプションとは S3のVersioningとは、保存するファイルを上書きする際に古い内容を維持できるオプションです。Git/Subversionといったバージョン管理ツールほどの機能は持っていませんが、更新前の内容を保持できますので、誤って内容を変更・上書きしてしまった際などに対応できます。 S3 Lifecycleオプションとは S3のLifecy
![[新機能]Amazon S3のVersioningとLifecycleを組み合わせる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae1831085634f040d8ea87c65585c41d4de216bc/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_S3.png)
Docker を用いた rpm / deb パッケージ作成の継続的インテグレーション - ゆううきブログ の続き。 前回は、rpm / deb パッケージを作るために、CentOS、Debianなど各種ディストリビューションを揃える手間をかけずに、Docker コンテナ上でパッケージングして、ついでに Jenkins で CI するみたいなことを書いた。 今回は、作成したパッケージを yum / apt リポジトリに登録して yum / apt コマンドでパッケージインストール/アップデートできるようになるまで継続的インテグレーションするという話。 問題点 yum / apt リポジトリ用の専用ホストを立てて、そこで apache とかで静的ファイルをホストするのはめんどくさい。 特に、mackerel-agent みたいなユーザにインストールしてもらうパッケージの場合、リポジトリを公開し
WebブラウザからAmazon S3へのクロスドメインアップロード 今回は、Amazon S3のCORSの仕様に準じたクロスドメインアクセス機能を利用して、WebブラウザからS3へ直接ファイルをアップロードするサンプルアプリを作成してみたいと思います。 CORSに関しては別の記事にまとめていますので、そちらを参考にして下さい。 開発環境 今回の開発環境は下記の通りです。アプリケーションサーバはScalatraで作成しました。 OSX 10.8.3 Mountain Lion Google Chrome 25 Scala 2.9.2 sbt 0.12.2 Scalatra 2.2 TypeScript 0.8.3 ソースコードはGitHubで公開しています。 ファイルアップロード処理の流れ サンプルアプリの実装の前に、S3へのアップロードについて必要な知識を押さえておきたいと思います。 ブラ
手順1. Console HomeからIAMを選択する。 手順2. s3アクセス用のユーザーを作成する。(画像では「s3-access-user」で作成) 「Create New Users」をクリックして表示されるポップアップの「Access Key ID」と「Secret Access Key」をメモしておく。 作成後 手順3. 作成したユーザーを選択し、「Permissions」タグを選択し、「Attach User Policy」ボタンを押下し、ポリシーを追加ポップアップを表示する。 「Attach User Policy」ボタン 手順4. 「Amazon S3 Full Access」を選択する。（今回はフルアクセス） 手順5. ターミナル接続して、マウントする。 sudo echo "{Access Key ID}:{Secret Access Key}" > /etc/pas
AWS SDK for JavaScriptでAmazon S3とDynamoDBをクライアントサイドJavaScriptのみで操作する 久保田です。 AWS SDK for JavaScriptのデベロッパープレビューがリリースされました。AWSは今までウェブサービスのサーバサイドからしか扱えませんでしたが、このライブラリを用いることで、AWSのサービスをクライアントサイドのJavaScriptからでも操作できるようになります。つまり、IaaSとして利用できるAWSをサーバサイドのプログラム無しでBaaSのように扱うことができます。最も有名なBaaSの一つであるParse.comもバックエンドにはAWSを利用していることが知られていますが、今回登場したAWS SDK for JavaScriptを用いるとParse.comのようなBaaSと同じようなことがAWSでもできるのではないかと注
S3の利用方法としては静的Webサーバが便利で良く使われている。この場合、アクセス制御は基本的に全開にすることが多い。 一方、EMRの入出力で使用するバケットは、httpアクセスすることは少なく、特定のアカウントからのS3 APIでのアクセスのみ、というケースも多い。 例えば、以下の様にアカウントを跨いで、S3経由で非公開データ授受を行う場合などが考えられる。 S3のアクセス制御には、IAM、バケットポリシー、ACLがあるが、まずはバケットポリシーで設定してみる。 設定内容としては ・アカウント1111-2222-3333のS3バケット s3://understeer を、アカウント1234-5678-9012が閲覧出来るようにする ・閲覧方法は、 GetObject (各ファイルの取得・ダウンロード)および ListBucket (オブジェクト一覧表示) とする とはいえ、jsonフ
まつけんです。 今回は、とれたまのコーナーで有名なテレビ東京さんの番組「ワールドビジネスサテライト」(以下、WBS)で紹介されるにあたって、どういう負荷対策をしたのかを紹介します。 WBSに紹介されて直後にサーバーアクセス殺到して落ちました、というような話は結構聞いていたので、機会損失という意味でも落ちるのはなんとか避けたいね、ということで対策をしましょうという話になりました。 前提 今回の負荷対策の前提となる条件を挙げます。 まず、ありがたいことにCerevoは最近、WBSに2度紹介されています。 LiveShellの紹介（映像はこちら）とCerevo DASHの紹介（映像はこちら）の2回です。 Cerevo DASHでは現在、iConvexというiPhoneアプリと連動する電子巻き尺ガジェットの支援を募集しています。是非、ご覧ください。 ということで、それぞれでの紹介内容にあわせて、別
ども、大瀧です。 今朝かた、AWSを操作するPython版コマンドラインツール、AWS CLI(aws-cli)のバージョン1.0(Developer Previewを脱した最初の正式リリース)とaws s3コマンドの新しいサブコマンド群のリリースがありました。 早速、手元のMBAで試してみた様子をレポートします。 AWS CLIによるAWS環境の操作は、弊社阿部のシリーズで詳しくご紹介しています。こちらもどうぞ。 検証環境 OS : Mac OS X 10.8.4(Mountain Lion) Python : バージョン 2.7.4(Homebrew) AWS CLIのアップグレード Pythonのパッケージ管理コマンド、pipで一発アップグレードできます。新規インストールの場合は、--upgradeオプションを省略してください。 $ easy_install pip $ pip in
前回はFuelPHPでs3のバケット情報を取得してみたので、今回はs3へファイルをアップロードを試してみようと思います。 アジェンダ 実行環境 S3のパッケージをインストール ファイル準備 動作確認 実行環境 Win 7 PHP 5.3.3+ FuelPHP 1.6 S3に画像アップロード用のバケットを作成しておいてください。今回は[hogeバケット]内に[imgフォルダ]を作成し、[imgフォルダ]内に画像を格納します。 S3のパッケージのインストール 以下からパッケージをダウンロードします。 danharper/fuel-s3 ファイルの設置場所は[/fuel/packages/s3/]に設置します。 パッケージの設定ファイルにAWS情報を記述 ダウンロードしたパッケージの[/fuel/packages/s3/config/s3.php]をコピーして、 [/fuel/app/confi
Amazon S3 stream wrapper で S3 を操作する
AWS SDK for PHP2 に実装されている Amazon S3 stream wrapper で S3 を操作してみました。 Amazon S3 stream wrapper を使うと「s3://bucket/foo/bar.txt」といったパスで mkdir() や file_get_contents() などの標準関数から S3 を操作することができます。 Amazon S3 stream wrapper の使い方 Amazon S3 stream wrapper は AWS SDK for PHP2 に含まれているので、SDK をインストールしておきます。インストール方法などは下記をどうぞ。 AWS SDK for PHP 2 をインストールして AutoScaling の設定を行う Aws\S3\S3Client の registerStreamWrapper メソッドを実
Amazon S3で始める写真管理 ー スタート編 - サーバーワークスエンジニアブログ
はじめに：ご挨拶 はじめまして！2013年4月から中途入社いたしました @mana_cat こと平です。エンジニアブログの記事についても定期的にアップしていく予定ですので、どうぞよろしくお願いします。 まずは簡単に自己紹介させて頂きます。1才の子どもを育てながらママエンジニアをしています。1年半ほど、子育てのためにお仕事を休業していました。仕事と子育てを両立しつつも、エンジニアとして世の中に貢献していきたい想いがあり、転職を決意し現在に至ります。 また、対外活動として、勉強会コミュニティ「Linux女子部」を主宰したり、LPI-Japan主催の「LPIC勉強会」でチューターのお手伝いをしたりしています。 趣味は写真。休日は家族でのんびりお散歩しながら写真を撮っています。出身はくまもんの国、熊本。夫の出身は北海道なので、北国独自のカルチャーに刺激を受けながら楽しい夫婦生活を送っています。(最
バケットのIPアドレスを適切なものに固定することで、期待値でいうと1.5倍、最大で4.5倍程度高速にダウンロードできます。 この方法は非常に効果が高いですが、非公式なものであり、ある日突然破綻する可能性もありますので自己責任でお願いします。 S3のバケットとエンドポイント まずは前提知識として、S3の名前解決について説明します。 S3のバケット "mybucket" というバケットを東京リージョンに持っているとします。するとそのバケットのドメイン名は mybucket.s3.amazonaws.comになります。これをエンドポイントと呼びます。このバケットの中にあるファイル "hello.txt" にアクセスする場合には、 http(s)://mybucket.s3.amazonaws.com/hello.txtというようなURLを用います。*1 エンドポイントのIPアドレス この myb
Amazon S3のGlacierアーカイブ機能を活用する | DevelopersIO
よく訓練されたアップル信者、都元です。話題は攫えないと分かりつつも、また小ネタいきます。 数ヶ月前のネタですが、Amazon S3において「自動的にGlacierにアーカイブする」という機能がリリースとなりました。Glacier単体では正直利用しづらかったものが、S3を介してGlacierを使えるようになったことで非常に使いやすいものになりました。とは言え、実際にこの機能を使った事がないと、使いどころのイメージも付けづらいと思います。 S3とGlacierのデータ保存コスト 実は、筆者は個人的に、このS3とGlacierの連携機能を利用しています。自宅で利用しているNAS QNAP TS-219P II には、ファイルを1日1回自動的にS3にアップロードしてバックアップを取る機能があります。この機能を利用して、家族の写真等、消えたら精神的打撃が大きなデータを 99.999999999%（イ
米バショー・テクノロジーズは2013年3月21日（米国時間）、「Amazon S3」と互換性のあるストレージサービスを実現するためのソフトウエア「Riak CS」をオープンソースソフトウエア（OSS）として公開した。同社はこれまでRiak CSを商用版として販売していた。日本ではIDCフロンティアが、ストレージサービスを実現するためにRiak CSを採用している。 バショーは、米アマゾン・ドット・コムが公開した「Dynamo」の論文を元にした分散キー・バリュー・ストア（KVS）の「Riak」や、Riakを基盤に使用した分散ストレージで、Amazon S3と互換性のあるAPI（アプリケーション・プログラミング・インタフェース）を備えるRiak CSなどを開発する。これまではRiakのみをOSSとして公開していた。 バショーは2012年7月にIDCフロンティアと資本提携しており、日本法人も設立
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
