N予備校のインフラを Amazon EKS に移行した話 はじめまして。ドワンゴの教育事業で SRE エンジニアをしている西永です。 N予備校 では Kubernetes を採用しています。 これまでは Control Planes 含めすべての構成要素を自前で構築し運用していましたが、様々な問題が発生してきたことから Amazon EKS に移行をおこないました。 この記事では、Amazon EKS への移行に取り組んだ事例にについて紹介します。 なぜ移行したのか Kubernetes のバージョンが古い これまでの構成では Kubernetes のバージョンアップが考慮されておらず、Kubernetes を利用した N予備校の提供開始以降バージョンアップができていない状態でした。 そのためバージョン 1.7 を利用し続けていました。 バージョン 1.7 は 2017 年にリリースされ、
はじめまして。サーバーサイドエンジニアの kinakobo です。 唐突ですが、自動テストの実行にはどんなCIツールを使用していますか？ 色々と選択肢があると思いますが、自分は今までCircleCI、GitHub Actionsを使うことが多く、ANDPADに入社して初めてCodeBuildでテストを実行しました。 それまでCodeBuildを使ったのはDocker imageの構築くらいだったので、あまりテストの実行に向いている印象は持っていませんでした。 ですが調べてみると意外と機能が充実しており、中でもテストレポート機能は便利だと思ったので今回紹介したいと思います。 テストレポート機能とは AWS CodeBuild でのテストレポートの使用 - AWS CodeBuild テストレポート機能は、テストのレポートファイルをいい感じに整理して表示してくれる機能です。 CircleCIに
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
Simple Rails & AWS Lambda Integration using RackEvent-driven and deeply integrated within AWS, Lambda allows your Rails architecture to be completely reimagined atop fully managed infrastructure resources like Aurora, SQS, S3, CloudWatch, IAM, and much more. Using Lamby can help your engineering teams learn to "program the cloud". Event-Based with RackNo webserver needed! Lamby is as a Rack adapte
AWS Amplify が効果を発揮する Next.js の 5 つの機能 | Amazon Web Services
Amazon Web Services ブログ AWS Amplify が効果を発揮する Next.js の 5 つの機能 Next.js は、React アプリのサーバーサイドレンダリングと静的サイト生成を可能にする、人気の React フレームワークです。フロントエンドの Web およびモバイル開発者が AWS 上で迅速かつ容易にフルスタックアプリケーションを構築できるようにする目的で構築されたツールおよび機能のセットである AWS Amplify と組み合わせると、開発者は本当に強力なアプリを構築することができます。 本記事では AWS Amplify が効果を発揮する Next.js の 5 つの機能を紹介します。 1. データフェッチと API Next.js は静的サイト生成（SSG）、サーバーサイドレンダリング（SSR）、クライアントサイドレンダリング（CSR）、インクリメン
もう、コンテナ調査のためにEC2に乗り込む必要は無い！ もう、Fargateだからコンテナの状況が見れないと悩むこともない！ ECS開発者待望の機能がリリースされました！ みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 Amazon Elastic Container Service (ECS) において、実行中のコンテナに乗り込んでコマンドを実行できる機能「ECS Exec」が公開されました。 Amazon ECS now allows you to execute commands in a container running on Amazon EC2 or AWS Fargate どんなものなのか、早速使ってみたいと思います。 これまでの方法 デバッグやトラブルシューティングを行うために、実行中のコンテナに乗り込んでコマンドを実行したいという時があると思います。
![[アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10e4b6d55aa4fe987e9584f7b2febd50e43f158/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-elastic-container-service.png)
ElasticMQ is a message queue system, offering an actor-based Scala and an SQS-compatible REST (query) interface. ElasticMQ follows the semantics of SQS. Messages are received by polling the queue. When a message is received, it is blocked for a specified amount of time (the visibility timeout). If the message isn't deleted during that time, it will be again available for delivery. Moreover, queues
皆様こんにちは、サーバーサイドエンジニアの草分です。 最近ポケモン最新作を買ってしまったのでひたすら野原でボールを投げ続ける日々を送っています。 さて本題に入りましょう。 Amazon ECRには、pushしたコンテナイメージへのイメージスキャン(脆弱性診断)機能があります。 Image scanning - Amazon ECR メドピアではこれを利用して全社横断的にアプリの脆弱性の検知および可視化を行っています。 脆弱性が検知された場合の表示 この記事では、Railsアプリをイメージスキャンした際の【偽陽性】警告の問題と、その解決策について紹介いたします。 問題 ECRのイメージスキャンには「基本スキャン」「拡張スキャン」の2種類があり、この内の拡張スキャン(Enhanced scanning)では、Rubyのgemやnpmのパッケージなども診断の対象となります。 Gemfile.lo
ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権限 S3やSESなどの権限をつける タスク実行ロール コンテナ外の権限 ECRやParameter Storeの権限をつける ECSのデプロイ時に静的ファイルが404になる ECSを触った初期に遭遇した。 詳細は以下のQiitaの記事が分かりやすい。 参照: ECSのデプロイ時に一定確率で静的ファイルが404になる問題を回避する 回避する方法はいくつかある。 静的ファイルをS3に置く CodeDeployの OneAtATime を使う CodeDep
開発者におくるサーバーレスモニタリング
1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 開発者におくる サーバーレスモニタリング AWS CREATIVE STUDIO | 2018 2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 自己紹介 名前 小梁川 貴史（こやながわ たかし) 所属 技術統括本部 シニア ソリューション アーキテクト 前職 電機メーカー自社サービスの開発・運用 元AWSユーザ 好きなAWSサービス AWS IoT , AWS Lambda(python), Amazon Kinesis 3. © 2018, Amazon Web Services, Inc. or its Affiliates. A
アノテーションの畑垣です｡ 気づけば、ジョインしてから3ヶ月が経ち、フルリモートの環境に慣れてきました。 今回、CLF(クラウドプラクティショナー)､SAA(ソリューションアーキテクトアソシエイト)、SOA(SysOpsアドミニストレーターアソシエイト)、DVA(デベロッパーアソシエイト)を取得しました｡ 使用した教材や試験の感想などを紹介しましたので、参考にしていただけるとうれしいです。 各試験の概要 AWS認定試験は4つのカテゴリに分けられてます。基礎コース、アソシエイト、プロフェッショナル、専門知識です。 今回取得したのは基礎コース、アソシエイトに該当する試験です。 CLF (AWS 認定 クラウドプラクティショナー)とは AWS認定試験の入門的な位置づけです。公式ページの説明は以下の通りです。 > この試験では、さまざまなクラウドおよび技術的役割を担っている方が AWS クラウドの
関連キーワード Amazon Web Services | クラウドコンピューティング | Microsoft（マイクロソフト） | 機密情報 Microsoftは2019年10月、米国防総省（DoD）のクラウドプロジェクト「JEDI」（Joint Enterprise Defense Infrastructure）の契約を獲得した。Amazon Web Services（AWS）をのけて得たMicrosoftの受注は、クラウドベンダーの競争の分岐点として記憶される可能性がある。 JEDIは「米国内から米国外へとシームレスに拡張でき、可用性が高く、安全で、回復力に優れたクラウド環境」の構築を目指し、1社のベンダーと10年間の契約を結ぶことを計画している。JEDIの契約は、Amazon Web Servicesが獲得するというのが大方の予想だった。JEDIの構想は2017年9月に初めて発表さ
英国 国防省がAWSに言及しつつ、「パブリッククラウド」のメリットを説くブログを公表しました | Amazon Web Services
Amazon Web Services ブログ 英国 国防省がAWSに言及しつつ、「パブリッククラウド」のメリットを説くブログを公表しました 英国の国防省（Ministry of Defence）より、「More secure in the public cloud（パブリッククラウドで、よりセキュアになる）」と題した公式ブログが公開されました。ブログ中、AWSにも具体的な言及があり、クラウド、特に「パブリッククラウド」と明示したかたちで、そのメリットが説かれています。今回のブログでは、AWSジャパン・パブリックセクターより、全文の翻訳と読み取られるべきインパクトについて、ご紹介します。 読み取られるべきインパクト 今回の英国国防省のブログの試訳をお届けする前に、そのエッセンスを次のように図示しておきたいと思います。 英国国防省の発表したブログ （それでは以下、英文にて発表されたブログ”M
AWS Lambda の新機能 – コンテナイメージのサポート | Amazon Web Services
Amazon Web Services ブログ AWS Lambda の新機能 – コンテナイメージのサポート AWS Lambda では、サーバーについて気にすることなくコードをアップロードして実行できます。多くのお客様に Lambda のこの仕組みをご活用いただいていますが、開発ワークフローのためにコンテナツールに投資した場合は、Lambda でのアプリケーションの構築に同じアプローチを使用することが難しくなります。 この問題に対応するため、Lambda 関数を最大 10 GB のコンテナイメージとしてパッケージ化し、デプロイできるようになりました。これにより、機械学習やデータ集約型のワークロードなど、大きな依存関係に頼る大規模なワークロードを簡単に構築してデプロイできます。ZIP アーカイブとしてパッケージ化された関数と同様に、コンテナイメージとしてデプロイされた関数は、同様の操作の
こちら html2haml 。 当初全く別のものを作ってたのですが、css frameworkのサイトに記載されてるhtmlの例をいちいちhaml（hamlit）に変換するのが面倒だと思い勢いで作りました。 知らないことばっかり試せたので、いろいろ面白かったです。 実装方式 フロント Vue.js。reactでも良かったのですが、なんとなく。 css frameworkは、Vuetify。 あまりこだわりはなかったのですが、vue.jsと親和性の高いものが良かったので選定。 久しぶりにvue触ったら、Vue CLI が出来ていて、さくっとテンプレ作ってくれて助かりました。 # project作成（prettier使いたかったので、manualを選択） vue create my_project # plugin追加 vue add vuetify # version vue: 2.6.12
AWS 導入事例：任天堂株式会社、株式会社ディー・エヌ・エー | AWS
全世界同時リリースする『マリオカート ツアー』の DB に Amazon Aurora を採用 高い品質が求められるゲーム配信基盤の運用工数を、大幅に削減 世界的ゲームメーカーである任天堂株式会社。2015 年ごろからスマートデバイス向けゲームアプリの開発をスタートした同社は、株式会社ディー・エヌ・エー（以下、DeNA）との協業により、全世界で 4 憶ダウンロードを超える『Super Mario Run』、『ファイアーエムブレム ヒーローズ』、『どうぶつの森 ポケットキャンプ』などにおいても、ゲームサーバーを含む各種機能を AWS 上に構築・運用してきました。2019 年に『マリオカート ツアー』をリリースするにあたり、データベースとして Amazon EC2 上で運用する MySQL から Amazon Aurora を採用。ユーザーが快適にプレイするために必要なパフォーマンスとスケーラ
AWS Cloud9のエラー An error occurred (ExpiredToken) when calling the XXX operation: The provided token has expired. の対処法を記します。 はじめに エラー対処 解決策: Cloud9環境のOwnerにログインしてもらう Cloud9アクセス権限の仕組み おわりに 参考 はじめに Cloud9を使っていた際に、次のようなエラーに出会いました。 $ aws s3 ls An error occurred (ExpiredToken) when calling the ListBuckets operation: The provided token has expired. 上の例はaws cliでListBucketsしようとしたときに表示されたものですが、それ以外のいかなるAWSサー
Eight事業部 Platform Unit / Engineering Manager の 藤井洋太郎(yotaro) です。 私のチームはいわゆる技術基盤を担当するチームで、パフォーマンス改善、アーキテクチャ刷新、セキュリティ対応といった課題と日々向き合っています。 今回の記事では、昨年11月に行われた AWS re:Invent にて発表された「Ruby on Lambda」を活用した、Eightの画像処理バッチ基盤の改善について紹介します。 Eightにおける画像処理 Eightサービス内では名刺画像をはじめ多くの画像を扱っていますが、UX向上のためにそれらの画像に対して様々な処理を行っています。 1つの画像に対してぼかし、サムネイル、フォーマット(jpeg/webp)変換などを行い数十ケースの画像を生成しています。 画像処理は以下の図のように画像追加・更新時にSQSにジョブを追加
AWS LambdaにRubyがきたので、Lambdaをより使う意欲が出てきた。（今まではpythonがほとんどでたまにnodejsで書いていた） そこで、前からLambdaやるならServerless/Apexのどちらかかなーと思っていたのでまずはServerless Frameworkを試してみる。 serverlessのインストール まずは、serverlessのインストールから。 Railsで染み付いたのかglobalにインストールするのがなんか嫌なので、プロジェクト直下にインストールします。 あと特にこだわり無いですがyarnが入っているのでnpmではなくyarnでやります。 $ mkdir sample-serverless $ cd sample-serverless $ yarn init $ yarn add serverless package.jsonにscripts
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
