はてなブックマーク

「楽観同時実行制御ね。おーおーおー、そういうことね。なるへそ？」 Aurora DSQLは、re:Invent 2024の最大の発表でした（個人の感想です）。キーノートの最中に、いきなりGoogle CloudのSpannerが引き合いに出されるほどだったので、Spannerファンの人にも要チェックのアプデだったのではと思います。 マルチリージョン対応 高可用性とスケーラビリティ VPCの外で稼働 サーバーレス設計 ACID特性のサポート PostgreSQL互換rd 楽観的同時実行制御（OCC）の採用 分散アーキテクチャ など、ポイントが目白押しのAurora DSQLですが、トランザクション制御の仕組みが、RDBでは聞き慣れない楽観的同時実行制御（OCC）が採用されていると聞き、改めてその挙動を手を動かしてまとめてみました。 はっきり言います。ドキュメント読んでいるだけより手を動かした

AWS PrivateLinkとVPC Lattice、似てきたな こんにちは、のんピ(@non____97)です。 皆さんはAWS PrivateLinkとVPC Lattice、似てきたなと思ったことはありますか? 私はあります。 アップデートでVPC Lattice が TCP 接続をサポートするようになりました。 「うお〜、良いじゃん」 となったに違いありません。 ここで気になるのはAWS PrivateLinkとの関係性です。 今回のアップデートにより、AWS PrivateLinkとVPC Latticeは以下の同じ特徴があります。 送信元と送信先のVPCのCIDR重複がOK 片方向リクエストのみ通信OK TCP接続をサポート 何だか似てきた今、どのような場面でどちらを使えば良いでしょうか。 また、アップデートによりAWS PrivateLinkはNLBを介さずにVPC内リソー

NANDゲートからCPU、OS、コンパイラまで。コンピュータの仕組みを実践的に学べる名著の改訂版が登場 プログラムがどのように実行されるのか、気になったことはありませんか? そんな好奇心旺盛なエンジニアにぴったりなのが 『コンピュータシステムの理論と実装(通称Nand2Tetris本)』 です。 https://www.amazon.co.jp/dp/481440087X/ コンピュータシステムの理論と実装 第2版 ―モダンなコンピュータの作り方 出版社 : オライリー・ジャパン 発売日 : 2024/12/2 この本では、NANDゲートから始めて、CPU、アセンブラ、仮想マシン、コンパイラなど、ハードウェアからソフトウェアまでコンピュータをゼロから作りながら学べます。 本書の第2版の翻訳にあたり、レビュアーとして参加したので、本書の魅力を紹介します。 『コンピュータシステムの理論と実装』

リテールアプリ共創部@大阪の岩田です。 2024/12/11 に開催された AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」にて、「これでLambdaが不要に？！Step FunctionsのJSONata対応について」というタイトルで登壇しました。 内容的には以下アップデートの紹介になります。 自分の周りだと変数対応についての喜びの声は良く耳にするものの、JSONata対応についてはあまり認知されていないように感じていました。しかし、このJSONata対応は非常に魅力的なアップデートです。多くの人のJSONataの可能性について知ってもらいたいと思ってこのテーマを選定しました。 登壇資料 登壇資料はこちらです。 個人的なお気に入りはfunctionの代わりにλ記号を使う記法です。AWS Lambdaのユーザーからすると思わずニヤけてしまい

Amazon Connect アドベントカレンダー 2024、12日目の記事です！ クラスメソッドとギークフィードさん、クラウドビルダーズさん、ネットプロテクションズさん、AWS Japanさんの有志が募ってチャレンジしている企画になります。 (アドベントカレンダーのカレンダー一覧はこちら↓) はじめに Amazon Connectでの通話データをAmazon Bedrockで分析し、コールリーズン（問い合わせ理由）を自動でカテゴリ別に毎日分類・集計してCSV出力する仕組みを構築してみました。 Amazon Connect Contact Lensには、1回のお問い合わせごとに通話内容を文字起こしする機能があります。 その文字起こし内容と生成AIを組み合わせることで、通話内容がどのカテゴリーに該当するかを分析できます。 コールリーズンは、顧客が企業に連絡する目的や背景を把握するための重要な

こんにちは、製造ビジネステクノロジー部の木村です。 製造業アドベントカレンダーの12/11 (水)の記事を投稿します。 サーバーレスの難しいところ 製造ビジネステクノロジー部では前身のCX事業部時代も併せて多くのIoT案件を取り扱ってまいりました。 その中でもサーバーレスを中心とした技術選定をしたものが数多くあります。 サーバーレスのメリットを活かすことで素早く開発を進めることができる一方で、 数多くのサービスを組み合わせることから、以下のような点はサーバーレス特有の難しさなのではないかと思います。 サービスごとの連携が不適切で、パフォーマンスが出なかったり、スロットリングしやすい構成になってしまうことがある コストの見積もりが難しい。仮に算出しても自信が持てない クオータの管理が大変。中には上限緩和の手続きが難航したり、そもそもできないものもある 負荷試験をサクッと実施したい さて、これ

はじめに AWS Step Functionsの変数を利用して、AWSサービスと連携してみました。 以前、AWS Step Functions において変数が利用可能になるアップデートがありました。 AWS Step Functions ステートマシンに渡した値を変数として利用し、ステートマシン内で処理を行ったり、AWSサービスへのリクエスト結果を変数として後続の処理に渡すことができます。 また、JSONPath形式だけでなくJSONataが利用できるようになりましたので、JSONataを利用して変数の記述方法を解説します。 ステートマシンで処理している内容は以下の通りです。参考にした元記事は以下になります。 EventBridgeからステートマシンに値を渡す コンタクトIDとConnectインスタンスIDが渡される Connect IDとConnectインスタンスIDをもとに、Conne

[レポート][DAT427-NEW] Amazon Aurora DSQL とそのアーキテクチャを詳しく見る #AWSreInvent 製造ビジネステクノロジー部の 田中孝明 です。 ２日目のキーノートで発表されてから話題の Amazon Aurora DSQL について、Deep Dive するセッションがあったのでレポートします。 概要 Amazon Aurora DSQL は、Amazon の数十年にわたるイノベーションと卓越した運用を利用した新しいサーバーレス分散 SQL データベースです。 AWS 副社長兼 Distinguished Engineer の Marc Brooker が、Aurora DSQL を新しいアプリケーションや最高レベルの復元力を必要とするアプリケーションにとって理想的な選択肢にする設計と主要な革新的テクノロジーについて詳しく解説します。 Aurora

[新サービス] 分析と人工知能（AI）をシンプルに統合化したデータレイクハウス、Amazon SageMaker Lakehouse が発表されたので実際に試してみました #AWSreInvent AWS事業本部コンサルティング部の石川です。re:Invent 2024のキーノートにて、分析と人工知能（AI）を簡素化する統合された、オープンで安全なデータレイクハウスである Amazon SageMaker Lakehouse を発表しました。本日は、Amazon SageMaker Lakehouseのご紹介とドメインやプロジェクトを作成してクエリを実行できるまでを実際に試してみました。 あくまでも今日時点の話ですが、従来のアナリティクス関連サービスは、Amazon SageMaker Unified Studio（プレビュー）という統合環境にまとめられ、Amazon SageMaker

今回は、Splunk Cloud に AWS の Amazon VPC Flow ログを送信してみます。 AWSのアーキテクチャはビルディングブロックと呼ばれ、様々なAWSサービスを組み合わせてシステムを構築できるようになっています。 ログの送信においてもインテグレーション方法は様々で、要件に合わせたサービスを組み合わせることができます。 VPC Flowログでは、ログの送信先を、Amazon S3、Amazon CloudWatch Logs、Amazon Data Firehoseの３つの中から選択することができます。詳細は下記のブログをご確認ください。 VPC Flowログはセキュリティを強化する上でも重要なログの一つとされていますが、何せログの量が多くコストもかさみがちです。 また、VPC Flowログはセキュリティグループに従い、VPC内のネットワーク通信が許可されたのか、拒否さ

はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用できます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォーマンスと1

こんにちは、@TakaakiKakei です。 2024年12月5日（米国太平洋標準時）から12日間に渡って開催される、12 Days of OpenAI。 今回は、以下のアップデートについてご紹介します。 ChatGPT Proプランの提供開始 新モデルo1、o1-proの提供開始 3行まとめ 月額200ドルのChatGPT Proプランが提供開始 新モデルo1-proがChatGPT Proで利用可能に 新モデルo1が既存プランで順次利用可能に ChatGPT Pro ChatGPT Proは、OpenAIの最高のモデルとツールにスケールアクセスを可能にする月額200ドルの新プランです。OpenAI o1のほか、o1-mini、GPT-4o、Advanced Voiceへの無制限アクセスが含まれます。また、より多くのコンピューティングリソースを使用してより深く考え、最も難しい問題に対し

マルチアカウント環境における全アカウント・全リージョンのSecurity Hubセキュリティ基準を一括集計して確認してみた はじめに マルチアカウント環境において、全アカウント・全リージョンのSecurity Hubセキュリティ基準の有効化状況を一括で集計し、確認する方法をご紹介します。 マルチアカウント環境では、アカウントごとに有効化するセキュリティ基準が異なる場合、各アカウントで意図したセキュリティ基準が正しく有効化されているかを確認したり、 Security Hubの中央設定を利用していない場合、全アカウントで特定のセキュリティ基準が有効化されているかを確認したいケースがあります。 このような場合、効率的に全アカウントのセキュリティ基準の有効化状況を確認するには、管理アカウントから一括で情報を収集し、集計する方法が有効です。本記事では、その具体的な手順を解説します。 実施手順の概要は

2024/11/27にTerraformのVersion 1.10がGAになりました！ 1.10より Ephemeral valuesという機能が利用可能になりました。この新機能の詳細を見ていきましょう。 概要 ざっくりとは、機密情報をTerraformで扱う際に利用する機能です。 例えばデータベースインスタンスをTerraformで管理しようとした場合、そのパスワード(=機密情報)の値は他のattributeと同様TerraformのStateファイルに保存されます。また terraform planコマンドに -out オプションをつけると生成されるplanファイルにも保存されます。 これらStateファイルやplanファイルが万が一外部に漏洩した場合、それはデータベースパスワードが漏洩したことになり、大きなセキュリティリスクです。 そのため従来はこのリスクの対策として、例えばリソース

[新サービス] Aurora が真にサーバーレスでマルチリージョンに対応！リージョンを超えて強い一貫性を持つ Amazon Aurora DSQL が発表されました！ re:Invent 2024 のキーノートでマルチリージョンで Active/Active な RDBMS である Aurora DSQL が発表されました。現在プレビュー中。 ウィスキー、シガー、パイプをこよなく愛する大栗です。 AWS re:Invent 2024 の Keynote をラスベガス現地で見ています。先ほど Amazon Aurora のリージョン間の整合性を担保しつつ書き込みができる Amazon Aurora DSQL が発表されたのでレポートします。 Amazon Aurora DSQL Aurora DSQL は事実上無制限のスケールするサーバーレスな分散 SQL データベースです。3個の AZ に

[新機能] メタデータを管理する最も簡単で最速な方法、Amazon S3 メタデータ (プレビュー) を試す！ #AWSreInvent AWS事業本部コンサルティング部の石川です。Amazon S3バケットのクエリ可能なオブジェクトメタデータ（プレビュー版）が発表されました。S3バケット内のオブジェクトメタデータを自動的に生成し、効率的にクエリできるようになります。 Amazon S3 メタデータとは Amazon S3は、数十億から数兆のオブジェクトを含む個別のバケットを作成できる大規模なストレージサービスです。この規模で特定の条件を満たすオブジェクトを見つけることが課題となっていました。 そこで、登場したのがAmazon S3 メタデータです。S3オブジェクトの追加や変更時に自動的にメタデータを生成し、Apache Icebergテーブルに保存します。Apache Icebergテー

はじめに マルチアカウント環境でAWS Security Hubに統合されたAmazon Inspectorの未改善の脆弱性検出結果を、週次でメール通知する方法をご紹介します。 Amazon Inspectorでは、脆弱性の検出結果が一度だけ作成されます。 そのため、検出結果の作成をトリガーにAmazon EventBridge経由で通知する一般的な方法では、一度しか通知されず、その後の通知が行われません。 この仕組みでは、重要な脆弱性を見逃してしまうリスクがあります。 そのため、定期的に未改善の検出結果を通知する仕組みを構築する方法をご紹介します。 本記事では、マルチアカウント環境でInspectorがSecurity Hubと統合された構成を想定しています。 Amazon EventBridge Schedulerを使用して週次でAWS Lambdaを起動し、LambdaがInspec

Google Cloud データエンジニアのはんざわです。 皆さん、SQL のリンターを使っていますか？ 過去のブログで SQL のリンターである sqlfluff を紹介しましたが、本ブログでは、sqlfluff よりも高速と噂される新しいツール「sqruff」を試してみたいと思います。 （余談ですが、この「sqruff」ってどう発音するんでしょうね、SQL + Ruff で「エスキューラフ」？それとも別の発音？） 検証環境 OS とバージョン macOS 13.5.2 パッケージ管理システム Homebrew 4.4.8 SQL の方言 BigQuery sqruff とは？ sqruff は、Rust で開発された SQL リンターおよびフォーマッターのオープンソースツールです。 似たようなツールとして sqlfluff がありますが、sqruff はその sqlfluff よりも高

お疲れさまです。とーちです。 AWS re:Invent 2024 もうすぐ始まりますね。 re:Invent前ということもあり大量のアップデートが発表されています。 今日はその中から、「AWS announces access to VPC resources over AWS PrivateLink」というアップデートを詳解します。 とりあえずまとめ AWS PrivateLink（以下PrivateLink）が進化し、NLBやGateway Load Balancerなしで、VPCリソースへの直接的なプライベートアクセスが可能に PrivateLink経由で通信させるには Resource configuration と Resource gateway が必要 何が変わったのか 従来のAWS PrivateLinkで、他VPCからEC2などのVPC内リソースにアクセスさせるためには

東京、大阪リージョンで Aurora Serverless v2 (Aurora Standard) が 25%オフになりました (2024年11月) 2024年11月、東京・大阪リージョンのAurora Serverless v2のAurora Standard料金が25%値下となる価格改定がありました。

CICが個人の信用把握を容易にする目的でクレジットガイダンスの提供を開始しました。以前CICに照会した記事を参考に、照会情報にどの程度違いがあるのか試してみました。 2024年11月28日、CICはクレジット・ガイダンスの提供を開始しました。これはクレジットカード利用者の信用状態を数値化した指標で、200から800の範囲で示されます。 約4年前の2020年9月にCICの照会を試してDevIOに記事を書きました。今回は、当時の照会と比べてどの程度情報が追加されているのか確認してみました。 照会手順 今回はスマートフォンでインターネット開示を利用しました。2020年当時はPCから操作していましたが、スマートフォンからの申請では決済手段がカードまたはキャリア決済の2つから選択できるようになっています。なお、記事執筆時点では提供開始直後のため、電話回線が混み合っている状況です。 手続きの説明を一通