ビッグデータは死んだっぽい

「ビッグデータは死んだ(Big Data is Dead)」というが波紋を広げている。AIトレンドが興隆する中、エンタープライズITや事業戦略を牽引するバズワードの賞味期限切れが迫っているようだ。

ビッグデータは死んだっぽい
Photo by Shubham Dhage on Unsplash

「ビッグデータは死んだ(Big Data is Dead)」というブログが波紋を広げている。AIトレンドが興隆する中、エンタープライズITや事業戦略を牽引するバズワードの賞味期限切れが迫っているようだ。


MotherDuck: Big Data is Dead
Big data is dead. Long live easy data.

ブログの著者は、Google BigQueryのプロダクトリーダー、エンジニアリングリーダー、創業エンジニアを務めたJordan Tigani。Google BigQueryの創業エンジニア。いわゆる「ビッグデータ」を扱うBigQueryに長く関わった人物である。

彼はビッグデータというバズワードが喧伝される一方で、ほとんどのプレイヤーはビッグデータを実際に扱っていなかった、と述べている。「私が学んだ最も驚くべきことは、『Big Query』を使っている人のほとんどが、実際にはビッグデータを持っていないことでした」。

Tiganiの論旨は以下の通り。

彼がBigQueryのチームに在籍していたとき、「大半の顧客は、データストレージの総容量が1テラバイト以下だった。サービスを多用する顧客の間では、データ保存サイズの中央値は100GBをはるかに下回っていた」と言う。「数年前、私はBigQueryのクエリを分析し、年間1000ドル以上使用する顧客を対象にした。90%のクエリが100MB以下のデータしか処理していませんでした」「巨大なデータサイズを持つ顧客は、ほとんど膨大な量のデータをクエリすることはありません」

また、彼が業界アナリスト(Gartner、Forresterなど)と話したとき、彼がBigQueryを通じて持っていた洞察は強化されたようだ。大半の企業は1テラバイト以下のデータウェアハウスしか持っていない、とアナリストは言ったようだ。データウェアハウスのデータサイズは100GBが適正というのが「一般的な意見」だったようだ。

彼は投資家のリサーチも参照した。「投資家のポートフォリオに含まれる最大のB2B企業は約1テラバイトのデータを持ち、最大のB2C企業は約10テラバイトのデータを持っていることがわかった。しかし、大半はもっと少ないデータ量だった」。

ここから分かることは、ほとんどの事業会社は大量のデータを必要とせず、明確で信頼できるデータを収集して手元で分析できれば十分である、ということだ。本当にデータの使用を改善したいのであれば、データの入り口での品質を改善する方が効果的なようだ。

他方、現在ブームのさなかにある機械学習(ML)は大量のデータを扱わなければメインストリームのゲームをプレイできない。ほとんどのプレイヤーにとってはビッグデータは無縁なものの、競争の先端にいるプレイヤーにとっては依然としてビッグデータは必要不可欠なピースである。

ビッグデータブーム時代に様々な企業の中でデータ組織が作られた。コンサルティング・ファームのような外注先でも同様だ。だが、事業会社が実際にはビッグデータを扱っていないことを踏まえ、さらにMLのブームにさらされていることを考えると、「一時代の終焉」の臭いがする。そんなブログだった。

Read more

AI時代のエッジ戦略 - Fastly プロダクト責任者コンプトンが展望を語る

AI時代のエッジ戦略 - Fastly プロダクト責任者コンプトンが展望を語る

Fastlyは、LLMのAPI応答をキャッシュすることで、コスト削減と高速化を実現する「Fastly AI Accelerator」の提供を開始した。キップ・コンプトン最高プロダクト責任者(CPO)は、類似した質問への応答を再利用し、効率的な処理を可能にすると説明した。さらに、コンプトンは、エッジコンピューティングの利点を活かしたパーソナライズや、エッジにおけるGPUの経済性、セキュリティへの取り組みなど、FastlyのAI戦略について語った。

By 吉田拓史
宮崎市が実践するゼロトラスト:Google Cloud 採用で災害対応を強化し、市民サービス向上へ

宮崎市が実践するゼロトラスト:Google Cloud 採用で災害対応を強化し、市民サービス向上へ

Google Cloudは10月8日、「自治体におけるゼロトラスト セキュリティ 実現に向けて」と題した記者説明会を開催し、自治体向けにゼロトラストセキュリティ導入を支援するプログラムを発表した。宮崎市の事例では、Google WorkspaceやChrome Enterprise Premiumなどを導入し、災害時の情報共有の効率化などに成功したようだ。

By 吉田拓史
​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

Google Cloudが9月25日に開催した記者説明会では、イオンリテール株式会社がCloud Runを活用し顧客生涯価値(LTV)向上を目指したデータ分析基盤を内製化した事例を紹介。従業員1,000人以上がデータ分析を行う体制を目指し、BIツールによる販促効果分析、生成AIによる会話分析、リテールメディア活用などの取り組みを進めている。

By 吉田拓史