コンテンツにスキップ

ビッグデータ

出典: フリー百科事典『ウィキペディア（Wikipedia）』
IBMによるWikipediaの可視化イメージ 大きさはテラバイトでビッグデータの典型的な例である。

ビッグデータ [1][2]（英: big data）とは、組織が非常に大きなデータセットとそれらが保存されている施設を作成、操作、および管理できるようにするすべての技術を指す[3]。一般的なデータ管理・処理ソフトウェアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。組織が非常に大きなデータセット[注釈 1]を作成、操作、および管理できるようにするすべてのものと、これらが格納されている機能を指す[4]。

ビッグデータを取り巻く課題の範囲は、情報の収集、取捨選択、保管[5]、検索、共有、転送、解析[6]、可視化等多岐にわたる。これら課題を克服しビッグデータの傾向をつかむことで「ビジネスに使える発見、疾病予防、犯罪防止、リアルタイムの道路交通状況判断」に繋がる可能性がある[7][8][9]。

用語自体はデータマイニングで一般的に使われてきたが、2010年代に入ってある種のトレンドを示すキーワードとして、新聞・雑誌などでも広く取り上げられるようになってきた[注釈 2]。ビッグデータに代わってAIが流行すると、マスメディアでセンセーショナルに取り上げられることは無くなった。分散型データセンター、データウェアハウス、クラウドベースのストレージは、今日の一般的な側面である[4]。

概要

[編集]

データ量の上限

[編集]

コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。2012年現在、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる[10]。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。

科学者はしばしばこの制限に遭遇する。その分野にはゲノミクス、気象学[11]、コネクトミクス、複雑な物理シミュレーション[12]、生物調査および環境調査等がある[13]。インターネット検索、金融、ビジネスインフォマティクスの分野でも、データ量の上限がビジネスや研究活動に制限を与える。

このように近年データが増加しているのは、情報収集モバイル装置、空間センサー技術(リモートセンシング)、ソフトウェアログ、カメラ、マイクロフォン、無線ID読取機、ワイヤレス・センサネットワークの普及も1つの原因である[14][15]。全世界の1人当たりの情報容量は1980年代以降40か月ごとに倍増し[16]、2012年現在、1日あたり毎日250京（2.5×1018）バイトのデータが作成されたとされる[17]。

課題

[編集]

ビッグデータは、大部分の関係データベース管理システムやデータ分析ソフトでは処理が困難である。そのため、「数十台、数百台、ときには数千台ものサーバ上で動く大規模並列化ソフトウェア」が必要になる[18]。

大企業にとっての課題には、組織全体にまたがるビッグデータの主導権を誰が握るかということもある[19]。何を「ビッグデータ」と考えるのかを明確にするのも企業毎の課題となる。これはデータを管理する組織の能力と分析アプリケーションの能力に依存するためである。数百ギガバイトのデータに直面して始めてデータ管理の選択肢について再検討を始めた組織もある。また数十、数百テラバイトのデータになって初めて真剣に検討が必要になった組織もある[20]。

成長と今後の展開

[編集]

データセットは、リモートセンサー、モバイルデバイス、カメラ、マイク、無線周波数識別（RFID）リーダー、および類似のテクノロジーによって収集されるものが増えるにつれて、増え続けている。2.5エクサバイト（2.5Å〜1018バイト）のデータが毎日作成され、世界のデータの90％がわずか2年間に作成されたと推定した研究も存在する。これらの数値は、おそらく今日より高くなっている。

ビッグデータアプリケーションは、ビジネス、特にキャプチャして保存する大量のデータから利益を得るためにデータ製品とサービスを構築することを志向するビジネスにとって、ますます競争力のあるソースになりつつある。ビッグデータアプリケーションのメリットを享受する企業が増えるにつれて、企業にとってデータの活用がますます重要になることを示す兆候がある[4]。

定義

[編集]

データの収集、取捨選択、管理及び処理に関して、一般的なソフトウェアの能力を超えたサイズのデータ集合と定義される[21]。2012年現在、数十テラバイトから数ペタバイトの範囲である。NoSQLのような新たなビッグデータ技術の普及により、その数値上の定義は変わっていくと考えられる[22]。

2001年の研究報告書[23]で、METAグループ（現ガートナー ）のアナリスト、ダグ・レイニーはビッグデータの特性としてボリューム（volume、データ量）、速度（velocity、入出力データの速度）、バラエティ（variety、データ種とデータ源の範囲）があると定義した。ガートナーはこの「3V」モデルを使用していたが[24]、2012年、次のように定義を更新した：「ビッグデータは、高ボリューム、高速度、高バラエティのいずれか（あるいは全て）の情報資産であり、新しい形の処理を必要とし、意思決定の高度化、見識の発見、プロセスの最適化に寄与する」[25]。さらに新しいV、正確さ（veracity）の追加の提案もある[26]。

例

[編集]

例としては、巨大科学、RFID、センサネットワーク、ソーシャルネットワーク、ビッグソーシャルデータ分析[27] （ソーシャルデータ革命による）、インターネット文書、インターネット検索のインデックス作成、通話記録明細、天文学、大気科学、ゲノミクス、生物地球化学、生物学、他の複雑でしばしば学際的な科学研究、軍事偵察、新しい住宅購入者用の通勤時間予測、医療記録、写真アーカイブ、ビデオアーカイブ、大規模なeコマースがある[28]。

巨大科学

[編集]

大型ハドロン衝突型加速器 (LHC) では約1億5000万のセンサーが毎秒40万のデータを発生させる。毎秒ほぼ6億回の衝突がある。99.999％のデータをフィルタリング・除去処理し、1秒あたり100の衝突が有用なデータとなる[29][30][31]。その後、センサデータの0.001％未満を処理する。すべての4つのLHC実験は1年に25ペタバイトを発生する。これは複製後約200ペタバイトになる。もし全てのセンサデータがLHCで記録されるなら、データの処理は著しく困難になるであろう。データは複製前で1年に1.5億ペタバイト、すなわち一日あたり約500 エクサバイトを超えてしまうであろう。この数字は一日あたり5垓（5×1020）バイトで、世界すべての情報源を合計した数値の約200倍である。

科学研究

[編集]
  • スローン・デジタル・スカイサーベイ （SDSS）は2000年に天文データを収集し始めたが、最初の数週間で天文学の歴史の中で収集したすべてのデータよりも、多くのデータを蓄積した。SDSSは、1晩約200GBの割合で継続して、140テラバイト以上の情報を集めている。SDSSの後継である、大型シノプティック・サーベイ望遠鏡は、2016年に運用開始後、同じ量のデータを5日おきに取得すると期待されている[7]。
  • ヒトゲノム計画は当初その処理に10年かかったが、今では一週間も経たないうちに達成することができる。DNAシーケンサは、過去10年間でシーケンシングのコストを1万分の1に削減した。これはムーアの法則の100倍である[32]。
  • 計算機社会科学 — Tobias Preis et al. はGoogle Trendsデータを使用し、高いGDPを持つ国のインターネットユーザは、過去よりも将来の情報を検索することを示した。調査結果により、インターネット上の行動と現実世界の経済指標との間に関連性が存在することが示唆された[33][34] [35]。著者らは、2010年に45の異なる国でインターネットユーザーによるGoogleのクエリのログを調べ、前年の検索のボリューム（2009年)と来年（2011年）の検索のボリュームを比較し、「将来期待指数」と呼んでいる[36]。著者らは、それぞれの国の1人当たりGDPと将来期待指数を比較し、将来についてより検索が多いGoogleユーザは高いGDPを持つ傾向があることを発見した。
  • NASA気候シミュレーションセンター（NCCS）[37]は32ペタバイトの気象観測、シミュレーションデータをDiscoverスーパーコンピューティングクラスタ上に格納している[38]。
  • Tobias Preisと共同研究者のHelen Susannah Moat、ユージン・スタンレーは、Google Trendsにより提供される検索ボリュームデータに基づく取引戦略を用いて、インターネット上の株価の動きを予測する方法を紹介した[39]。金融に関連した98の用語のGoogle検索ボリュームの分析はScientific Reportsに掲載され[40]、金融に関連した検索語は、金融市場の大きな損失より前に出ていることを示した[41][42][43][44][45][46][47][48]。

政府機関

[編集]
  • 2012年、オバマ政権は政府が直面する重要問題への対処に利用できるかを探るため、「ビッグ・データ・リサーチ・イニシアティブ」を発表した[49]。イニシアティブは、6つの部門にまたがって84の異なるプログラムから構成されていた[50]。
  • ビッグデータ分析は、 バラク・オバマの2012年の再選運動に大きな貢献を果たした[51]。
  • 米国連邦政府は、世界Top10のスーパーコンピュータのうち6台を所有している[52]。
  • ユタ・データ・センターは、現在、米国・国家安全保障局（NSA）によって建築中のデータセンターである。建設後は、インターネット上でPRISMによって収集されたヨタバイトの情報を扱うことができるようになる[53][54]。
  • 民商事分野の判決のビッグデータ活用は、法律家の支援ツール開発などにつながり、紛争解決の迅速化や紛争予防に資するとの展望から、政府が裁判所から判決文の提供を受け、AI技術による匿名処理を施した上でDB化する計画が進められている[55][56]。
  • 福岡県警察は、ビッグデータを活用して、指定暴力団・工藤會による襲撃から証人や情報提供者を警護するため、組員らの行動パターンを基に襲撃の予兆を把握するシステムを開発。捜査員が尾行で確認した組員らの動向や車両の使用状況といったデータをコンピュータ解析し、襲撃時期や地域を予測する。組員や車両が襲撃の予兆となる特異な動きを見せると検知し、危険度に応じて、最重要対象者を24時間態勢で警護する[57][58]。

民間部門

[編集]
  • Googleは、Google マップにおいて、スマートフォンのGPSおよびジャイロセンサーにより測定された位置および移動速度[59]を、多数の端末から匿名情報として収集して分析し、マップ上に道路の混雑状況を表示する。さらに、Google マップナビにおいて、目的地までの経路の混雑状況に応じた通過速度を計算し、最適経路をユーザーにナビゲーションする[60]。
  • ウォルマートは1時間あたり百万以上のトランザクションを処理し、2.5ペタバイトのデータを保持する。これはアメリカ議会図書館に所蔵されているすべての書籍の167倍の情報量である[7]。
  • Facebookは、ユーザーの500億枚の写真を処理している[61]。
  • FICOファルコンクレジットカード詐欺検知システムは、世界全体で21億のアクティブなアカウントを保護している[62]。
  • ウィンダミア不動産は約1億の匿名のGPS信号を使用し、新しく家を買う人に1日の時間帯毎の通勤時間を提供している[63]。
  • ソフトバンクは、月間約10億件（2014年3月現在）の携帯電話のログ情報を処理して、電波の接続率の改善に役立てている[64]。
  • トヨタは、車載通信機（データ・コミュニケーション・モジュール：DCM）から車両データを送信し、トヨタスマートセンター内のトヨタビッグデータセンター（TBDC）に蓄積する。収集したデータを解析し、各種サービスへの展開に利用するとしている[65]。

途上国の開発

[編集]

ここ数十年で情報通信技術開発 (ICT4D)の分野で研究が進み, ビッグ・データが途上国の開発にも有用であることが示唆された[66][67]。ビッグデータの出現は、医療、雇用、生産性、犯罪や公衆安全、自然災害や資源管理などの重要な開発分野の意思決定を改善する[68]。その一方でビッグデータのよく知られた問題、例えば、プライバシー、相互運用性、不完全アルゴリズムを全知全能にする問題は、技術インフラの不足、経済および人的資源の不足のような未解決課題を悪化させている。これは新たな情報格差、意思決定の格差に繋がる[68]。

市場性

[編集]

ストレージコストの継続的な低下、データマイニングおよびビジネスインテリジェンス（BI）ツールの成熟、組織に大量の備蓄を引き起こした政府の規制や裁判など、多くの要因が「ビッグデータ」とビジネスネットワークの統合に貢献している[4]。

ビッグデータの専門家の需要は増加しておりSoftware AG、オラクル、IBM、マイクロソフト、SAP、EMC、HPといった企業は、データ管理と分析だけを専門とするソフトウェア会社に150億ドル以上を費やしている。2010年には1000億ドル以上の業界価値があり、年間約10％で成長していた。これはソフトウェアビジネス全体の約2倍の速さである[7]。

全世界の携帯電話契約数は約46億であり、10から20億人がインターネットにアクセスしている[7]。通信ネットワークを介して交換される容量は、1986年に281ペタバイト、1993年に471ペタバイト、2000年には2.2エクサバイト、2007年には65エクサバイトであった[16]。インターネット上のトラフィック量は2013年までに667エクサバイトに達すると予測されている[7]。

解析・処理技術

[編集]
DARPAのトポロジーデータ解析プログラム（クラインの壷）大規模なデータ集合の基本的な構造を探っている。

インフラストラクチャー

[編集]

従来のビジネスデータストレージおよび管理テクノロジには、リレーショナルデータベース管理システム（RDBMS）、ネットワーク接続ストレージ（NAS）、ストレージエリアネットワーク（SAN）、データウェアハウス（DW）、およびビジネスインテリジェンス（BI）分析が含まれる[4]。従来のデータウェアハウスとBI分析システムは、企業インフラストラクチャ内で高度に集中化される傾向がある。これらには、RDBMS、高性能ストレージ、およびデータのマイニングと視覚化のためのオンライン分析処理（OLAP）ツールなどの分析ソフトウェアを備えた中央データリポジトリが含まれることがよくある。

ソフトウエア

[編集]

2004年、GoogleはMapReduceと呼ばれるビッグデータ処理技術の論文を発表した[69]。これはデータ処理を分割し、複数のコンピュータで並列に実行するものである。この分割と並列処理のステップを「マップ（Map）」と呼ぶ。各コンピュータの処理結果は最終的に一つに集められ、解析者に配信される。これを「リデュース（Reduce）」と呼ぶ。この技術は成功を収めた[要説明]ので、そのアルゴリズムを再現しようとした者もいた。実際にMapReduceはHadoopという名前で、Apacheのオープンソースプロジェクトに採択された。

2011年マッキンゼーレポートによると[70]、以下の技術が必要と示唆された。 A/Bテスト、 相関ルールの学習、 統計分類、 データ・クラスタリング、 クラウドソーシング、 データ融合と統合、 アンサンブル学習、 遺伝的アルゴリズム、 機械学習、 自然言語処理、 ニューラルネットワーク、 パターン認識 、 異常検出、 予測モデリング、 回帰分析、 感情分析、 信号処理、 教師あり学習と教師なし学習、 シミュレーション、 時系列解析、 可視化である。多次元ビッグデータはテンソルとして表現でき、これは多線部分空間学習のようなテンソル・ベース計算にて効率的に処理できる[71][72]。

さらに関連技術には、超並列処理（MPP）データベース、 検索ベースのアプリケーション、データマイニンググリッド、分散ファイルシステム、分散データベース、クラウドコンピューティングとインターネットがある[要出典]。一部のMPPリレーショナルデータベースは、ペタバイトを格納および管理する能力を持っている。加えて、暗黙的にRDBMSをロード、監視、バックアップする能力も必要となる[73][74]。

ハードウェア

[編集]

ビッグデータ分析の専門家は、一般的に遅い共有ストレージを敵視し[75]、ソリッドステートドライブ（SSD）やダイレクトアタッチトストレージ（DAS）を好む。ストレージエリアネットワーク (SAN)やネットワークアタッチトストレージ (NAS)は遅く、複雑で、高価であると認識される。容易に入手可能で低コストなハードウエアをベースに成長するビッグデータ分析システムにこれらは適さない。

研究活動

[編集]

2012年3月に、ホワイトハウスは6連邦政府省庁および政府機関で構成される「ビッグデータイニシアティブ」を発表した[76]。2億ドル以上の予算が付与された。

これにはカリフォルニア大学バークレー校[77][78] AMPLabへの、全米科学財団「計算機科学の探検」研究費、5年間 $1千万ドルが含まれる。AMPLabは加えてDARPAと10以上の産業界からの資金提供を受け、交通の混雑の予測[79]、がん対策のような広範囲の課題に挑戦する[80]。

このイニシアティブにはまた、エネルギー省のローレンス・バークレー国立研究所が率いるスケーラブル・データ管理・分析・可視化(SDAV)研究所[81]への5年間 $25百万ドルの資金提供も含まれる。SDAV研究所は、科学者が省のスーパーコンピュータ上のデータを管理、可視化するための新しいツールの開発を目指す。このために6国立研究所と7大学の専門知識を結集することを目指している。

米国マサチューセッツ州は、2012年5月に「マサチューセッツ州ビッグデータイニシアティブ」を発表し、州政府や民間企業が資金を提供している[82]。マサチューセッツ工科大学 はThe Intel Science and Technology Center for Big Data をMITコンピュータ科学・人工知能研究所で主催した[83]。

欧州委員会はビッグデータ・プライベート・フォーラム[84]に資金提供する。これには企業、教育機関、その他のビッグデータ関係者が参加している。プロジェクトの目標は、研究と技術革新の面で戦略を定義することである。このプロジェクトの成果は、次のフレームワークプログラムであるHorizon 2020[85]で利用される[86]。

IBMは毎年開催される学生の国際プログラミングコンテスト、"Battle of the Brains"のスポンサーとなった[87]。ビッグデータ世界選手権は、2014年にテキサス州オースチンで初めて開催された[88][注釈 3]。

批判

[編集]

ビッグデータパラダイムへの批判

[編集]

実証科学の性質による根本的な限界があるので、ビッグデータパラダイムは実証科学によるものなので、ビッグデータにも実証科学と同様の限界がある[90]。

2012年4月のハーバードビジネスレビューの記事によると、ビッグデータはどんなにわかりやすく分析されたとしても、大きな決断（ビッグディシジョン）によって補完されなければならないとされた[91]。同時に、ビッグデータの解析結果は「過去に知られたものか、良くても現在のもの」にしかならないと指摘された[68]。過去の経験が多数入力されれば、過去と同じ事象を予想する可能性がある。

要するに、想像力を使わずにビッグデータだけで論理的な推論を行うことは、革命的な視点を生み出すことはできない。パラダイムから独立して科学的に真偽を決定することは不可能である[92]。オットー・ノイラートは科学を、外海に再建しなければいけないボートと比較している[93]。

データの統計的処理では科学的であったが、なぜ錯覚が生まれるかというメカニズムの解明では、仮説を立て実験データとの照合を論じてはいたものの、その仮説自体はやはり思弁に過ぎなかった。脳科学の進歩によって急速に、認識論と存在論の2つの世界は大きく浸食されつつある[94]。脳細胞をシミュレートする深層学習技術は、10年前の人間の想像を超えているということである。機械学習とディープラーニングを使用したビッグデータは、10年前の限界を超えている[95]。

科学的観点からの批判

[編集]

ダナ・ボイドは標本調査に基づき代表的な母集団を選ぶという科学の基本的原則を無視し、異種のデータ源から成る大量のデータの処理にこだわることに懸念を示した[96]。このやり方は、偏った結果につながる可能性があるにもかかわらず、多くの科学者はこのような統合は最も有望な科学の最先端と主張している[97]。

脚注

[編集]

注釈

[編集]
  1. ^ テラバイト、ペタバイト、エクサバイトなどで測定。
  2. ^ Googleトレンドで「ビッグデータ」あるいは「big data」をキーワードに検索すると、2011年あたりを境に急速関心をもたれていることが観測できる。
  3. ^ 当初はテキサス州ダラスで開催とされていたが[89]、同州オースチンに変更された。

出典

[編集]
  1. ^ White, Tom (10 May 2012). Hadoop: The Definitive Guide. O'Reilly Media. p. 3. ISBN 978-1-4493-3877-0. https://books.google.co.jp/books?id=Wu_xeGdU4G8C&pg=PA3&redir_esc=y&hl=ja 
  2. ^ “MIKE2.0, Big Data Definition”. 2013年9月19日閲覧。
  3. ^ Stallings, William (2016). Foundations of modern networking : SDN, NFV, QoE, IoT, and Cloud. Florence Agboma, Sofiene Jelassi. Indianapolis, Indiana. ISBN 978-0-13-417547-8. OCLC 927715441. https://www.worldcat.org/oclc/927715441 
  4. ^ a b c d e William Stallings『Foundations of Modern Networking: SDN, NFV, QoE, IoT, and Cloud』Addison-Wesley Professional、2015年 ISBN 0134175395
  5. ^ Kusnetzky, Dan. “What is "Big Data?"”. ZDNet. 2013年9月19日閲覧。
  6. ^ Vance, Ashley (22 April 2010). “Start-Up Goes After Big Data With Hadoop Helper”. New York Times Blog. 2013年9月19日閲覧。
  7. ^ a b c d e f “Data, data everywhere”. The Economist. (25 February 2010). http://www.economist.com/node/15557443 9 December 2012閲覧。 
  8. ^ “E-Discovery Special Report: The Rising Tide of Nonlinear Review”. Hudson Global（英語版）. 2012年7月3日時点のオリジナルよりアーカイブ。2012年7月1日閲覧。 by Cat Casey and Alejandra Perez
  9. ^ “What Technology-Assisted Electronic Discovery Teaches Us About The Role Of Humans In Technology — Re-Humanizing Technology-Assisted Review”. Forbes. 1 July 2012閲覧。
  10. ^ Francis, Matthew (2012年4月2日). “Future telescope array drives development of exabyte processing”. 2012年10月24日閲覧。
  11. ^ “Community cleverness required”. Nature 455 (7209): 1. (4 September 2008). doi:10.1038/455001a. http://www.nature.com/nature/journal/v455/n7209/full/455001a.html. 
  12. ^ “Sandia sees data management challenges spiral”. HPC Projects (2009年8月4日). 2011年5月11日時点のオリジナルよりアーカイブ。2011年4月26日閲覧。
  13. ^ Reichman, O.J.; Jones, M.B.; Schildhauer, M.P. (2011). “Challenges and Opportunities of Open Data in Ecology”. Science 331 (6018): 703–5. doi:10.1126/science.1197962. 
  14. ^ Hellerstein, Joe (2008年11月9日). “Parallel Programming in the Age of Big Data”. Gigaom Blog. 2012年10月7日時点のオリジナルよりアーカイブ。2010年4月21日閲覧。
  15. ^ Segaran, Toby; Hammerbacher, Jeff (2009). Beautiful Data: The Stories Behind Elegant Data Solutions. O'Reilly Media. p. 257. ISBN 978-0-596-15711-1. https://books.google.co.jp/books?id=zxNglqU1FKgC&redir_esc=y&hl=ja 
  16. ^ a b Hilbert & López 2011
  17. ^ “IBM What is big data? — Bringing big data to the enterprise”. 01.ibm.com. 2013年3月5日閲覧。
  18. ^ Jacobs, A. (6 July 2009). “The Pathologies of Big Data”. ACMQueue. 2010年4月21日閲覧。
  19. ^ Oracle and FSN, "Mastering Big Data: CFO Strategies to Transform Insight into Opportunity", December 2012
  20. ^ Magoulas, Roger; Lorica, Ben (February 2009). “Introduction to Big Data”. Release 2.0 (Sebastopol CA: O’Reilly Media) (11). http://radar.oreilly.com/r2/release2-0-11.html. 
  21. ^ “‘Big Data’: Big gaps of knowledge in the field of Internet.”. 2018年1月3日閲覧。
  22. ^ Hogan, M. (3 Jan 2013). “Large Databases”. 2013年5月6日閲覧。
  23. ^ Douglas, Laney. “3D Data Management: Controlling Data Volume, Velocity and Variety”. Gartner. 6 February 2001閲覧。
  24. ^ Beyer, Mark. “Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data”. Gartner. 2011年7月10日時点のオリジナルよりアーカイブ。2011年7月13日閲覧。
  25. ^ Douglas, Laney. “The Importance of 'Big Data': A Definition”. Gartner. 21 June 2012閲覧。
  26. ^ “What is Big Data?”. ビラノバ大学. 2013年6月24日閲覧。
  27. ^ Cambria, Erik; Rajagopal, Dheeraj; Olsher, Daniel; Das, Dipankar (4 December 2013). "Big Social Data Analysis". In Akerkar, Rajendra (ed.). Big Data Computing (英語). Taylor & Francis. ISBN 978-1-46-657837-1. 2013年6月10日時点のオリジナルよりアーカイブ。2024年7月20日閲覧。
  28. ^ Hogan, M. (3 March 2013). “What is Big Data”. 2013年6月20日閲覧。
  29. ^ “LHC Brochure, English version. A presentation of the largest and the most powerful particle accelerator in the world, the Large Hadron Collider (LHC), which started up in 2008. Its role, characteristics, technologies, etc. are explained for the general public.”. CERN-Brochure-2010-006-Eng. LHC Brochure, English version.. CERN. 20 January 2013閲覧。
  30. ^ “LHC Guide, English version. A collection of facts and figures about the Large Hadron Collider (LHC) in the form of questions and answers.”. CERN-Brochure-2008-001-Eng. LHC Guide, English version.. CERN. 20 January 2013閲覧。
  31. ^ Brumfiel, Geoff (19 January 2011). “High-energy physics: Down the petabyte highway”. Nature 469: pp. 282–83. doi:10.1038/469282a. http://www.nature.com/news/2011/110119/full/469282a.html 
  32. ^ Delort P., OECD ICCP Technology Foresight Forum, 2012. http://www.oecd.org/sti/ieconomy/Session_3_Delort.pdf#page=6
  33. ^ Preis, Tobias; Moat,, Helen Susannah; Stanley, H. Eugene; Bishop, Steven R. (2012). “Quantifying the Advantage of Looking Forward”. Scientific Reports 2: 350. doi:10.1038/srep00350. PMC 3320057. PMID 22482034. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3320057/. 
  34. ^ Marks, Paul (April 5, 2012). “Online searches for future linked to economic success”. New Scientist. April 9, 2012閲覧。
  35. ^ Johnston, Casey (April 6, 2012). “Google Trends reveals clues about the mentality of richer nations”. Ars Technica. April 9, 2012閲覧。
  36. ^ Tobias Preis (2012年5月24日). “Supplementary Information: The Future Orientation Index is available for download”. 2012年5月24日閲覧。
  37. ^ NASA気候シミュレーションセンター
  38. ^ Webster, Phil. “Supercomputing the Climate: NASA's Big Data Mission”. CSC World. Computer Sciences Corporation. 2013年1月18日閲覧。
  39. ^ フィリップ・ボール（英語: Philip Ball） (April 26, 2013). “Counting Google searches predicts market movements”. Nature. August 9, 2013閲覧。
  40. ^ Tobias Preis, Helen Susannah Moat and H. Eugene Stanley (2013). “Quantifying Trading Behavior in Financial Markets Using Google Trends”. Scientific Reports 3: 1684. doi:10.1038/srep01684. 
  41. ^ Nick Bilton (April 26, 2013). “Google Search Terms Can Predict Stock Market, Study Finds”. New York Times. August 9, 2013閲覧。
  42. ^ Christopher Matthews (April 26, 2013). “Trouble With Your Investment Portfolio? Google It!”. TIME Magazine. August 9, 2013閲覧。
  43. ^ Philip Ball (April 26, 2013). “Counting Google searches predicts market movements”. Nature. August 9, 2013閲覧。
  44. ^ Bernhard Warner (April 25, 2013). “'Big Data' Researchers Turn to Google to Beat the Markets”. Bloomberg Businessweek. August 9, 2013閲覧。
  45. ^ Hamish McRae (April 28, 2013). “Hamish McRae: Need a valuable handle on investor sentiment? Google it”. The Independent. August 9, 2013閲覧。
  46. ^ Richard Waters (April 25, 2013). “Google search proves to be new word in stock market prediction”. Financial Times. August 9, 2013閲覧。
  47. ^ David Leinweber (April 26, 2013). “Big Data Gets Bigger: Now Google Trends Can Predict The Market”. Forbes. August 9, 2013閲覧。
  48. ^ Jason Palmer (April 25, 2013). “Google searches predict market moves”. BBC. August 9, 2013閲覧。
  49. ^ Kalil, Tom. “Big Data is a Big Deal”. White House. 26 September 2012閲覧。
  50. ^ Executive Office of the President (2012年3月). “Big Data Across the Federal Government”. White House. 26 September 2012閲覧。
  51. ^ “How big data analysis helped President Obama defeat Romney in 2012 Elections”. Bosmol Social Media News (8 February 2013). 9 March 2013閲覧。
  52. ^ Hoover, J. Nicholas. “Government's 10 Most Powerful Supercomputers”. Information Week. UBM. 26 September 2012閲覧。
  53. ^ Bamford, James. “The NSA Is Building the Country’s Biggest Spy Center (Watch What You Say)”. Wired Magazine. 2013年3月18日閲覧。
  54. ^ “Groundbreaking Ceremony Held for $1.2 Billion Utah Data Center”. National Security Agency Central Security Service. 2013年3月18日閲覧。
  55. ^ 「民事司法制度改革推進に関する関係府省庁連絡会議幹事会（第２回）」配布資料
  56. ^ 朝日新聞2019年8月10日1面
  57. ^ 【福岡県警】ビッグデータで暴力団襲撃予測 「工藤会」対策 証人ら保護目的
  58. ^ 工藤会の襲撃、ビッグデータで防げ 組員の動き分析
  59. ^ 端末の移動モード（自動車・バス等、自転車、歩行など）も自動的に判定される
  60. ^ “Googleマップで採用された「渋滞状況」機能とその仕組みについて”. 2018年1月4日閲覧。
  61. ^ “Scaling Facebook to 500 Million Users and Beyond”. Facebook.com. 2013年7月21日閲覧。
  62. ^ “FICO® Falcon® Fraud Manager”. Fico.com. 2013年7月21日閲覧。
  63. ^ Wingfield, Nick (2013年3月12日). “Predicting Commutes More Accurately for Would-Be Home Buyers - NYTimes.com”. Bits.blogs.nytimes.com. 2013年7月21日閲覧。
  64. ^ 『ビッグデータを利益に変える方法』幻冬舎、2014年。ISBN 978-4344952393。 
  65. ^ “トヨタ、「つながる」技術に関する取り組みを加速”. 2016年3月6日閲覧。
  66. ^ UN GLobal Pulse (2012). Big Data for Development: Opportunities and Challenges (White p. by Letouzé, E.). New York: United Nations. Retrieved from http://www.unglobalpulse.org/projects/BigDataforDevelopment
  67. ^ WEF (World Economic Forum), & Vital Wave Consulting. (2012). Big Data, Big Impact: New Possibilities for International Development. World Economic Forum. Retrieved August 24, 2012, from http://www.weforum.org/reports/big-data-big-impact-new-possibilities-international-development
  68. ^ a b c "Big Data for Development: From Information- to Knowledge Societies", Martin Hilbert (2013), SSRN Scholarly Paper No. ID 2205145). Rochester, NY: Social Science Research Network; http://papers.ssrn.com/abstract=2205145
  69. ^ “MapReduce: Simplified Data Processing on Large Clusters”. 2018年1月3日閲覧。
  70. ^ Manyika, James; Chui, Michael; Bughin, Jaques; Brown, Brad; Dobbs, Richard; Roxburgh, Charles; Byers, Angela Hung (May 2011). Big Data: The next frontier for innovation, competition, and productivity. McKinsey Global Institute. http://www.mckinsey.com/Insights/MGI/Research/Technology_and_Innovation/Big_data_The_next_frontier_for_innovation 
  71. ^ “Future Directions in Tensor-Based Computation and Modeling” (May 2009). 2013年1月4日閲覧。
  72. ^ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). “A Survey of Multilinear Subspace Learning for Tensor Data”. Pattern Recognition 44 (7): 1540–1551. doi:10.1016/j.patcog.2011.01.004. http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf. 
  73. ^ Monash, Curt (30 April 2009). “eBay’s two enormous data warehouses”. 2010年11月11日閲覧。
  74. ^ Monash, Curt (6 October 2010). “eBay followup — Greenplum out, Teradata > 10 petabytes, Hadoop has some value, and more”. 2010年11月11日閲覧。
  75. ^ CNET News (April 1, 2011). “Storage area networks need not apply”. 2013年4月17日閲覧。
  76. ^ “Obama Administration Unveils "Big Data" Initiative:Announces $200 Million In New R&D Investments”. The White House. 2012年11月1日時点のオリジナルよりアーカイブ。2012年11月2日閲覧。
  77. ^ “NSF Leads Federal Efforts In Big Data”. National Science Foundation (NSF) (29 March 2012). 2012年11月2日閲覧。
  78. ^ “AMPLab at the University of California, Berkeley”. Amplab.cs.berkeley.edu. 2013年3月5日閲覧。
  79. ^ Timothy Hunter; Teodor Moldovan; Matei Zaharia; Justin Ma; Michael Franklin; Pieter Abbeel; Alexandre Bayen (October 2011). Scaling the Mobile Millennium System in the Cloud.
  80. ^ David Patterson (5 December 2011). “Computer Scientists May Have What It Takes to Help Cure Cancer”. The New York Times. http://www.nytimes.com/2011/12/06/science/david-patterson-enlist-computer-scientists-in-cancer-fight.html?_r=0 
  81. ^ “Secretary Chu Announces New Institute to Help Scientists Improve Massive Data Set Research on DOE Supercomputers”. "energy.gov". 2012年11月2日閲覧。
  82. ^ “Governor Patrick announces new initiative to strengthen Massachusetts’ position as a World leader in Big Data”. Commonwealth of Massachusetts. 2012年6月5日閲覧。
  83. ^ “Big Data @ CSAIL”. Bigdata.csail.mit.edu (2013年2月22日). 2013年3月5日閲覧。
  84. ^ ビッグデータ・プライベート・フォーラム
  85. ^ Horizon 2020
  86. ^ “Big Data Public Private Forum”. Cordis.europa.eu (2012年9月1日). 2013年3月5日閲覧。
  87. ^ “About | Battle of the Brains”. Battleofthebrains.podbean.com. 2013年7月21日閲覧。
  88. ^ Big Data World Champ公式ツイッター
  89. ^ “Big Data World Championships”. Texata. 2013年7月21日閲覧。
  90. ^ “Course Introduction - Getting Started and Big Data Opportunities”. Coursera. 2022年5月27日閲覧。
  91. ^ “Good Data Won't Guarantee Good Decisions. Harvard Business Review”. Shah, Shvetank; Horne, Andrew; Capellá, Jaime;. HBR.org. 8 September 2012閲覧。
  92. ^ Kuhn, Thomas Samuel (1962). The Structure of Scientific Revolutions. Chicago: The University of Chicago Press 
  93. ^ Neurath, Otto (1921). Anti-Spengler. München: G.D.W. Callwey 
  94. ^ 立花隆『脳を究める』（朝日新聞社 2001年3月1日）
  95. ^ “4-9 Surviving in the New Information Economy - Adopting a Learning Lifestyle”. Coursera. 2021年12月6日閲覧。
  96. ^ ダナ・ボイド（英語: Danah Boyd） (2010年4月29日). “Privacy and Publicity in the Context of Big Data”. WWW 2010 conference（英語版）. 2011年4月18日閲覧。
  97. ^ Jones, MB; Schildhauer, MP; Reichman, OJ; Bowers, S (2006). “The New Bioinformatics: Integrating Ecological Data from the Gene to the Biosphere” (PDF). Annual Review of Ecology, Evolution, and Systematics 37 (1): 519–544. doi:10.1146/annurev.ecolsys.37.091305.110031. http://www.pnamp.org/sites/default/files/Jones2006_AREES.pdf. 

参考文献

[編集]

関連項目

[編集]

外部リンク

[編集]
モデル
他のモデル
実装
概念
オブジェクト
SQL
構成要素
データベース製品
関係データベース管理システムの比較
データベース接続クライアント
カテゴリ カテゴリ
分野
コンセプト
指向
モデル
開発モデル
他のモデル
モデリング言語
主な人物
関連項目
「https://ja.wikipedia.org/w/index.php?title=ビッグデータ&oldid=101171471」から取得