The document provides an introduction to YARN, HDFS federation, and HDFS high availability. It discusses limitations of the original MapReduce framework and HDFS, such as single points of failure. It then summarizes improvements in YARN including distributed resource management and the ability to run multiple applications. HDFS federation and high availability address scalability and reliability c
CDH3から始めてCDH4.1までアップグレードして利用し続けていますが、この過程でNameNodeの構成は変更せずに運用してきました。 当然、CDH4からの公式HA構成に関心はあったのですが、複数の更新を同時に行うと危ないとか、英語マニュアル読むのめんどくせー感からミドルレンジに距離を置いていたところに、もりす先生がトライしてくれて、乗るしかないビッグウェーブ到来。待つべきものは他人の検証とはよく言ったものですなぁ。 タイトルはNameNode構成の切り替え、となっていますが、これから新しくQJM HAで組む人にも役に立つ内容となっていますゆえ、私が血反吐を吐いてまとめた情報を是非ご覧くださいませ。 リンク CDH4.1におけるクォーラムベースジャーナリング Quorum-Journal Design CDH4.1オーバービュー Software Configuration for Qu
Hadoop HDFS の NameNode は長い間単一障害点だったのですが、 CDH 4 から、 NFS 上の edits ログを共有する形でのアクティブ/スタンバイ構成が可能になりました。しかし、フェイルオーバが中途半端になると共有 edits ログが破壊されるとか、 NFS が新しい単一障害点になってしまうとかで、評判が良くなかったようです。 そこで CDH 4.1 からは、 JournalManager という、 edits ログを書き込む専門のデーモンが追加されました。アクティブな NameNode は、 Quorum Journal Manager (QJM) を通じて、共有 edits ログを JournalNode クラスタに書き込めるようになりました。 今回、 QJM ベースの NameNode 冗長化を試すため、 HDFS クラスタを作ってみました。同時に ZooKe
Google グループでは、オンライン フォーラムやメール ベースのグループを作成したり、こうしたフォーラムやグループに参加したりすることで、大勢のユーザーと情報の共有やディスカッションを行うことができます。
2013/05/30に開催した、HDFS HA(High Availability: 高可用性)セミナーの資料です。同じくご登壇頂いた、株式会社サイバーエージェントの上原誠様の資料は↓です。 http://www.slideshare.net/makotouehara39/cl-st-20130530nnhaRead less
2012年7月のセミナーおよび説明会で使用した、CDH4の高可用NameNode(NameNode-HA)とCloudera Manager4.0の資料です。Read less
We are excited to announce the acquisition of Octopai, a leading data lineage and catalog platform that provides data discovery and governance for enterprises to enhance their data-driven decision making. Cloudera’s mission since its inception has been to empower organizations to transform all their data to deliver trusted, valuable, and predictive insights. With AI and […] Read blog post
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Hadoopを運用するノードもそれなりの台数になってくると、ノードの稼動状態を監視する 必要が出てきます。１０台以上にもなるとそれぞれにログインしてプロセスを確認するのも かなり面倒です。 ここでは、監視ツールとしてポピュラーな「Nagios」を使って、Hadoopノードを監視する 方法について書いておきます。 使うのは「check_http」コマンドです。このコマンドは、指定ポートに接続してhttpを getして、得られるレスポンス文字列を調べて状態を判定します。 これを使ってHadoopの各サービスの状態を見てみましょう。 NameNode用のWebUI(http://[NameNodeのIP]:50070/dfshealth.jsp)には、レスポンス中に 「NameNode」の文字列が入っています。 この文字列を取得できたら、少なくともNameNodeは止まってはいないと判断できます
Hadoopの障害の中でも、あらかじめ復旧手順を確認しておかなければいけないとすれば、 やはりNameNodeでしょう。 PrimaryNameNodeが停止するとHadoopクラスタは利用できなくなります。 fsコマンドでエラーが返ってくるようなら、NameNodeに問題が発生している場合があります。 NameNodeの障害を放置しておくと、HDFS上のデータが破損してしまう恐れがあるので、異常を 見つけたら速やかに復旧しましょう。 以下の例は、PrimaryNameNodeが停止した場合のエラーです。 $ hadoop fs -ls 10/07/06 18:18:06 INFO ipc.Client: Retrying connect to server: srv1/192.168.1.1:8020. Already tried 0 time(s). 10/07/06 18:18:07
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
