Hadoopはlog4jを使って、大量のログを生成しています。連日ジョブを走らせている ような環境では、NameNodeのログ領域はGバイト単位で肥大化してディスクを圧迫します。 ログの出力ディレクトリをシステム領域と共有している場合などは、ディスク残容量 不足でシステムトラブルの原因にもなりえます。 見落としがちですが、ログの管理もやっておきましょう。 ローテーションについては、Hadoopがやってくれているので、不要なログを抑制して 不要になった古いログは削除するようにします。 ログの抑制についてですが、CDHを使う限りHDFSへのアクセスにパーミッションを設定して はいないので、HDFSへの監査ログは不要と思われます。 しかも、この監査ログがHDFSへのアクセスの度に記録されるので、肥大化の原因になって ます。 log4j.properties中に定義されている「SNamesyste
2010年07月12日20:12 CentOS に Hadoop, Pig, Hive, HBase をインストール CentOS5.4 に Hadoop, Pig, Hive, HBase をインストールする備忘録です。まずは JDK をインストールします。JDK6 以上が必要です。 # http://java.sun.com/javase/ja/6/download.html から JDK6 をダウンロード sudo sh jdk-6u21-linux-i586-rpm.bin java -version # 1.6.0_21 次に、yum で簡単にインストールするために、リポジトリを追加します。これでインストールが格段に楽になりますね。 wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo sudo mv clo
最近挙動が不振だった手持ちのLinux Boxがとうとう逝ってしまわれた。 そういうわけで、VMWare なんぞに浮気してみた。 VMWareは現在、再生のみをサポートするVMWare Playerが無償公開されているが、いくつかのフリーソフトでVMの作成は出来てしまうので特に問題ないのである。 ただ、やってみるとこれが意外と色々なところで躓いてしまった。Web上には結構いろいろなサイトに情報が載っているのだが、殆どの記事がVMWare Player 公開直後に書かれたと思われる記事で、一部現状とあわないのである。 そういうわけで、全然目新しくもないVMWareのインストール記事を自分で書くことにしたわけ。 今回は以下の構成でインストールをおこなった。 HostOS: WindowsXP GuestOS: CentOS（Red Hat Enterprise Linux互換OS) Guest
livedoorポータルサイト等のインフラを担当している片野です。 今回は若干いまさら感がありますが、弊社にて運用している自作サーバをご紹介します。 （検証機以外は弊社内で組み立ててないので、正確には自作してないんですがｗ） ■背景 去年は特に自作サーバが盛り上がっていましたし、早い段階で「うちも作るか!」という展開はあったんですが、弊社では以下のような事情もあり、着手していませんでした。 ・自社データセンタでの運用なため、その他顧客と運用が大きく変わるようなサーバを投入すると運用が煩雑になる。 ・ポータルのサービスだけでも3000台近いサーバがあり、規模的にも運用に手がかかるサーバを入れるのは非現実的。 ・ボリュームメリットが出せるため、コスト面での自作メリットはそれほど大きくない。 ・そもそも自作で間に合う台数じゃないｗ （人的な）運用コストや調達コスト面ではあまりメリットがないのです
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
