300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。
300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。
平成３１年３月４日（月）１４時をもちまして、本Webサイトは運用を停止しました。今後、本Webサイトから一切の情報提供はいたしません。 地理院地図は、https://maps.gsi.go.jp/で引き続きご利用可能ですので、リンクやブックマークの変更をお願いします。 旧電子国土Webを参考にサイトを作成された方は、下記のページの情報を参考に、必要なファイルをご自分のサーバにコピーしてそちらを参照するように変更するなどのご検討をお願いします。 旧電子国土Webドメイン「cyberjapan.jp」運用停止のお知らせ 平成３１年３月４日（月）１４時をもちまして、本Webサイトは閉鎖いたしましたが、本サイトで使用していたドメイン（cyberjapan.jp）は、しばらくの間、国土地理院で所有いたします。
最近はあまり技術的な仕事をしていないんですが、実は私は元々DBエンジニアです。 OがつくDBとか、PがつくDBとか、mがつくDBとかをいじくって、クエリを書いたり、テーブルの設計をしたり、パフォーマンスのボトルネックをあれこれ調べて解消したり、INDEXヒントを総とっかえして頑迷なオプティマイザをぶん殴ったりすることが主なお仕事でした。今でもたまーにそういうことをします。 同業の方であればお分かりかと思うんですが、DBのパフォーマンスは凄く唐突に、かつ多くの場合極端に落ちます。そして、DBのパフォーマンスが落ちると物凄く広範囲に影響が及びます。 アプリケーションサーバ、重くなります。クライアント、ろくに動かなくなります。お客様、切れます。カスタマーサポートにはわんさか電話がかかってきます。 ただ「遅くなる」だけでも十分に影響は甚大なのですが、それ以上のトラブルが発生するとまあエラいこっちゃ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、インフラを担当しています鈴木秀典です。 入社以来、数年に渡ってオークション、ショッピングなどのサービス開発、運用を担当していましたが、昨年インフラ部門に移り、今はヤフー全体のシステム監視、可視化をはじめ、オペレーションエンジニアが抱える共通的な課題の解決につとめています。 このたび、障害時の電話連絡を自動で行うシステムを構築したので、ご紹介したいと思います。 休祝日や夜間などに、営業部門からシステム担当者に連絡を取る際、なかなか担当者をつかまえられなかったり、大きなサービスの場合は、担当者を一発で引き当てられず連絡に時間をかけてしまうことがありました。 連絡を受けるシステム担当者の立場からは、少し遅れて連絡が入っていた
絨毯爆撃pushの例 いまmasterブランチに、未プッシュのコミットがあるとします。 ここで、新たにbr1ブランチを作ってチェックアウトします。 $ git checkout -b br1 master $ git branch * br1 master br1ブランチでコミットを作ります。 echo hello >> hello.txt git add . git ci -m "add file" 引数なしでプッシュします。 git push すると、どこに何がpushされると思いますか？ 実は、master -> masterにpushされます。 masterがまだpushできる状態でない場合、これはかなり痛い。すごく痛い。頭が頭痛でおなかが腹痛。 しかもpushしたかった当のbr1ブランチはpushされないというオチ。(リモートにbr1ブランチがない限りは) この挙動は大半のユーザ
必殺！Github導入に向けて上司を説得する時に使える資料まとめ - DQNEO起業日記 でペパボも取り上げて頂いたので、ペパボでの GitHub の使い方について、少し詳しく書いてみます。 開発での利用 これは普通の使い方ですね。なので省略。 GitHub Enterprise は利用していない 金額的な面で GitHub Enterprise の利用は厳しいため、GitHub Enterprise ではなく、ノーマル（？）な GitHub を利用しています。（GitHub Enterprise にすると、現在のコストの 8 〜 9 倍ぐらいになってしまう。） ここはセキュリティ面とのバランスが難しいところではありますが… とはいえ、GitHub に何かあってソースコードが流出した場合に影響の大きさが懸念されるサービスについては、GitHub を利用しない、といった判断もしています。（で
(タイトルは釣りです) いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06-13 00:01:17 via YoruFukurou とつぶやいてしまったのですが、では出力を捨てないためにはどうすればいいのか。現時点での個人的ベストプラクティスを書き留めておきます。 デフォルト : メールで送る (MAILTO) せっかく cron daemon がログを捨てないためにわざわざメールで送ってくれるのに、それを > /dev/null で踏みにじるとはひどい。 とはいえ、
4月11日から米サンタクララで行われた「MySQL Conference & Expo 2011」。このイベントでDeNAの松信嘉範（まつのぶよしのり）氏が、同社の大規模なMySQLの運用を支えている技術とツールについてのセッション「Automated, Non-Stop MySQL Operations and Failover」を行いました。 プレゼンテーションの中で、社内で利用しているフェイルオーバーの自動化ツールをオープンソース化することにも触れています（英語のドキュメントも作成中とのこと）。 MySQLの大規模運用における自動フェイルオーバーは、特にクラウドでのMySQLの利用が増えるにつれてニーズが高まる分野と思われます。セッションのスライドが公開されていますので、そのポイントを紹介していきます。 自動化されたノンストップなMySQLの運用 ソーシャルゲームでは高可用性が強く求
こんにちは、櫛井です。 ライブドアの開発部ではエンジニアを対象にフレックス制度を導入しており 11:00〜16:00がコアタイムとなっています。そして、先週から新たに 「ノーエンジニアデー」というのを導入してみたところ、なかなかうまく いっているようなのでご紹介したいと思います。 ※試験的な導入のため今後も続けるかは現時点では未定です 内容としては、毎週水曜は自宅作業を推奨しコアタイムの間は いつでも連絡つくようにPCの前にいることが条件で、必要があれば 都度出社してくださいという運用です。節電対策というのもありますが 夏に向けて計画停電があるかも知れないため、その予行練習も兼ねています。 いつもは沢山のエンジニアがいる開発部ですが、水曜はこうなります。 わりとスカーン！としていて、CTOだけがポッツーン！ 「人がいないところの電灯ついてるじゃん！」というツッコミがありそうですが 省電力な
はじめまして、樋口と申します。 先日のDeNA Technology Seminar #2でお話させていただきました HandlerSocket Plugin for MySQL のソースコードを公開しました。 HandlerSocketとは？ 簡単に言うと、MySQLデータベースへのアクセスを高速化するためのプラグインです。MySQLのSQLパーザをすっ飛ばし、ネットワーク通信とマルチスレッド処理周辺を置き換えることによって、InnoDB等のデータベースエンジンの性能を限界まで引き出します。 このHandlerSocketですが、すでにモバゲータウンにて実際に運用しています。従来MySQLとmemcachedの構成で運用していた箇所を、HanderSocketを組み込んだMySQLだけの構成に置き換えました。その結果、MySQLサーバの負荷軽減、memcachedの負荷軽減、ネットワーク
memcachedを安全に運用するポイント 2010年8月10日のスラッシュドット・ジャパンにて「Memcached に潜むセキュリティホール」としてmemcachedの脆弱性に関する記事が上げられました。記事の内容をまとめると以下の2点となります。 bit.ly や Globworld、Gowalla といったサイトではインターネットから memcached へのアクセスが可能であった アクセスしたmemcached上にユーザーのログイン ID / パスワードが格納されており参照可能だった http://slashdot.jp/security/article.pl?sid=10/08/10/0052240 ここには2つの問題があったと考えます。1つ目はmemcachedをインターネットから接続可能な状態で設置してしまったこと、もう1つはキャッシュ上に置かれている必要はなさそうなパスワー
Neal Sato @nealsato 二日とも複数台のmemcachedが連続して落ちました。コアは吐かずにストンと落ちるので、原因追及に時間がかかりましたが、memcachedへの接続数が異常に多いと落ちる事は再現できました。 #mixi 2010-08-12 02:33:00 Neal Sato @nealsato memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 2010-08-12 08:45:50 Masahiro Nagano / 長野雅広 @kazeburo ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60とし
こんにちは！なっちゃんです。……フランクな挨拶で恐縮ですが、ブログビジネス部のディレクターで livedoor Blogの公式 Twitter のキャラクター「なっちゃん」として、日々のつぶやきを担当しています。 ライブドアにある面白いブログをより多くの人に知ってもらいたいという思いでつぶやき始めました。まだ私が担当して 2 ヶ月足らずですが、利用しているツールや気づいた点など運用についてご紹介させていただきたいと思います。 運用前にしておいたこと 公式 Twitter なので運用を始める前に色々な設定を決めました。 つぶやくキャラクターの設定私がつぶやき担当の「AD (アシスタントディレクター) なっちゃん」として、普段の自分のキャラクターでつぶやくことに決めました。また、親近感を持ってもらえるよう自分のイメージに合うイラストを描いてもらいました (イラスト: @vesper氏)。ちなみ
Twitterで、この記事に関して、次々と呟かれ、リンクも張られ、正直反響の大きさにびっくりしました。 この記事を色々な形で受け止めている人がいてびっくりしました。 私は、SoftBankやApple等の一企業を陥れるつもりでこの記事を書いたのではありません。 SoftBankやAppleがこれを読んで、多少でも改善を検討してくれれば良いなというのと、もし私と同じことに遭遇した人がいたら、泣き寝入りせずにちゃんと主張して欲しいと思ったからです。 つぶやきの中に「孫さんに@で訴えた方が良いのでは？」というのが何件か有りましたし、このURLを付けて、孫さんに@で色々と意見を言っている人もいました。 私は、当事者として孫さんには言いたいことは言って、その後SoftBankのサポートアカウントの方から連絡が来ました。 その顛末もけっして満足のいく内容ではありませんでしたが、もうそれに関しては書きま
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T
国盗り開発チームでございます。 先日、国盗りがiPhone + 3G回線で使えるようになったのですが、 iPhone + 3G回線は、*.panda-world.ne.jpでアクセスしてくるとはわかるものの このpanda-world.ne.jpのIPの範囲が公開されていないようです。 毎回逆引きするのもサーバー負荷がかかりますので、他の３キャリア(ソフトバンクさん含む)のようにIPアドレスの範囲で、指定するのが一番いいのですがインターネットを探しても おそらく 126.240.0.0/12 では？ ということが結論のようです。 最近まで国盗りもそのアドレスで運用しており...特に問題ない感じだったのですが、 先日ユーザーさんのほうから3G回線でもつながらなくなって困っていますというお問い合わせ。 調べてみるとこの範囲ではないものの、確かにpanda-world.ne.jpで逆引きさ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
