単にrsyncで差分バックアップするという話です。 2012年ごろに見つけた方法を引っ張り出して話します。 が、私がお世話になっている方法がググってもあまりメジャーじゃなかったので紹介させてください。 コマンド自体はここにあったものです http://www.maruko2.com/mw/rsync_%E3%81%A7%E3%83%87%E3%82%A3%E3%83%AC%E3%82%AF%E3%83%88%E3%83%AA%E3%81%AE%E5%90%8C%E6%9C%9F%EF%BC%88%E3%83%90%E3%83%83%E3%82%AF%E3%82%A2%E3%83%83%E3%83%97%EF%BC%89Read less
Incremental Journaling Backup Utility and Archiver zpaq is a free and open source incremental, journaling command-line archiver for Windows, Linux and Mac OS/X. Incremental means that when you back up your hard drive, for example: zpaq add e:\backup.zpaq c:\* then only those files whose last-modified date or size has changed since the previous backup are added. For 100 GB of files, this typically
よい機会なのでまとめておく。対象はMySQL5.6以下とMariaDB10.0以下。 (2014.12.3追記：以下の書籍にも記述した。) 要旨 MySQL/MariaDBのバックアップについて、相変わらず「InnoDBさえ使っていれば、FLUSH TABLES WITH READ LOCKは不要。よってバックアップ中に更新不可になることはない！」との主張が繰り返されているが、少なくとも5.6/10.0まではそんなことはない。 オンラインバックアップに関するロックの正確な記述 より正確に言えば「全データベース領域をバックアップする場合には、FLUSH TABLES WITH READ LOCKは必須。特定のInnoDBだけのデータベースやテーブルをバックアップする際は、この限りではない」。 なのだが、全領域のバックアップをしたい人に対してロック不要説を吹き込む人が未だにいる。 ロックの必要
node.jsでS3にバックアップを送り続けるコードを書いてみた話。Node s3maの紹介-jawsugさいたま
README.md BAD - BAckup Daemon BAD is a backup daemon that runs in the background and watches a directory for events. When a new file or directory is copied into the watch directory it is hashed and automagically copied to the backup directory. Pretty cool, right? Dependencies BAD uses inotify to get filesystem level events. Linux Kernel version 2.6.13 or later. Compile Either clone the repo using
皆様におかれましては、WEB+DB PRESSの最新号のRedis特集は既にご覧頂いたかと存じます。 弊社では1年ほど前から広告配信に関する様々な部分でRedisを使っています。まだ2.4系なので、2.6の新機能とか新鮮でした。 本番環境でRedisを運用する上で、強く訴えたい注意点は「RDBが壊れることがある」ということです。 「RDBがあるからインスタンスが落ちても平気だぜ」とか思ってると、RDBが壊れてリストア失敗→データ消失ということになりかねません。ファイルにdumpされるからと安心していると痛い目に遭うかも知れません。 （2013/02/27追記）今のところ壊れたのはハード障害が怪しい場面のみです。「RDB壊れるとかRedis使えねー」とかそういう話ではまったくありません。誤解無きよう。壊れる時はRedisじゃなくても壊れます。自分のユースケースではTokyo Cabinet/
「RedisかわいいよRedis」(by typester)……というほど自分は Redis 期でもないのですが、最近 Redis を使ったサービスの面倒を見ていて時々レスポンスが悪化する現象に出会ったので調べました。 前提 使用しているのは Redis 2.4.16 です。 redis.conf に "save [t] [n]" を定義すると、最後に save をしてから [t]秒間に [n]個以上の key が更新された場合に background で save (=bgsave) が実行されます。 save 60 10000これだと、60秒間に 10,000 keys です。 bgsave では redisは自分自身のプロセスを fork() し、子プロセス側は自分のメモリに乗っている内容をファイルにすべて書き出します。 この仕組みによって、1プロセス 1スレッドで動作している re
MySQLで整合性のあるバックアップを取得するのに、 "FLUSH TABLES WITH READ LOCK"でテーブルロック バックアップ処理(mysqldumpやスナップショット) "UNLOCK TABLES"でロック解除 みたいなスクリプトを実行していたが、"FLUSH TABLES WITH READ LOCK"って必ず数ミリ秒みたいなレベルでロックできるのかなと疑問に思った。 結構時間のかかるクエリが処理されていたりすると、すぐにロックできないんではないかと思った。 ちょっと調べてみると、やはりすぐにロックされない可能性もあるようだ。*1 FLUSH TABLES WITH READ LOCKの速度について ということで、"FLUSH TABLES WITH READ LOCK"後に、以下のような確認処理を追加した。 "SHOW PROCESSLIST"を実行して、"FLUS
分散 SCM とはいえ、バックアップはあるとうれしいものです。git のリモートリポジトリが破損した場合などに復元元を探すために、誰が持っているのが最新のリビジョンで、、というような作業が発生することは避けたいからです。 git のリモートリポジトリから別のサーバにバックアップを作成するのは、hooks を利用することで簡単に設定できます。例えば、対象となるリポジトリの post-receive で下記のようなコマンドを設定しておくとできます。 バックアップ先のサーバ:ディレクトリは targethost.example.jp:/var/lib/git バックアップのための SSH 接続で利用するユーザは syncuser gitosis ユーザは syncuser 権限で git コマンドが利用出来るように visudo を設定 #!/bin/sh ##### # hooks/post-
robocopyコマンドとは 2つのフォルダの内容を同期させ、ファイルやフォルダの内容を同じ状態に保つ機能は、ファイルサーバのバックアップや個人的なデータのバックアップ、リモートオフィス同士でのデータの同期など、システム管理のさまざまな場面で利用される。 このような用途に利用できるコマンドとして、Windows OSにはcopyやxcopyコマンドが標準装備されている。 フォルダの同期に利用できる標準装備のツールとしては、この他にも「robocopy.exe」というコマンドラインツールがある。 robocopyは、もともとはリモートのファイルサーバ同士でファイルやフォルダ、ユーザープロファイルデータなどを同期させるために作られたコマンドである。その名前は「Robust File Copy」の略であり、堅固（robust）で確実なファイルコピーという意味を持つ。具体的な機能の例を以下に記す。
1. AWSマイスターシリーズ “Reloaded” AWS Storage Gateway 2012 2月8日 エバンジェリスト 玉川 憲 (@KenTamagawa ) ソリューションアーキテクト 松尾 康博 (@understeer) 2. Webセミナー ほぼ週刊AWSマイスターシリーズ Reloaded! ほぼ週刊AWSマイスターシリーズ 1/30 IAM & Consolidated Billing 2/6 AWS Direct Connect 2/8 AWS Storage Gateway 3/12 HPC 申し込みサイト http://aws.amazon.com/jp/event_schedule/ http://aws.amazon.com/jp/aws-meister/
先日の #jawsug 福岡の会で、 https://twitter.com/#!/kaz_goto/status/167571575296634881 へーほーふー、知らなかったわーと思ってEBSのスナップショットだけにフォーカスして見ました。 記事 Amazon Elastic Block Store (EBS)->日本語 by AWS Feature Guide: Elastic Block Store ->英語 by AWS Amazon's Elastic Block Store explained ->英語 by RightScale About Elastic Block Store (EBS) ->英語 by RightScale 今更感なEBSの機能おさらい☆ 外付け出来るブロックストレージ 1Gから1Tまでのストレージ領域を作成出来る 同じアベーラビリティゾーン内のイン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![GitHub - seedifferently/boto_rsync: An rsync-like utility using boto's S3 and Google Storage interfaces. [DEPRECATED -- Use awscli instead]](https://cdn-ak-scissors.b.st-hatena.com/image/square/401a2b4fd5894f675246e7e215e7d75bd7321cb8/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fopengraph.githubassets.com%2Fb83de6821863fef5db1c9866effe8bc4aa75a926605b937bc098bfc1710696a7%2Fseedifferently%2Fboto_rsync)
