[管理人さんのサイト開発・運用報告+αの書]
rsync > リモートサーバー側の負荷を抑えてrsyncを実行する方法
[携帯版(QRコード)] 総閲覧回数:1,414,620回 / 日記拍手:373

連絡は私書チャット、DB外ユーザの方ならメールTwitterMixiFacebookで可能です

アクセス記録[推移 / PV内訳(過去1日 / 過去1週間) / 外部アクセス元 (昨日 / 過去1週間) / ログイン論客足跡]
プロフィール私書(メール)
//送済
評価(一覧/)
投票/共:/
ファン登録
OP/ED
DB構築()
書き物
[書く]
攻略記事リンク集
My Play List

RSS購読
RSS
日記表示スタイル
リスト/携帯(QRコード)
画像/動画/音声/リンク
表示開始年月
日記内検索

分類
日記の主な内容
サイト運営/開発
検索エンジン情報
・技術ネタ(Berkeley DB,
Linux, Perl, サイト作成)等

自分その他
My English Blog
Twitter
皆声ブログランク

サイト管理
全まとめ
サーバー管理
定期処理状況
開発予定
削除提案
作品追加依頼
OP/ED追加依頼
OP/ED not found
作品提案承認欄

格言 fromスクライド

この世の理は即ち速さ
20年かければ馬鹿でも
傑作小説を書ける

助けられたら助け返す
それが俺のルール

強くなるには
一番弱い考えをする事だ
そしてその考えに反逆する



チャット>開発/運用/質問


重要タスクメモ
・StatNumDBのリリース
・CGI::Accessupの公開
・lib1stclassの公開
・libbdbwrapperの公開
・ユーザ数上限問題対応
・ディスクフル問題対応
・文字サイズの可変化
・デザインCSS化
・HTML標準の適用
・バックアップの多段化
・ログインのセッション化
・暗号化推進
・シリーズ化対応
・ソーシャル対応推進
[貰ったコメント数] [送信コメント数]
<=新記事2009/09/24 Digg::死刑囚: 日本のやり方は「冷酷で、非人道的で、下劣だ」という海外での注目記事
=>古記事2009/09/23 バックアップ::自宅でのバックアップ体制の構築

1. 2009/09/23 同日2番目 Linux > rsync > リモートサーバー側の負荷を抑えてrsyncを実行する方法」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラックバック送信 / 共有分類に追加(タグ付け)]拍手:1個

リモートサーバーからローカルにrsyncする時に普通に動かしてしまうと、rsyncはベストエフォートで動作する&元々負荷が高い処理なのでリモートサーバーに大きな負担がかかります。
リモートサーバーがオンラインで使われているサーバーの場合、支障が生じてしまいます。
そうした負荷を制御する為には、以下のようなオプションが有効です。

コマンド例:
rsync --bwlimit=1024 --rsync-path="ionice -c2 -n7 nice -n19 rsync" -ave "ssh -c arcfour" USER@REMOTE_SERVER:RMOTE_DIR LOCAL_DIR

1. -bwlimit = ○kbytes/sec に転送時の帯域上限を抑え、ネットワーク領域の消費を制御
2. --rsync_path = リモートサーバーで指定したパスでrsyncを実行する。「ionice -c2 -n7 nice -n19」を付けることで、プロセスのCPU/HDDの実行優先度を下げて、妨げが最小限になるようにする
3. -carcfour = sshの暗号方式を負荷が低いものに変えることでCPUの負荷を抑える

ちなみに、バックアップ先のサーバーの動作を邪魔しないという意味では、2.が一番効果は高かった。

あとは基本ですが、バックアップを本サーバーの負荷が低い時間に走らせることも重要。
ウェブサーバーの場合には3時以降が訪問数が最小になるので一般的には良いです。

[上記コマンド実行の為の過去関連記事]
Linux > rsync > 使い方
Linux > ノウハウ > ioniceとnice
Linux > セキュリティ > ssh, scp, sftpを使う
Linux > セキュリティ > scpの暗号・圧縮オプションの使い分け(arcfour等)
その他技術系 > バックアップ > 自宅でのバックアップ体制の構築

[コメントする(論客以外もコメント可能記事)/1個
ブックマークBuzzurlFc2HatenaNiftyYahoo
皆声まとめ

[他の記事も読む]
<=新記事2009/09/24 Digg::死刑囚: 日本のやり方は「冷酷で、非人道的で、下劣だ」という海外での注目記事
=>古記事2009/09/23 バックアップ::自宅でのバックアップ体制の構築

この論客の大分類が「Linux」の記事
この論客の記事全て
他論客の記事を含んだ新着日記記事一覧
作品DBのトップに戻る


初めて来てくれた方へ

折角なのでトップページからどんなサービスを提供しているのか色々見ていって下さい。
作品DB
OP/ED/PV DB
最速一括検索
皆声.jp
等、色々便利なサービスを提供しています。

連絡は私書チャット、DB外ユーザの方ならメールTwitterMixiFacebookで可能です


[DBトップ:フレーム無/フレーム版] [携帯版] [サイトマップ] [開発:ブログ/Twitter] | (c)1999- 1st Class(サービス:最速一括検索/皆声.jp/作品DB/)