MSync

MSyncって何?

下記特徴を持ったネットワークファイル共有ツールです。

ネットワークで接続された複数のホスト間で指定ディレクトリ内のファイルを共有出来る。
ファイルの共有は各ホストのローカルファイルを最新状態に同期する事により行う。オンライン状態が必要なのは同期する時のみで、共有ファイルへのアクセスはオンライン/オフラインに関係なく可能。モバイル環境でも使いやすい。
OpenSSHの機能を使ってユーザー認証と通信データの暗号化、必要に応じて通信データの圧縮を行う。ユーザー認証はパスワードと鍵交換の両方式が使えて、通信データは全て暗号化されるのでインターネット越しでも安全にファイル共有出来る。
サーバを立てる必要がない。
対応しているファイルの種類は通常ファイルとディレクトリ、シンボリックリンクのみで、デバイスファイルなど他の種類のファイルを含んだディレクトリの共有は出来ない。ハードリンクは個別の通常フィルとして扱う。 MSync管理下のディレクトリを含んだディレクトリも共有不可。
一般ユーザー権限でインストールと実行が可能^*1。
使い方は簡単。例えば共有先ホスト名が example.com の場合を例にすると、下記コマンド実行^*2でローカルホストのディレクトリ ~/MSync/ とリモートホストの同ディレクトリ内のファイルを共有出来る^*3。
$ msync example.com

動作環境

POSIXに準拠していてシステムコールlutimesが実装されている環境^*4ならば動作するはず。作者が動作確認出来ているのは Raspbian wheezy と OS X El Capitan、Debian GNU/Linux jessie です。
MSyncはRuby言語とC言語で書かれていて、ネットワーク接続にOpenSSHのsshもしくはrshコマンドを使います。なので、MSyncの実行にはRubyの実行環境とOpenSSHのsshかrshコマンドで共有先ホストにログインできる環境が必要で、インストールにはC言語とRuby拡張モジュールのビルド環境が必要になります^*5。

インストール

MSyncのインストールには動作環境が必要です。 OpenSSHでファイル共有先ホストへログインできる環境とRubyの実行環境、C言語とRuby拡張モジュールのビルド環境のインストールを先に済ませておいてください^*6。

MSyncのインストール手順は下記の通りです。共有元ホストと共有先ホストの両方にインストールが必要です。 wgetの代わりに下記リンクからダウンロードしても良いです。 viは他の使い慣れたテキストエディタを代わりに使っても問題ないです。

$ wget http://kobayasy.com/msync/msync-1.2.tar.gz # 不正改竄確認用チェックサムはここに置いてます
$ tar xzf msync-1.2.tar.gz
$ pushd msync-1.2
$ vi msync # 1行目のrubyコマンドパスを環境に合わせて修正
$ sh install.sh ~/bin # ~/bin の部分はインストール先ディレクトリを指定(省略時は ~/bin を指定した事になる)
$ popd
$ rm -r msync-1.2

C言語とRuby拡張モジュールのビルド環境はMSyncの実行には不要なので、MSyncのインストールが済めば削除^*7しても問題ないです。

使い方

下記コマンド実行で使い方の説明が表示されます。

$ msync --help

Usage: msync [-cvqn] [REMOTE:][USER@]HOST[/CONFIG[,CONFIG]...] ...
       msync --status [-q] [CONFIG[,CONFIG]...] ...
       msync --lock [CONFIG[,CONFIG]...] ...
       msync --unlock [CONFIG[,CONFIG]...] ...
       msync --version
       msync --help

REMOTE:USER@HOST/CONFIG
  HOST            hostname
  USER            username (default: current login user)
  CONFIG          configname (default: auto detect)
  REMOTE          remote shell, ssh or rsh (default: ssh)

subcommands:
  --status        print configs
  --lock          lock syncpath
  --unlock        unlock syncpath
  --version       print version number
  --help          show this help

options:
  -c, --compress  compression for data transfer
  -v, --verbose   increase verbosity
  -q, --quiet     suppress non-error messages
  -n, --dryrun    trial run without actually update files

下記コマンド実行でバージョン情報が表示されます。共有元と共有先で version が異なっても問題ないですが、protocol は一致していないと動作しません。

$ msync --version
msync version 1.2 (protocol msync7)

共有ディレクトリはconfignameで指定します。不正アクセスに対するセキュリティと操作ミスによる意図しないファイル消失を防ぐため、共有ディレクトリの直接指定は出来ないようになっています。

confignameに対応する共有ディレクトリは ~/.msync で登録されていて、配布状態ではconfignameのmsyncが共有ディレクトリ ~/MSync へ登録されているのみですが、複数登録可能でテキストエディタで追加/削除/編集が出来ます。共有ディレクトリ指定は先頭文字が / の場合は絶対パス指定、そうでない場合は ~ からの相対パス指定と解釈されます。共有ディレクトリ指定の後に () で囲んでオプション指定が出来ます。 # から行末まではコメントになります。共有ディレクトリは自動では作成されないので、中は空でも良いので前もって作っておく必要があります。

今の所オプションはexpireのみが指定可能で、過去の共有ファイル状態の記録を保持する期間を expire= に続けて日数単位で指定します。 expireは最長の同期間隔^*8以上を余裕を見て設定してください。デフォルトでは最長でも1年に1回は共有する物としてさらに余裕を見て400日に設定されています。現存するファイル状態はディレクトリから得られますが、削除されたファイルに付いては過去の記録が必要になります。それを保持するためのディスク容量と処理をするためのメモリ容量は無限ではないので、保持期間に制限を掛けています。

下記 ~/.msync の例だとconfignameのmsyncに共有ディレクトリ ~/MSync を登録して記録保持期間設定はデフォルトの400日に、docに ~/Public/Document を登録して保持期間を30日に設定しています。

# ~/.msync

#configname  syncpath         (option, ...)
msync        MSync
doc          Public/Document  (expire=30)

msyncコマンド実行の際、同じhostnameに対する複数のconfignameはまとめて指定可能です。

$ msync guest@example.com/public guest@example.com/private

は

$ msync guest@example.com/public,private

と同じ結果になりますが動作は異なります。上記はpublicとprivateのそれぞれの共有のために2度ネットワーク接続するのに対して、下記は1度の接続で両方の共有を済ませます。

usernameは共有先のユーザー名が共有元のログイン名と同じ場合は省略可能です。共有元ホストにユーザー名guestでログインしている状態ならば下記2つは同じ動作になります。

$ msync guest@example.com/public,private

$ msync example.com/public,private

confignameも省略可能で、省略した場合は共有元と共有先で共通のconfigname全てを指定した動作になります。例えば共有元で登録されている configname が prvate と public, work で共有先が private と work, doc だった場合 private と work を指定したことになり、例えば共有先ホスト名が example.com だった場合、下記2つは同じ動作になります。

$ msync example.com/public,work

$ msync example.com

変更履歴

Version 1.2.6 (23rd of December, 2017): ヘルプメッセージのCONFIGパラメータ説明に追記。
Version 1.2.5 (2nd of December, 2017): ファイル更新の瞬間をCtrl-C禁止にした。
Version 1.2.4 (14th of September, 2017): ファイル転送を高速化。
Version 1.2.3 (25th of August, 2017): サイズが4Gbyte以上のファイルの同期に失敗する問題を修正。
Version 1.2.2 (20th of August, 2017): 同期対象にサイズが4Gbyte以上のファイルが含まれていた場合、同期動作をしない処理を追加。大きなサイズのファイルを扱えない問題が見つかり、その一時対策。
Version 1.2.1 (6th of July, 2017): ファイル名の変更が把握し辛かったので、同期情報表示順序を追加、更新、削除から削除、追加、更新へ変更。
Version 1.2 (22nd of January, 2017): confignameを省略可能に修正。省略した場合共有元と共有先で共通のconfigname全てを指定した動作になる。
Version 1.1.4 (12th of January, 2017): サブコマンド --list を --status に変更。
Version 1.1.3 (3rd of December, 2016): ファイル名の大文字小文字を区別しないファイルシステムに対応。サブコマンド --list の表示フォーマットを修正。
Version 1.1.2 (25th of November, 2016): ステータス表示を変更。表示タイミングを同期完了後から同期開始前に変更。 -v オプション指定時に表示される added, updated, deleted を A, U, D に変更。
Version 1.1.1 (14th of November, 2016): 同期ディレクトリの禁止/許可とその状態を表示するサブコマンドを追加。
Version 1.1 (25th of October, 2016): protocol バージョンを msync5 から msync6 に変更。 Version 1.0.2 でプロトコルに変化があったのにバージョンを上げ忘れていた。
Version 1.0.2 (22nd of October, 2016): -v オプションの表示内容を、「実行中の処理」から「実行結果」へと変更。
Version 1.0.1 (6th of July, 2016): rshにも対応。 sshとrsh接続時にワーニングが発生した場合も処理を続行する様に修正(エラー発生時は従来通り処理を中断する)。
Version 1.0 (6th of May, 2016): 正式公開開始。 Version 0.5.2 からバージョン番号以外は変更無し。
Version 0.5.2 (29th of April, 2016): コマンドパラメータのHOSTとCONFIGのデリミタ文字を : から / へ変更。 : は今後もしOpenSSH以外のネットワーク接続方式も選択出来るように機能追加された場合にURIスキームのデリミタに使う。
Version 0.5.1 (20th of April, 2016): 共有先ホスト名間違い等で内部でsshの実行エラーが発生した場合、何も表示せず終了していたのを表示するように修正。
Version 0.5 (18th of April, 2016): 限定公開版。
Version 0.0 〜 0.4 (April, 2014 〜 April, 2016): テスト版。未公開。

ライセンス

本ツールの正式名称は頭2文字が大文字でそれ以降が小文字表記の MSync です。オリジナル配布元は http://kobayasy.com/msync/ になります。

この文章を含めMSyncの配布ファイルは下記ライセンスの元、使用と再配布を許可します。

Copyright (c) 2014-2016 by Yuichi Kobayashi <kobayasy@kobayasy.com>

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

その他

その他、作者のメモとか、どうでも良い事とか、実は大事な事とか... いろいろ思い付いたらここに追記。

ファイルの同期ってのがちゃんと伝わってるか心配なんだけど、MSyncを作ろうと思ったきかけは、DropboxのARM用のバイナリがリリースされておらず Raspberry Pi で動かなかった事なんですよね。なので、Dropbox見たいな物だと思ってもらえば大体合ってます。 Dropboxと違うのは、専用のサーバが不要な事と、ファイルの追加/削除/変更が即反映されるのではなくmsyncコマンドを実行したタイミングに更新されるって所です。
初期の頃はOpenSSHのポートフォワーディングを使ったTCP接続のクライアントサーバモデルで作ってたんだけど、よくよく考えてみるとsshでログインした時点で既に標準入出力とエラー出力の回線が開いている事に気が付いて、途中からポートフォワーディングを使うのを止めて、標準入出力の組をファイル同期に使って、その制御に標準入力とエラー出力の組を使うように変更した。
仕事上、組み込みシステム上でも動かしたいので、可能な限りRubyの標準添付のライブラリのみで動作するように設計してます。先人が作ってくれたインターネット上に転がっている拡張ライブラリを上手く利用すると簡単に作れる部分も有ったんだけど、それらは物によってはインストールが大変だったり現状簡単でもその作者次第で今後どうなるか解らないので、どうしても標準機能で足りない部分は自作しました。 C言語で書いてる部分がそれです。
時間が経つと忘れそうなので作者のメモを兼ねて、ソースコードを触りたい人向け情報。プロトコルは下記の通り。 ↓ 制御動作時と、

↓ 同期動作時。 remote stdin は制御動作時と同期動作時とでは違う用途で使われるので排他制御が必要。

ファイル同期のアルゴリズムは下記。

これだけでは、既に存在しないファイルの削除日時をどうやって得てるか? など、不明点がいっぱいだと思うけど、その辺はオープンソースなんだしソースコードを見て欲しい。
MSyncの名称はその「手段」と「目的」の "Merge" と "Synchronize" から来ています。ファイルの共有タイミングがmsyncコマンドの実行タイミングであってファイルの更新タイミングではないので、「目的」は "Synchronize" よりも "Share" の方がそれっぽいんだけど、mshareだとキーボード配置的に入力しづらいので没になりました。
ユーザ認証のパスワード自動入力に sshpass コマンドが使えます。例えばパスワードが "password" の場合だと、↓こんな感じで、
$ sshpass -p password msync example.com/msync