'\" t
.\"     Title: gfprep
.\"    Author: [FIXME: author] [see http://www.docbook.org/tdg5/en/html/author]
.\" Generator: DocBook XSL Stylesheets vsnapshot <http://docbook.sf.net/>
.\"      Date: 14 Jan 2017
.\"    Manual: Gfarm
.\"    Source: Gfarm
.\"  Language: English
.\"
.TH "GFPREP" "1" "14 Jan 2017" "Gfarm" "Gfarm"
.\" -----------------------------------------------------------------
.\" * Define some portability stuff
.\" -----------------------------------------------------------------
.\" ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.\" http://bugs.debian.org/507673
.\" http://lists.gnu.org/archive/html/groff/2009-02/msg00013.html
.\" ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.ie \n(.g .ds Aq \(aq
.el       .ds Aq '
.\" -----------------------------------------------------------------
.\" * set default formatting
.\" -----------------------------------------------------------------
.\" disable hyphenation
.nh
.\" disable justification (adjust text to left margin only)
.ad l
.\" -----------------------------------------------------------------
.\" * MAIN CONTENT STARTS HERE *
.\" -----------------------------------------------------------------
.SH "NAME"
gfprep \- ファイルの複製を並列に作成する
.SH "SYNOPSIS"
.HP \w'\fBgfprep\fR\ 'u
\fBgfprep\fR [\-nqvdpPBU] [\-X\ \fIregexp\fR] [\-S\ \fIsource\-domainname\fR] [\-h\ \fIsource\-hostfile\fR] [\-D\ \fIdestination\-domainname\fR] [\-H\ \fIdestination\-hostfile\fR] [\-j\ \fInum\-of\-processes\fR] [\-J\ \fInum\-of\-processes\fR] [\-M\ \fItotal\-byte\fR] [\-z\ \fIminimum\-byte\fR] [\-Z\ \fImaximum\-byte\fR] [\-w\ \fIway\-of\-scheduling\fR] [\-W\ \fIkilobytes\-for\-threshold\fR] [\-s\ \fIKB/s\-to\-simulate\fR] [\-F\ \fInum\-for\-readahead\fR] [\-I\ \fIsec\-to\-update\fR] [\-mx] [\-N\ \fInum\-of\-replicas\fR] \fIpath\fR
.SH "DESCRIPTION"
.PP
\fBgfprep\fR
は、ファイルの複製を並列に作成します。
.PP
\fIpath\fR
がディレクトリの場合、 その下にあるすべてのファイルに対する複製を 作成します。
.PP
\fIpath\fR
には、 Gfarm URL または gfarm2fs 上のパスを指定できます。
.PP
作成先のホスト群を指定することにより、ファイルの複製を作成するホストを 指定することができます。ホスト群は、ドメイン名か、ホスト名を行ごとに記 述したホストファイルで指定します。ドメイン名とホストファイルを両方指定 した場合は、両方の条件に合うホスト群が選ばれます。また、作成元のホスト 群も指定可能です。その場合、そのホスト群に存在するファイルのみ複製が作 成されます。
.PP
\fBgfprep\fRは、なるべく複製を作成中ではないホストを選択してファイル複製を作 成します。作成元や作成先 1 ホストあたりの最大並列転送数は、ホストごと の CPU数です。 CPU 数については、\fBgfhost\fR
コマンドのマニュアルを参照して ください。
.PP
\fBgfprep\fR
は、ディレクトリを辿る際に、 ディレクトリエントリ情報も並列に取 得します。
.SH "GFPREP OPTIONS"
.PP
以下は
\fBgfprep\fR
専用のオプションです。
.PP
\fB\-N\fR \fInum\-of\-replicas\fR
.RS 4
ファイル複製数を指定します。 作成先のホスト群に十分な数の複製が存 在する場合、複製作成も複製削除も、どちらもしません。
.sp
このオプションを指定しない場合は、\-N 1 を指定したことになります。
.RE
.PP
\fB\-x\fR
.RS 4
\-N オプションで指定された数よりも多くのファイル複製が作成先のホス ト群に存在する場合は、余分なファイル複製を削除します。
.RE
.PP
\fB\-m\fR
.RS 4
作成元から作成先にファイルの複製を移動します。 \-mm のように 2 回指 定すると、作成元のファイルの複製を削除しません。
.sp
\-S, \-h, \-D, \-H のいずれかのオプションが必要です。
.sp
このオプションと \-N オプションは、どちらか一方を使用できます。
.RE
.SH "COMMON OPTIONS"
.PP
\fBgfprep\fR
と
\fBgfpcopy\fR
には、 共通で利用できるオプションがあります。
.PP
\fB\-X\fR \fIregexp\fR
.RS 4
\fIregexp\fRで指定した正規表現による パターンと一致するパス名を無視しま す。 複数個のパターンを指定する場合は、\-X オプションを複数回指定し ます。
.RE
.PP
\fB\-S\fR \fIsource\-domainname\fR
.RS 4
指定されたドメイン名に格納されているファイルだけを複製作成、コピー の対象にします。
.RE
.PP
\fB\-h\fR \fIsource\-hostfile\fR
.RS 4
指定されたホストファイルのホストに格納されているファイルだけを複 製作成、コピーの対象にします。ホストファイルには、ホストを一行ず つ記述します。
.sp
``\-\*(Aq\*(Aq を指定すると、ホスト名のリストを標準入力から読み込みます。
.RE
.PP
\fB\-L\fR
.RS 4
\-S または \-h で指定したホストから複製、コピーを作成します。
.RE
.PP
\fB\-D\fR \fIdestination\-domainname\fR
.RS 4
指定されたドメイン名のホストに複製、コピーを作成します。
.sp
このオプションも \-H オプションも指定しない場合、利用可能な全ホスト を対象に複製、コピーを作成します。
.RE
.PP
\fB\-H\fR \fIdestination\-hostfile\fR
.RS 4
指定されたホストファイルのホストに複製、コピーを作成します。ホスト ファイルには、ホストを一行ずつ記述します。
.sp
``\-\*(Aq\*(Aq を指定すると、ホスト名のリストを標準入力から読み込みます。
.RE
.PP
\fB\-j\fR \fInum\-of\-processes\fR
.RS 4
同時に複製作成やコピーをする際の最大並列数を指定します。
.sp
デフォルト値は gfarm2\&.conf の client_parallel_copy パラメータです。 最大値は gfarm2\&.conf の client_parallel_max パラメータです。 詳細 は gfarm2\&.conf のマニュアルを参照してください。
.sp
作成元または作成先のホストごとの最大並列数は、CPU 数です。 CPU 数 については、\fBgfhost\fR
のマニュアルを 参照してください。
.RE
.PP
\fB\-J\fR \fInum\-of\-processes\fR
.RS 4
並列にディレクトリを辿るための並列数を指定します。
.sp
デフォルト値は 8 です。
.RE
.PP
\fB\-M\fR \fItotal\-byte\fR
.RS 4
ファイル複製、またはコピーするファイルの合計のバイト数を指定します。 あるホストに格納されているファイルの容量を、指定バイト数移動して減 らしたいときなどに便利です。
.sp
デフォルトでは制限しません。
.RE
.PP
\fB\-z\fR \fIminimum\-byte\fR
.RS 4
ファイル複製、またはコピーするファイルの最低サイズをバイト単位 で指定します。小さいファイルはファイル複製やコピーの対象外とし たいときに便利です。
.sp
デフォルトでは制限しません。
.RE
.PP
\fB\-Z\fR \fImaximum\-byte\fR
.RS 4
ファイル複製、またはコピーするファイルの最大サイズをバイト単位 で指定します。大きいファイルはファイル複製やコピーの対象外とし たいときに便利です。
.sp
デフォルトでは制限しません。
.RE
.PP
\fB\-w\fR \fIway\-of\-scheduling\fR
.RS 4
スケジューリング方法を指定します。 noplan にすると、ファイルを 見つけながら、複製作成またはコピーします。 greedy にすると、複 製作成やコピーする前に、貪欲法によってスケジューリングします。
.sp
デフォルトは noplan です。
.sp
greedy にすると、\-N や \-m オプションを使用することができません。
.RE
.PP
\fB\-W\fR \fIkibibytes\fR
.RS 4
各 Connection のコスト(合計ファイルサイズ)を平均とみなすまでの 閾値をキビバイトで指定します。Connection とは、子プロセスごとに ファイルを割り当てるための、計画情報です。
.sp
\-w greedy オプションを使用した場合のみ効果があります。
.sp
デフォルトは 50 * 1024 キビバイト (50 メビバイト) です。
.RE
.PP
\fB\-I\fR \fIsec\-to\-update\fR
.RS 4
各ホストのロードアベレージやディスクの空き容量を定期的に取得する 間隔を秒単位で指定します。
.sp
デフォルトは 300 秒です。
.RE
.PP
\fB\-B\fR
.RS 4
高負荷なホストも作成先の対象にします。
.sp
デフォルトでは高負荷なホストを作成先の対象にしません。そのため、 すべてのホストが高負荷の場合はファイル複製、コピーは行われません。
.sp
高負荷なホストとは、(ロードアベレージ / CPU 数) が gfarm2\&.conf の schedule_busy_load_thresh よりも高いホストです。 schedule_busy_load_thresh のデフォルト値は gfarm2\&.conf のマニュ アルを参照してください。 CPU 数については gfhost のマニュアルを 参照してください。
.RE
.PP
\fB\-U\fR
.RS 4
ホストのディスクの空き容量を毎回チェックしなくなります。
.RE
.PP
\fB\-F\fR \fInum\-of\-dirents\fR
.RS 4
ディレクトリエントリの情報を先読みする数を指定します。
.sp
デフォルトは 10000 です。
.RE
.PP
\fB\-s\fR \fIkilobytes\-per\-second\fR
.RS 4
シミュレーションする際の転送速度を KB/s で指定します。 実際にはコピーせず、ファイル情報を取得するのみになります。
.RE
.PP
\fB\-n\fR
.RS 4
何もしません。 ディレクトリを辿るだけです。
.RE
.PP
\fB\-p\fR
.RS 4
性能の総合結果を報告します。
.RE
.PP
\fB\-P\fR
.RS 4
性能に関してファイルごとの結果と総合結果を報告します。
.RE
.PP
\fB\-q\fR
.RS 4
警告を表示しません。
.RE
.PP
\fB\-v\fR
.RS 4
冗長な情報を出力します。
.RE
.PP
\fB\-d\fR
.RS 4
デバッグ情報を出力します。
.RE
.PP
\fB\-?\fR
.RS 4
コマンドオプションを出力します。
.RE
.SH "EXAMPLES"
.PP
ディレクトリ以下すべてのファイルの複製を作成します。
.sp
.if n \{\
.RS 4
.\}
.nf
$ gfprep \-N 3 gfarm:///dir
.fi
.if n \{\
.RE
.\}
.sp
.if n \{\
.RS 4
.\}
.nf
$ cd /mnt/gfarm2fs
$ gfprep \-N 3 dir
.fi
.if n \{\
.RE
.\}
.PP
足りなければ複製を増やし、余分な複製があれば削除します。
.sp
.if n \{\
.RS 4
.\}
.nf
$ gfprep \-N 3 \-x gfarm:///dir/file
.fi
.if n \{\
.RE
.\}
.PP
gfsd1\&.example\&.com にある複製を別のノードに移動します。
.sp
.if n \{\
.RS 4
.\}
.nf
$ gfprep \-m \-S gfsd1\&.example\&.com gfarm:///
.fi
.if n \{\
.RE
.\}
.SH "NOTES"
.PP
\-L または \-m オプションを使用しない場合は、指定した作成元の中から ファイルの複製、コピーが行われるとはとは限りません。
.PP
\fBgfprep\fR
コマンドは、
\fBgfmd\fR
と同じホストで実行するほうがよいです。
\fBgfmd\fR
と
\fBgfprep\fR
が距離的に離れている場合には、
\fBgfprep\fR
の動作が遅くなります。 そのような場合には、\-j または \-J オプションに大きな値を指定すると、 性能が改善するかもしれません。
.SH "SEE ALSO"
.PP
\fBgfrep\fR(1),
\fBgfpcopy\fR(1),
\fBgfhost\fR(1),
\fBgfarm2.conf\fR(5)