Hub documentation
テレメトリ
テレメトリ
バージョン 1.7.0 以降、hf_xet Python パッケージおよび hf-xet Rust クレートは、各アップロードとダウンロードの後に Hub へ短いレポートを送信します。これらのレポートを用いて、hf_xet のバージョン、オペレーティングシステム、ネットワークごとに転送が失敗する頻度や速度を把握し、問題の特定と修正を行います。
Git Xet 0.2.1 以前のバージョンでは、テレメトリを送信しません。
収集される情報
各レポートは1つの転送を説明します。1つのコミットで複数のファイルをアップロードすることも、一度に複数のファイルをダウンロードすることも、それぞれ1つの転送に該当します。
| データ | 詳細 |
|---|---|
| 転送タイプと結果 | アップロードまたはダウンロード、およびそれが成功、失敗、キャンセルされたかどうか。失敗の場合、network、timeout、server_errorなどの一般的なエラーカテゴリ。 |
| タイミング | 転送にかかった時間です。アップロードの場合、データのチャンク分割とアップロードにかかった時間、およびコミットの最終処理にかかった時間も含まれます。 |
| サイズ | ファイル数、ファイルの合計サイズ、ネットワーク経由で送信されたバイト数。 |
| 重複排除 | アップロードの場合、Hubに既に保存されていたためスキップされたデータ量、新規に追加されたデータ量、そして新規データの圧縮率の良さを示します。 |
| 速度 | 平均スループットと、使用された最大並列リクエスト数。 |
| クライアント | hf_xet のバージョン、オペレーティングシステム、CPU アーキテクチャ、CPU 数、およびユーザーエージェント文字列です。これは、huggingface_hub が Hub へのすべてのリクエストに送信するユーザーエージェントと同じもので、呼び出し元のライブラリ(transformers など)の名前とバージョン、および huggingface_hub、Python、PyTorch のバージョンが含まれます。 |
| ID | 転送用のランダムID、hf_xetセッション用のランダムID、および転送を処理したXetストレージサーバーのホスト名。 |
レポートには、ファイル名、ファイルパス、ファイル内容、ファイルハッシュ、リポジトリ名、ユーザー名は含まれません。
レポートは、転送と同じアクセストークンを使用して Xet ストレージサーバーに送信されます。サーバーがレポートを保存する際、あなたの IP アドレス、トークンが属する Hub アカウント(ログインしていない場合は「anonymous」)、トークンが発行されたリポジトリ、およびトークンが読み取りアクセスまたは書き込みアクセスを許可しているかどうかを追加します。
レポートが送信されるタイミング
hf_xet は、アップロードまたはダウンロードが完了した時点で、成功したかどうかにかかわらず、1回レポートを送信します。5分以上実行される転送では、完了するまで5分ごとに進捗レポートが送信されます。
レポートは約 1 KB です。転送と同時送信され、転送速度を低下させることはありません。レポートの送信に失敗した場合は破棄され、再試行は行われません。転送が完了すると、hf_xet は最後のレポートが送信されるまで最大 2 秒間待機するため、プログラムが即座に終了してもレポートが失われることはありません。
オプトアウト
テレメトリはデフォルトで有効になっています。無効にするには、HF_HUB_DISABLE_TELEMETRY=1を設定してください:
export HF_HUB_DISABLE_TELEMETRY=1これは、huggingface_hub およびその他の Hugging Face Python ライブラリでテレメトリを無効にするのと同じ変数です。huggingface_hub のドキュメントの HF_HUB_DISABLE_TELEMETRY を参照してください。
hf_xet は、DO_NOT_TRACK、DISABLE_TELEMETRY、HF_HUB_OFFLINE、または TRANSFORMERS_OFFLINE が 1、true、yes、または on に設定されている場合も、テレメトリを無効にします。
hf_xet のテレメトリのみを無効にするには、HF_XET_TELEMETRY_ENABLED=0 を設定してください。
| 環境変数 | デフォルト | 説明 |
|---|---|---|
HF_HUB_DISABLE_TELEMETRY | unset | 1に設定すると、hf_xetおよびその他の Hugging Face Python ライブラリでテレメトリが無効になります。 |
HF_XET_TELEMETRY_ENABLED | true | hf_xet のテレメトリのみを無効にするには、0 に設定します。1 に設定しても、上記のオプトアウト変数を上書きすることはありません。 |
HF_XET_TELEMETRY_HEARTBEAT_AFTER | 300s | 進捗レポートの送信を開始するまでの転送の実行時間。0 を設定すると、進捗レポートが無効になります。 |
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL | 300s | 進捗レポートの間の時間。 |
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT | 2s | 転送が完了した後にhf_xetが最後のレポートを待機する時間。0は待機しないことを意味します。 |