Hub documentation
Telemetri
Telemetri
1.7.0 sürümünden itibaren hf_xet Python paketi ve hf-xet Rust crate'i, her yükleme ve indirmeden sonra Hub'a kısa bir rapor gönderir. Bu raporları, hf_xet sürümleri, işletim sistemleri ve ağlar arasında aktarmaların ne sıklıkla başarısız olduğunu ve ne kadar hızlı gerçekleştiğini görmek, böylece sorunları tespit edip düzeltmek için kullanıyoruz.
Git Xet 0.2.1 ve önceki sürümleri telemetri göndermez.
Toplananlar
Her rapor bir aktarımı açıklar. Tek bir commit'te birden fazla dosyanın yüklenmesi bir aktarım olduğu gibi, aynı anda birden fazla dosyanın indirilmesi de bir aktarımdır.
| Veriler | Detaylar |
|---|---|
| Transfer türü ve sonucu | Yükleme veya indirme ve başarılı, başarısız veya iptal edilmiş olup olmadığı. Başarısızlıklar için network, timeout veya server_error gibi genel bir hata kategorisi. |
| Zamanlama | Transferin ne kadar sürdü. Yüklemeler için, verinin parçalara ayrılmasına ve yüklenmesine harcanan süre ile commit'in sonlandırılmasına harcanan süre de dahildir. |
| Sizin | Dosya sayısı, dosyaların toplam boyutu ve ağ üzerinden gönderilen bayt sayısı. |
| Yinelenenlerin Giderilmesi | Yükleme işlemleri için, Hub'da zaten depolanan ve atlanan veri miktarı, yeni eklenen veri miktarı ve yeni verinin ne kadar iyi sıkıştırıldığı. |
| Yükleme yolu | hf_xet 1.8.0 sürümünden itibaren, yüklemeler için kaç bloğun doğrudan S3'e ve kaçının Xet depolama hizmeti üzerinden gönderildiği, bunların boyutları ve yükleme süreleri. Ayrıca kaç doğrudan yüklemenin Xet depolama hizmetine geri düştüğü ve bunlardan kaçının S3'e ulaşılamamasından kaynaklandığı. |
| Hız | Ortalama işleme hızı ve kullanılan en yüksek paralel istek sayısı. |
| İstemci | hf_xet sürümü, işletim sistemi, CPU mimarisi, CPU sayısı ve kullanıcı ajanı dizesi. Bu, Hub'a gönderilen her istekle birlikte huggingface_hub'in gönderdiği aynı kullanıcı ajanıdır; çağıran kütüphanenin (örneğin transformers) adı ve sürümü ile huggingface_hub, Python ve PyTorch sürümlerini içerir. |
| Kimlikler | Transfer için rastgele bir kimlik, hf_xet oturumu için rastgele bir kimlik ve transferi işleyen Xet depolama sunucusunun ana bilgisayar adı. |
Raporlar, dosya adlarını, dosya yollarını, dosya içeriklerini, dosya özetlerini, depo adlarını veya kullanıcı adınızı içermez.
Raporlar, aktarım ile aynı erişim jetonu kullanılarak Xet depolama sunucusuna gönderilir. Sunucu bir raporu depoladığında, IP adresinizi, jetonun ait olduğu Hub hesabını (giriş yapmadıysanız “anonim”), jetonun hangi depo için düzenlendiğini ve jetonun okuma mı yoksa yazma erişimine mi izin verdiğini ekler.
Raporlar gönderildiğinde
hf_xet, bir yükleme veya indirme işlemi başarıyla tamamlansın ya da tamamlanmasın, işlem bittiğinde tek bir rapor gönderir. 5 dakikadan uzun süren bir aktarım, tamamlanana kadar her 5 dakikada bir ilerleme raporu gönderir.
Raporlar yaklaşık 1 KB boyutundadır. Aktarımın yanında gönderilirler ve aktarımı yavaşlatmazlar. Bir rapor gönderilemezse, atılır ve yeniden denenmez. Bir aktarım tamamlandığında, programınız hemen çıkış yaparsa raporun kaybolmaması için hf_xet son raporun gönderilmesi için en fazla 2 saniye bekler.
Katılmama
Telemetri varsayılan olarak açıktır. Kapatmak için HF_HUB_DISABLE_TELEMETRY=1 değerini ayarlayın:
export HF_HUB_DISABLE_TELEMETRY=1Bu, huggingface_hub ve diğer Hugging Face Python kütüphanelerinde telemetriyi kapatan aynı değişkendir. huggingface_hub belgelerinde HF_HUB_DISABLE_TELEMETRY bölümüne bakın.
hf_xet, DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE veya TRANSFORMERS_OFFLINE 1, true, yes veya on olarak ayarlandığında telemetriyi de kapatır.
Sadece hf_xet için telemetriyi kapatmak için HF_XET_TELEMETRY_ENABLED=0 değerini ayarlayın.
| Ortam Değişkeni | Varsayılan | Açıklama |
|---|---|---|
HF_HUB_DISABLE_TELEMETRY | kaldırıldı | hf_xet ve diğer Hugging Face Python kütüphanelerinde telemetriyi kapatmak için 1 olarak ayarlayın. |
HF_XET_TELEMETRY_ENABLED | true | hf_xet telemetrisini yalnızca kapatmak için 0 olarak ayarlayın. 1 olarak ayarlamak, yukarıdaki opt-out değişkenlerini geçersiz kılmaz. |
HF_XET_TELEMETRY_HEARTBEAT_AFTER | 300s | Bir aktarımın ilerleme raporlarını göndermeye başlamadan önce ne kadar süre çalıştığı. 0 ilerleme raporlarını kapatır. |
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL | 300s | İlerleme raporları arasındaki süre. |
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT | 2s | Bir aktarım tamamlandıktan sonra hf_xet'in son raporu ne kadar süre beklediğini belirtir. 0 değeri, bekleme yapılmadığını ifade eder. |