Xet Geçmişi ve Genel Bakış

Ağustos 2024'te Hugging Face, XetHub'ı satın aldı; Seattle merkezli tohum aşamasındaki bu girişim, Hub'daki Git LFS'in yerini almak üzere devreye alındı.

Git LFS gibi, Xet destekli bir depo, uzaktaki depolama olarak S3'ü kullanır ve depo kökündeki .gitattributes dosyası, hangi dosyaların uzaktan depolanması gerektiğini belirlemeye yardımcı olur.

Bir Git LFS işaretçi dosyası, uzak depolamada gerçek dosya içeriğinin konumunu belirlemek için meta veri sağlar:

• SHA256: Gerçek büyük dosya için benzersiz bir tanımlayıcı sağlar. Bu tanımlayıcı, dosyanın içeriğinin SHA-256 özeti hesaplanarak oluşturulur.
• İşaretçi boyutu: Git deposunda saklanan işaretçi dosyasının boyutu.
• Uzak dosyanın boyutu: Gerçek büyük dosyanın bayt cinsinden boyutunu belirtir. Bu meta veri, hem doğrulama amaçları hem de depolama ve aktarım işlemlerini yönetmek için faydalıdır.

Bir Xet imleci, tasarım gereği tüm bu bilgileri içerir. Xet depolamada dosyayı referans almak için Xet backed hash alanının eklenmesiyle birlikte Git LFS ile geriye dönük uyumluluk bölümüne başvurun.

Dosya düzeyinde kopya azaltma yapan Git LFS'ten farklı olarak, Xet destekli depolar bayt düzeyinde kopya azaltma yapar. Xet depolaması tarafından desteklenen bir dosya güncellendiğinde, uzak depolamaya yalnızca değiştirilen veriler yüklenir ve bu da ağ transferlerinde önemli ölçüde tasarruf sağlar. Model kontrol noktalarına artımlı güncellemeler veya bir veri setine yeni veri ekleme/ekleme gibi birçok iş akışında, bu durum hem sizin hem de iş birimi yaptığınız kişilerin yineleme hızını artırır. Xet depolamasındaki kopya azaltma hakkında daha fazla bilgi için Kopya Azaltma bölümüne bakın.

Update on GitHub