PEFT documentation
Modeller
Modeller
PeftModel, bir PEFT yönteminin uygulanacağı temel Transformer modeli ve yapılandırmasını belirtmek için kullanılan temel model sınıfıdır. Temel PeftModel, Hub'dan modelleri yükleme ve kaydetme yöntemlerini içerir.
PeftModel
sınıf peft.PeftModel
< source >( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'autocast_adapter_dtype: bool = Truelow_cpu_mem_usage: bool = False )
Parametreler
- model (
torch.nn.Module) — Uyarlanacak temel model, genellikle bir Transformers modelidir. - peft_config (PeftConfig) — Peft modelinin yapılandırması.
- adapter_name (
str, isteğe bağlı) — Adaptörün adı, varsayılan olarak"default"'tur. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır. - low_cpu_mem_usage (
bool,optional, varsayılan olarakFalse) — meta cihazında boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.> Eğitim için yeni bir PEFT adaptörü oluştururken
low_cpu_mem_usage=Truekullanmayın.
Çeşitli Peft yöntemlerini kapsayan temel model.
Öznitelikler:
- base_model (
torch.nn.Module) — Peft için kullanılan temel dönüştürücü modeli. - peft_config (PeftConfig) — Peft modelinin yapılandırması.
- modules_to_save (
listofstr) — Model kaydedildiğinde kaydedilecek alt modül adlarının listesi. - prompt_encoder (PromptEncoder) — PromptLearningConfig kullanılıyorsa Peft için kullanılan prompt kodlayıcı.
- prompt_tokens (
torch.Tensor) — PromptLearningConfig kullanılıyorsa Peft için kullanılan sanal prompt jetonları. - transformer_backbone_name (
str) — PromptLearningConfig kullanılıyorsa, temel modeldeki transformer omurgasının adı. - word_embeddings (
torch.nn.Embedding) — PromptLearningConfig kullanılıyorsa, temel modeldeki transformer omurgasının kelme gömme değerleri
add_adapter
< source >( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )
Parametreler
- adapter_name (
str) — Eklenecek adaptörün adı. - peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
- low_cpu_mem_usage (
bool,optional, defaults toFalse) — Meta cihazda boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır. Eğitim için yeni bir PEFT adaptörü oluştururken bu seçeneği kullanmayın. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.
Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.
Yeni adaptörün adı benzersiz olmalıdır.
Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.
peft hakkında bilgi içerecek şekilde model kartını güncelleyin veya oluşturun:
peftkitaplığı etiketini ekler- peft sürümünü ekler
- Temel model bilgilerini ekler
- Kullanıldıysa, kuantizasyon bilgilerini ekler
delete_adapter
< source >( adapter_name: str )
Mevcut bir adaptörü siler.
Adapter modülünü devre dışı bırakan bağlam yöneticisi. Temel model üzerinde çıkarım (inference) çalıştırmak için bunu kullanın.
Modelin ileri yönlü geçişi.
from_pretrained
< source >( model: torch.nn.Modulemodel_id: Union[str, os.PathLike]adapter_name: str = 'default'is_trainable: bool = Falseconfig: Optional[PeftConfig] = Noneautocast_adapter_dtype: bool = Trueephemeral_gpu_offload: bool = Falselow_cpu_mem_usage: bool = Falsekey_mapping: Optional[dict[str, str]] = Nonestrict_adapter_check: Literal['warn', 'error', 'ignore'] = 'warn'**kwargs: Any )
Parametreler
- model (
torch.nn.Module) — Uyarlanacak model. 🤗 Transformers modelleri için model, from_pretrained ile başlatılmalıdır. - model_id (
strveyaos.PathLike) — Kullanılacak PEFT yapılandırmasının adı. Şunlardan biri olabilir:- Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının
model id'si. save_pretrainedyöntemi kullanılarak kaydedilen bir PEFT yapılandırma dosyası içeren bir dizine giden yol (./my_peft_config_directory/).
- Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının
- adapter_name (
str, isteğe bağlı, varsayılan"default") — Yüklenecek adaptörün adı. Birden fazla adaptör yüklemek için kullanışlıdır. - is_trainable (
bool, isteğe bağlı, varsayılanFalse) — Uyarlamanın (adapter) eğitilebilir olup olmadığı.Falseise, uyarlama dondurulur ve yalnızca çıkarım (inference) için kullanılabilir. - config (PeftConfig, isteğe bağlı) —
Otomatik olarak yüklenen bir yapılandırma yerine kullanılacak yapılandırma nesnesi. Bu yapılandırma nesnesi,
model_idvekwargsile birbirini dışlar. Yapılandırma,from_pretrainedçağrılmadan önce zaten yüklendiyse bu durum faydalıdır. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır. - ephemeral_gpu_offload (
bool, isteğe bağlı) — Kısmen yüklenmiş modüller için geçici GPU dışa aktarma kullanılıp kullanılmayacağı. Varsayılan değerFalse'dir. Bu, modelin ve/veya bileşenlerin (adaptörler gibi) ihtiyaç duyulana kadar CPU belleğinde tutulduğu durumlarda faydalıdır. Küçük veriler üzerinde pahalı işlemler yerine, veriler talep üzerine GPU'ya aktarılır, işlem(ler) yapılır ve sonuçlar CPU belleğine geri taşınır. Bu, hafif bir anlık VRAM yükü getirir ancak belirli durumlarda kat kat hızlanma sağlar. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır. - key_mapping (dict, isteğe bağlı, varsayılanı None) —
state_dictyüklenmeden önce PEFTstate_dictanahtarlarına uygulanan ek eşleme. Bu eşleme uygulandığında, PEFT'ye özgü"base_model.model"öneki önceden kaldırılır ve adaptör adı (ör."default") henüz eklenmez. Bu argümanı yalnızca ne yaptığınızı biliyorsanız iletin. - strict_adapter_check (
Literal["warn", "error", "ignore"], isteğe bağlı, varsayılan"warn") — Yapısal nedenlerle farklı olması beklenen anahtarlar (paylaşılan parametreler, prompt kodlayıcı yolu vb.) dikkate alındıktan sonra, kontrol noktasında modelde eksik olan veya model için beklenmedik olan adaptör anahtarları varsa ne yapılacağı."warn"bir uyarı yazar,"error"birRuntimeErrorfırlatır ve"ignore"hiçbir şey yapmaz. Bu,torch.nn.Module.load_state_dict'instrictkontrolüyle aynı değildir: PEFT adaptörleri her zaman dondurulmuş bir taban modelle birlikte var olur, bu nedenle bu durum yalnızca adaptöre özgü anahtarları ilgilendirir, asla taban modelin kendi parametrelerini değil. - kwargs — (
optional): Belirli PEFT yapılandırma sınıfına iletilen ek anahtar kelime argümanları. Bunlar arasındatorch_device(str, isteğe bağlı): adaptörün yükleneceği cihaz (load_adapter[PeftModel.load_adapter] içine iletilir);Noneise cihaz çıkarılır.
Önceden eğitilmiş bir modelden ve yüklenen PEFT ağırlıklarından bir PEFT modeli örnekleyin.
Geçirilen model'in yerinde (inplace) değiştirilebileceğini unutmayın.
Temel modeli döndürür.
get_layer_status
< source >( ) → listpeft.peft_model.TunerLayerStatus
Dönüş değeri
listpeft.peft_model.TunerLayerStatus
Her biri ilgili adaptör katmanının durumunu içeren dataclass'ların bir listesi.
Modeldeki her adaptör katmanının durumunu alın.
Bu yöntem, TunerLayerStatus veri sınıfı örneklerinin bir listesini döndürür; her biri aşağıdaki öznitelikleri içerir:
name(str): Adaptör katmanının adı, örn.model.encoder.block.0.layer.0.SelfAttention.q.module_type(str): Adaptör katmanının türü, örn.lora.Linear.enabled(bool): Uyarlama katmanının etkin olup olmadığı.active_adapters(list[str]): Varsa, etkin adaptörlerin adları, örn.["default"].merged_adapters(list[str]): Birleşmiş adaptörlerin adları (varsa), örn.["default"].available_adapters(list[str]): Kullanılabilir adaptörlerin adları, örn.["default"].quantization_backend(strveyaNone): Kuantizasyon arka planının adı, örneğin"bnb 4bit", kuantize edilmemişseNone.
get_model_status
< source >( ) → peft.peft_model.TunerModelStatus
Dönüş değeri
peft.peft_model.TunerModelStatus
Modelin durumunu içeren bir dataclass.
Modelin ayarlayıcılarının durumunu alın.
Bu yöntem, aşağıdaki öznitelikleri içeren bir TunerModelStatus veri sınıfı örneği döndürür:
base_model_type(str): Temel modelin türü, örn.T5Model.adapter_model_type(str): Uyarlama modelinin türü, örn.LoraModel.peft_types(dict[str, str]): Adaptör adından adaptör türüne eşleme, örn.{"default": "LORA"}.trainable_params(int): Modeldeki eğitilebilir parametre sayısı.total_params(int): Modeldeki toplam parametre sayısı.num_adapter_layers(int): Modeldeki adaptör katmanlarının sayısı.enabled(bool,Literal["irregular"]): Tüm adaptör katmanlarının etkin olup olmadığı. Bazıları etkin, bazıları değilse bu değer"irregular"olur. Bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.active_adapters(list[str],Literal["irregular"]): Aktif adaptörlerin adları. Aktif adaptörler tüm katmanlar arasında tutarlı değilse, bu değer"irregular"olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.merged_adapters(list[str],Literal["irregular"]): Birleştirilen adaptörlerin adları. Birleştirilen adaptörler tüm katmanlar arasında tutarlı değilse, bu değer"irregular"olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.available_adapters(list[str]): Kullanılabilir adaptörlerin adları, örn.["default"].quantization_backend(str,None,Literal["irregular"]): Kuantizasyon arka planının adı, örneğin"bnb 4bit"veya kuantize edilmemişseNone. Arka plan tüm katmanlar arasında tutarlı değilse bu değer"irregular"olur.
Modeldeki eğitilebilir parametre sayısını ve tüm parametre sayısını döndürür.
get_prompt
< source >( batch_size: inttask_ids: Optional[torch.Tensor] = Nonemax_cache_len: Optional[int] = None )
Peft için kullanılacak sanal istemleri döndürür. Yalnızca bir istem öğrenme yöntemi kullanıldığında geçerlidir.
Model kaydedildiğinde kaydedilecek prompt gömme değerini döndürür. Yalnızca bir prompt öğrenme yöntemi kullanıldığında geçerlidir.
sağlık kontrolü
< source >( min_trainable_params: int = 1max_trainable_params_percent = 50 )
Parametreler
- min_trainable_params (
int, isteğe bağlı, varsayılan=1) — Beklenen minimum parametre sayısı. Bunlardan daha azı bulunursa, bu bir hata olarak raporlanır. - max_trainable_params_percent (
int, isteğe bağlı, varsayılan=50) — Eğitilebilir olması gereken parametrelerin maksimum yüzdesi. Bunlardan fazlası bulunursa, bu bir uyarı olarak raporlanır.
Eğitimden önce bu modeli, şüpheli görünen adaptör durumları açısından kontrol edin.
Bu fonksiyon, model ve katman durumu API'lerini özetler ve tutarsız adaptör durumu, birleştirilmiş adaptörler ve olası olmayan eğitilebilir parametre sayıları için bulguları içerir. Eğitim döngüsünü, optimizatörü veya veri setini doğrulamaz. Modelde tutarsızlıklar tespit edilirse durum "irregular" olarak raporlanır; örneğin aynı adaptör için bazı katmanlar etkinleştirilmişken bazı katmanlar devre dışı bırakılmışsa. Bu, neredeyse her zaman bir şeyin yanlış gittiği ve model üzerindeki bazı öznitelikleri yanlışlıkla değiştirmediğinizi kontrol etmeniz gerektiği anlamına gelir.
Prompt öğrenme ve adaption prompt için rapor, bu yöntemlerin desteklemediği katman bazlı durum bilgisi olmadan model bilgilerini ve parametre sayılarını içerir.
Eğer kontrol şüpheli bir şey bulduysa, bu durum "findings" alanında raporlanır. Boş bir "findings"" listesi, şüpheli bir adaptör durumunun tespit edilmediği anlamına gelir; bir eğitim çalışmasının başarılı olacağının garantisi değildir.
load_adapter
< source >( model_id: Union[str, os.PathLike]adapter_name: stris_trainable: bool = Falsetorch_device: Optional[str] = Noneautocast_adapter_dtype: bool = Trueephemeral_gpu_offload: bool = Falselow_cpu_mem_usage: bool = Falsekey_mapping: Optional[dict[str, str]] = Nonestrict_adapter_check: Literal['warn', 'error', 'ignore'] = 'warn'**kwargs: Any )
Parametreler
- model_id (
strveyaos.PathLike) — Kullanılacak PEFT yapılandırmasının adı. Şunlardan biri olabilir:- Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının
model id'si. save_pretrainedyöntemi kullanılarak kaydedilen bir PEFT yapılandırma dosyası içeren bir dizine giden yol (./my_peft_config_directory/).
- Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının
- adapter_name (
str) — Eklenecek adaptörün adı. - is_trainable (
bool, isteğe bağlı, varsayılanFalse) — Uyarlamanın (adapter) eğitilebilir olup olmadığı.Falseise, uyarlama dondurulur ve yalnızca çıkarım (inference) için kullanılabilir. - torch_device (
str, isteğe bağlı, varsayılan None) — Adaptörün yükleneceği cihaz.Noneise cihaz çıkarılır. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır. - ephemeral_gpu_offload (
bool, isteğe bağlı, varsayılanFalse) — Kısmen yüklenmiş modüller için geçici GPU dışa aktarma kullanılıp kullanılmayacağı. VarsayılanFalse. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır. - key_mapping (dict, isteğe bağlı, varsayılanı None) —
state_dictyüklenmeden önce PEFTstate_dictanahtarlarına uygulanan ek eşleme. Bu eşleme uygulandığında, PEFT'ye özgü"base_model.model"öneki önceden kaldırılır ve adaptör adı (ör."default") henüz eklenmez. Bu argümanı yalnızca ne yaptığınızı biliyorsanız iletin. - strict_adapter_check (
Literal["warn", "error", "ignore"], isteğe bağlı, varsayılan"warn") — Yapısal nedenlerle farklı olması beklenen anahtarlar (paylaşılan parametreler, prompt kodlayıcı yolu vb.) dikkate alındıktan sonra, kontrol noktasında modelde eksik olan veya model için beklenmedik olan adaptör anahtarları varsa ne yapılacağı."warn"bir uyarı yazar,"error"birRuntimeErrorfırlatır ve"ignore"hiçbir şey yapmaz. Bu,torch.nn.Module.load_state_dict'instrictkontrolüyle aynı değildir: PEFT adaptörleri her zaman dondurulmuş bir taban modelle birlikte var olur, bu nedenle bu durum yalnızca adaptöre özgü anahtarları ilgilendirir, asla taban modelin kendi parametrelerini değil. - kwargs — (
optional): Uyarlamanın (adapter) yüklenme şeklini değiştirmek için ek argümanlar, örneğin Hugging Face Hub için jeton.
Eğitilmiş bir adaptörü modele yükleyin.
Yeni adaptörün adı benzersiz olmalıdır.
Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.
merge_adapter
< source >( adapter_names: Optional[list[str]] = Nonesafe_merge: bool = False**kwargs: Any )
Parametreler
- adapter_names (
list[str], isteğe bağlı) — Birleştirilecek adaptör adlarının listesi.Noneise tüm etkin adaptörler birleştirilir. Varsayılan değerNone'dir. - safe_merge (
bool, isteğe bağlı) —Trueise, birleştirme işlemi orijinal ağırlıkların bir kopyasında gerçekleştirilir ve ağırlıklar birleştirilmeden önce NaN değerleri kontrol edilir. Birleştirme işleminin NaN üreteceğini kontrol etmek istiyorsanız bu işe yarar. Varsayılan değerFalse'tur.
Aktif adaptörleri temel modele birleştirin.
Birleşme (merging), LoRA, IA³ veya OFT gibi taban modele ağırlık ekleyen çoğu PEFT yöntemi tarafından desteklenir. İstem öğrenme yöntemleri (ör. prompt tuning) ve uyarlama istemi (adaption prompt) için birleşme desteklenmez ve bir TypeError oluşturulur.
Not: Birleştirme işlemini genel olarak destekleyen PEFT yöntemleri bile belirli model veya katman yapılandırmaları için hata verebilir; örneğin gptq-kuantize edilmiş modeller için ValueError, groups > 1 değerine sahip _ConvNd katmanlarında LoRA için NotImplementedError veya Eetq katmanlarında LoRA için AttributeError.
Gerekirse modeli gradyan denetleme noktası (gradient checkpointing) için hazırlar
Not: Daha yeni Transformers sürümlerinde buna ‘activation checkpointing’ denir.
print_healthcheck
< source >( sink = <built-in function print>min_trainable_params: int = 1max_trainable_params_percent = 50**kwargs )
Parametreler
- sink (
callable, isteğe bağlı, varsayılan=print) — Çıktıyı yazdırmak için çağrılan işlev. Varsayılan olarak yalnızca yerleşikprintişlevidir, ancaklogger.infogibi başka bir şey de olabilir. - min_trainable_params (
int, isteğe bağlı, varsayılan=1) — Beklenen minimum parametre sayısı. Bunlardan daha azı bulunursa, bu bir hata olarak raporlanır. - max_trainable_params_percent (
int, isteğe bağlı, varsayılan=50) — Eğitilebilir olması gereken parametrelerin maksimum yüzdesi. Bunlardan fazlası bulunursa, bu bir uyarı olarak raporlanır. - kwargs —
Ek anahtar kelime argümanları
format_healthcheckişlevine iletilir.
Kompakt, insan okunabilir bir sağlık kontrolü raporu yazdırın.
Çıktı, PEFT modelinizin durumunu özetler ve tutarsız adaptör durumu, birleştirilmiş adaptörler ve olası olmayan eğitilebilir parametre sayıları için bulguları içerir. Eğitim döngüsünü, optimizatörü veya veri setini doğrulamaz. Modelde tutarsızlıklar tespit edilirse, örneğin aynı adaptör için bazı katmanlar etkinleştirilmişken bazı katmanlar devre dışı bırakılmışsa, durum "irregular" olarak raporlanır. Bu, neredeyse her zaman bir şeyin yanlış gittiği ve model üzerindeki bazı öznitelikleri yanlışlıkla değiştirmediğinizi kontrol etmeniz gerektiği anlamına gelir.
Sorunlar tespit edilirse, bunlar son bölümdeki “findings” altında gösterilir. Sorun tespit edilmediyse, bu bir eğitim çalışmasının başarılı olacağının garantisi anlamına gelmez.
Modeldeki eğitilebilir parametre sayısını yazdırır.
Not: print_trainable_parameters(), get_nb_trainable_parameters() işlevini kullanır ve bu, huggingface/transformers'taki num_parameters(only_trainable=True)'ten farklıdır. get_nb_trainable_parameters(), değiştirilmiş omurga dönüştürücü modelini de içeren Peft Model'inin (eğitilebilir parametreler, tüm parametreler) değerini döndürür. LoRA gibi tekniklerde omurga dönüştürücü modeli, LoRA modülleriyle yerinde değiştirilir. Ancak prompt tuning için omurga dönüştürücü modeli değiştirilmez. num_parameters(only_trainable=True), omurga dönüştürücü modelinin eğitilebilir parametre sayısını döndürür ve bu değer farklı olabilir.
save_pretrained
< source >( save_directory: strsafe_serialization: bool = Trueselected_adapters: Optional[list[str]] = Nonesave_embedding_layers: Union[str, bool] = 'auto'is_main_process: bool = Truepath_initial_model_for_weight_conversion: Optional[str] = None**kwargs: Any )
Parametreler
- save_directory (
str) — Uyarlama modeli ve yapılandırma dosyalarının kaydedileceği dizin (varsa oluşturulur). - safe_serialization (
bool, isteğe bağlı) — Uyarlama dosyalarının safetensors biçiminde kaydedilip kaydedilmeyeceğini belirtir, varsayılan değeriTrue'dür. - selected_adapters (
List[str], isteğe bağlı) — Kaydedilecek adaptörlerin listesi.Noneise, varsayılan olarak tüm adaptörler kullanılır. - save_embedding_layers (
Union[bool, str], isteğe bağlı, varsayılan"auto") —Trueise, adaptör ağırlıklarının yanı sıra gömme katmanları da kaydedilir.autoise, config’detarget_modulesmevcut olduğunda, yaygın gömme katmanları olanpeft.utils.other.EMBEDDING_LAYER_NAMESkontrol edilir ve boolean bayrağı otomatik olarak ayarlanır. Bu yalnızca 🤗 transformers modelleri için çalışır. - is_main_process (
bool, isteğe bağlı) — Bu çağrıyı yapan sürecin ana süreç olup olmadığı. Varsayılan olarakTrueolur. Ana süreçte değilse kontrol noktasını kaydetmez; bu, çoklu cihaz kurulumları (ör. DDP) için önemlidir. - path_initial_model_for_weight_conversion (
str, isteğe bağlı) — Model, PiSSA/CorDA/OLoRA ile başlatıldıktan ve herhangi bir eğitim yapılmadan önce elde edilen başlatılmış adaptöre giden yol.path_initial_model_for_weight_conversionNone olmadığında, ince ayar öncesi ve sonrası adaptör arasındaki fark hesaplanır. Bu fark, standart bir LoRA adaptörünün parametreleri olarak temsil edilebilir. PiSSA ve benzerlerinden farklı olarak, bu dönüştürülmüş adaptörü kullanmak temel modelde değişiklik gerektirmez; bu da LoRA adaptörleriyle birlikte birden fazla PiSSA/CorDA/OLoRA adaptörünün kullanılmasını ve herhangi bir adaptörün etkinleştirilmesini veya devre dışı bırakılmasını kolayca mümkün kılar. Dikkat edin,rslorarank_patternveyaalpha_patternile birlikte kullanılıyorsa bu dönüşüm desteklenmez. Daha fazla bilgi için peft.tuners.lora.LoraModel.subtract_mutated_init() adresine bakın. - kwargs (ek anahtar kelime argümanları, isteğe bağlı) —
push_to_hubyöntemine iletilen ek anahtar kelime argümanları.
Bu fonksiyon, adaptör modelini ve adaptör yapılandırma dosyalarını bir dizine kaydeder; böylece PeftModel.from_pretrained() sınıf yöntemiyle yeniden yüklenebilir ve PeftModel.push_to_hub() yöntemi tarafından da kullanılabilir.
Seçilen adaptör ağırlıkları dağıtılmış tensörler içeriyorsa (ör. FSDP2/HSDP), ağırlıkların toplanması kolektif bir işlem olduğu için tüm katılan rank'ların bu yöntemi çağırması gerekir. is_main_process=True değerini yalnızca checkpoint'i yazan rank'ta ayarlayın. Bu yöntemin yalnızca bir rank'ta çağrılması, işlem grubunun zaman aşımına uğramasına neden olabilir.
set_adapter
< source >( adapter_name: strinference_mode: bool = False )
Aktif adaptörü ayarlar.
PEFT yöntemlerinin tümü birden fazla etkin adaptörü desteklemediğinden, aynı anda yalnızca bir adaptör etkin olabilir. Desteklenen yöntemlerde birden fazla adaptörü etkinleştirmek için model.base_model.set_adapter(adapter_names) kullanın.
Ayrıca, bu işlev, inference_mode değeri True olmadıkça, belirtilen adaptörü eğitilebilir (yani requires_grad=True) olarak ayarlar.
set_requires_grad
< source >( adapter_names: str | Sequence[str]requires_grad: bool = True )
Verilen adaptör(ler) için gradyanları etkinleştirin veya devre dışı bırakın.
Not: Prompt tuning gibi prompt öğrenme yöntemleri için desteklenmez.
Bu modelin adaptörünün LoRA'ya dönüştürülüp dönüştürülemeyeceği.
Normalde, PEFT yöntemi additif ise, yani W’ = W_base + delta_weight ise, bu çalışır.
unmerge_adapter
< source >( force_reshard: bool = False**kwargs: Any )
Parametreler
- force_reshard (
bool, isteğe bağlı) — Birleşik bir adaptör katmanı algılanmamış olsa bile FSDP2 modüllerinin yeniden shard edilip edilmeyeceğini belirler. Çağıran tarafın en az bir birleşik katman olduğunu zaten doğruladığı durumlarda, birleşik katmanları bulmak için tüm modelin taranmasını önlemek için kullanılabilir. Varsayılan değerFalse'tür.
Adaptörleri temel modelden ayırın.
Birleşme işlemi, LoRA, IA³ veya OFT gibi taban modele ağırlık ekleyen çoğu PEFT yöntemi tarafından desteklenir. İstem öğrenme yöntemleri (ör. istem ayarlama) ve uyarlama istemi için birleşme işlemi desteklenmez ve bir TypeError oluşturulur.
Not: Genel olarak birleştirilmeyi destekleyen PEFT yöntemleri bile belirli katman türleri için hata verebilir; örneğin Eetq katmanlarında LoRA için AttributeError veya INC katmanlarından LoRA'nın birleştirilmesinin kaldırılması için NotImplementedError.
PeftModelForSequenceClassification
Sınıflandırma görevleri için bir PeftModel.
sınıf peft.PeftModelForSequenceClassification
< source >( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )
Parametreler
- model (PreTrainedModel) — Temel transformer modeli.
- peft_config (PeftConfig) — Peft yapılandırması.
- adapter_name (
str, isteğe bağlı) — Adaptörün adı, varsayılan olarak"default"'tur. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Dizi sınıflandırma görevleri için Peft modeli.
Öznitelikler:
- config (
PretrainedConfig) — Temel modelin yapılandırma nesnesi. - cls_layer_name (
str) — Sınıflandırma katmanının adı.
Örnek:
>>> from transformers import AutoModelForSequenceClassification
>>> from peft import PeftModelForSequenceClassification, get_peft_config
>>> config = {
... "peft_type": "PREFIX_TUNING",
... "task_type": "SEQ_CLS",
... "inference_mode": False,
... "num_virtual_tokens": 20,
... "token_dim": 768,
... "num_transformer_submodules": 1,
... "num_attention_heads": 12,
... "num_layers": 12,
... "encoder_hidden_size": 768,
... "prefix_projection": False,
... }
>>> peft_config = get_peft_config(config)
>>> model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForSequenceClassification(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 370178 || all params: 108680450 || trainable%: 0.3406113979101117PeftModelForTokenClassification
Token sınıflandırma görevleri için bir PeftModel.
sınıf peft.PeftModelForTokenClassification
< source >( model: torch.nn.Modulepeft_config: PeftConfig = Noneadapter_name: str = 'default'**kwargs )
Parametreler
- model (PreTrainedModel) — Temel transformer modeli.
- peft_config (PeftConfig) — Peft yapılandırması.
- adapter_name (
str, isteğe bağlı) — Adaptörün adı, varsayılan olarak"default"'tur. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Token sınıflandırma görevleri için Peft modeli.
Öznitelikler:
- config (
PretrainedConfig) — Temel modelin yapılandırma nesnesi. - cls_layer_name (
str) — Sınıflandırma katmanının adı.
Örnek:
>>> from transformers import AutoModelForTokenClassification
>>> from peft import PeftModelForTokenClassification, get_peft_config
>>> config = {
... "peft_type": "PREFIX_TUNING",
... "task_type": "TOKEN_CLS",
... "inference_mode": False,
... "num_virtual_tokens": 20,
... "token_dim": 768,
... "num_transformer_submodules": 1,
... "num_attention_heads": 12,
... "num_layers": 12,
... "encoder_hidden_size": 768,
... "prefix_projection": False,
... }
>>> peft_config = get_peft_config(config)
>>> model = AutoModelForTokenClassification.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForTokenClassification(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 370178 || all params: 108680450 || trainable%: 0.3406113979101117add_adapter
< source >( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )
Parametreler
- adapter_name (
str) — Eklenecek adaptörün adı. - peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
- low_cpu_mem_usage (
bool,optional, defaults toFalse) — Meta cihazda boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır. Eğitim için yeni bir PEFT adaptörü oluştururken bu seçeneği kullanmayın. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.
Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.
Yeni adaptörün adı benzersiz olmalıdır.
Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.
PeftModelForCausalLM
Nedensel dil modelleme için bir PeftModel.
sınıf peft.PeftModelForCausalLM
< source >( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )
Parametreler
- model (PreTrainedModel) — Temel transformer modeli.
- peft_config (PeftConfig) — Peft yapılandırması.
- adapter_name (
str, isteğe bağlı) — Adaptörün adı, varsayılan olarak"default"'tur. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Nedensel dil modellemesi için Peft modeli.
Örnek:
>>> from transformers import AutoModelForCausalLM
>>> from peft import PeftModelForCausalLM, get_peft_config
>>> config = {
... "peft_type": "PREFIX_TUNING",
... "task_type": "CAUSAL_LM",
... "inference_mode": False,
... "num_virtual_tokens": 20,
... "token_dim": 1280,
... "num_transformer_submodules": 1,
... "num_attention_heads": 20,
... "num_layers": 36,
... "encoder_hidden_size": 1280,
... "prefix_projection": False,
... }
>>> peft_config = get_peft_config(config)
>>> model = AutoModelForCausalLM.from_pretrained("gpt2-large")
>>> peft_model = PeftModelForCausalLM(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 1843200 || all params: 775873280 || trainable%: 0.23756456724479544PeftModelForSeq2SeqLM
Sıralıdan sıralıya dil modellemesi için bir PeftModel.
Not: Girdi token'ları sağladığınız ancak decoder girdi token'larını açıkça sağlamadığınız durumda, shift_tokens_right() kullanarak girdi token'larını bir adım sağa kaydırarak decoder girdi token'larını otomatik olarak oluşturur.
sınıf peft.PeftModelForSeq2SeqLM
< source >( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )
Parametreler
- model (PreTrainedModel) — Temel transformer modeli.
- peft_config (PeftConfig) — Peft yapılandırması.
- adapter_name (
str, isteğe bağlı) — Adaptörün adı, varsayılan olarak"default"'tur. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Diziden-diziye dil modellemesi için Peft modeli.
Örnek:
>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import PeftModelForSeq2SeqLM, get_peft_config
>>> config = {
... "peft_type": "LORA",
... "task_type": "SEQ_2_SEQ_LM",
... "inference_mode": False,
... "r": 8,
... "target_modules": ["q", "v"],
... "lora_alpha": 32,
... "lora_dropout": 0.1,
... "fan_in_fan_out": False,
... "bias": "none",
... }
>>> peft_config = get_peft_config(config)
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> peft_model = PeftModelForSeq2SeqLM(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 884736 || all params: 223843584 || trainable%: 0.3952474242013566PeftModelForQuestionAnswering
Sorulara yanıt için bir PeftModel.
sınıf peft.PeftModelForQuestionAnswering
< source >( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )
Parametreler
- model (PreTrainedModel) — Temel transformer modeli.
- peft_config (PeftConfig) — Peft yapılandırması.
- adapter_name (
str, isteğe bağlı) — Adaptörün adı, varsayılan olarak"default"'tur. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Çıkarımsal soru cevaplaması için Peft modeli.
Öznitelikler:
- config (
PretrainedConfig) — Temel modelin yapılandırma nesnesi. - cls_layer_name (
str) — Sınıflandırma katmanının adı.
Örnek:
>>> from transformers import AutoModelForQuestionAnswering
>>> from peft import PeftModelForQuestionAnswering, get_peft_config
>>> config = {
... "peft_type": "LORA",
... "task_type": "QUESTION_ANS",
... "inference_mode": False,
... "r": 16,
... "target_modules": ["query", "value"],
... "lora_alpha": 32,
... "lora_dropout": 0.05,
... "fan_in_fan_out": False,
... "bias": "none",
... }
>>> peft_config = get_peft_config(config)
>>> model = AutoModelForQuestionAnswering.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForQuestionAnswering(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 592900 || all params: 108312580 || trainable%: 0.5473971721475013add_adapter
< source >( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )
Parametreler
- adapter_name (
str) — Eklenecek adaptörün adı. - peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
- low_cpu_mem_usage (
bool,optional, defaults toFalse) — Meta cihazda boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır. Eğitim için yeni bir PEFT adaptörü oluştururken bu seçeneği kullanmayın. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.
Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.
Yeni adaptörün adı benzersiz olmalıdır.
Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.
PeftModelForFeatureExtraction
Dönüştürücü modellerden özellik/gömme çıkarmak için kullanılan bir PeftModel.
sınıf peft.PeftModelForFeatureExtraction
< source >( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )
Parametreler
- model (PreTrainedModel) — Temel transformer modeli.
- peft_config (PeftConfig) — Peft yapılandırması.
- adapter_name (
str, isteğe bağlı) — Adaptörün adı, varsayılan olarak"default"'tur. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Dönüştürücü modellerden özellik/gömme çıkarmak için Peft modeli
Öznitelikler:
- config (
PretrainedConfig) — Temel modelin yapılandırma nesnesi.
Örnek:
>>> from transformers import AutoModel
>>> from peft import PeftModelForFeatureExtraction, get_peft_config
>>> config = {
... "peft_type": "LORA",
... "task_type": "FEATURE_EXTRACTION",
... "inference_mode": False,
... "r": 16,
... "target_modules": ["query", "value"],
... "lora_alpha": 32,
... "lora_dropout": 0.05,
... "fan_in_fan_out": False,
... "bias": "none",
... }
>>> peft_config = get_peft_config(config)
>>> model = AutoModel.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForFeatureExtraction(model, peft_config)
>>> peft_model.print_trainable_parameters()PeftMixedModel
Farklı adaptör türlerini (ör. LoRA ve LoHa) karıştırmak için bir PeftModel.
sınıf peft.PeftMixedModel
< source >( model: nn.Modulepeft_config: PeftConfigadapter_name: str = 'default' )
Parametreler
- model (
torch.nn.Module) — Ayarlanacak model. - config (
PeftConfig) — Ayarlanacak modelin yapılandırması. Adaptör türü uyumlu olmalıdır. - adapter_name (
str,optional, varsayılan"default") — İlk adaptörün adı. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Meta cihazda boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.
Çeşitli türdeki adaptörleri çıkarım için karıştırmak üzere yüklemek için PeftMixedModel.
Bu sınıf yükleme/kaydetmeyi desteklemez ve genellikle doğrudan başlatılmamalıdır. Bunun yerine, get_peft_model fonksiyonunu mixed=True argümanıyla kullanın.
> Farklı adaptör türlerini kullanma hakkında daha fazla bilgi edinmek için Karışık adaptör türleri kılavuzunu okuyun
Örnek:
>>> base_model = ... # load the base model, e.g. from transformers
>>> peft_model = PeftMixedModel.from_pretrained(base_model, path_to_adapter1, "adapter1").eval()
>>> peft_model.load_adapter(path_to_adapter2, "adapter2")
>>> peft_model.set_adapter(["adapter1", "adapter2"]) # activate both adapters
>>> peft_model(data) # forward pass using both adaptersadd_adapter
< source >( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )
Parametreler
- adapter_name (
str) — Eklenecek adaptörün adı. - peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
- low_cpu_mem_usage (
bool,optional, varsayılan olarakFalse) — meta cihazında boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır.> Eğitim için yeni bir PEFT adaptörü oluştururken
low_cpu_mem_usage=Truekullanmayın (eğitim genel olarak PeftMixedModel için test edilmemiştir > ve önerilmez). - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.Falseolarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.
Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.
Yeni adaptörün adı benzersiz olmalıdır.
Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.
Uyarlama modülünü devre dışı bırakır.
Modelin ileri yönlü geçişi.
from_pretrained
< source >( model: nn.Modulemodel_id: str | os.PathLikeadapter_name: str = 'default'is_trainable: bool = Falseconfig: Optional[PeftConfig] = None**kwargs: Any )
Parametreler
- model (
nn.Module) — Uyarlanacak model. - model_id (
strveyaos.PathLike) — Kullanılacak PEFT yapılandırmasının adı. Şunlardan biri olabilir:- Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının
model id'si. save_pretrainedyöntemi kullanılarak kaydedilen bir PEFT yapılandırma dosyası içeren bir dizine giden yol (./my_peft_config_directory/).
- Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının
- adapter_name (
str, isteğe bağlı, varsayılan"default") — Yüklenecek adaptörün adı. Birden fazla adaptör yüklemek için kullanışlıdır. - is_trainable (
bool, isteğe bağlı, varsayılanFalse) — Uyarlamanın (adapter) eğitilebilir olup olmayacağı.Falseise, uyarlama dondurulur ve çıkarım (inference) için kullanılır. - config (PeftConfig, isteğe bağlı) —
Otomatik olarak yüklenen bir yapılandırma yerine kullanılacak yapılandırma nesnesi. Bu yapılandırma nesnesi,
model_idvekwargsile birbirini dışlar. Yapılandırma,from_pretrainedçağrılmadan önce zaten yüklendiyse bu durum faydalıdır. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır. - kwargs — (
optional): Belirli PEFT yapılandırma sınıfına iletilen ek anahtar kelime argümanları.
Önceden eğitilmiş bir modelden ve yüklenen PEFT ağırlıklarından bir PEFT karışık model örneği oluşturun.
Geçirilen model'in yerinde (inplace) değiştirilebileceğini unutmayın.
Çıktı üretin.
Modeldeki eğitilebilir parametre sayısını ve tüm parametre sayısını döndürür.
load_adapter
< source >( model_id: stradapter_name: str*args: Any**kwargs: Any )
Parametreler
- adapter_name (
str) — Eklenecek adaptörün adı. - peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
- is_trainable (
bool, isteğe bağlı, varsayılanFalse) — Uyarlamanın (adapter) eğitilebilir olup olmadığı.Falseise, uyarlama dondurulur ve yalnızca çıkarım (inference) için kullanılabilir. - torch_device (
str, isteğe bağlı, varsayılan None) — Adaptörün yükleneceği cihaz.Noneise cihaz çıkarılır. - autocast_adapter_dtype (
bool, isteğe bağlı, varsayılanTrue) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarakTrue'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü bu, kararlı eğitim için genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. - ephemeral_gpu_offload (
bool, isteğe bağlı, varsayılanFalse) — Kısmen yüklenmiş modüller için geçici GPU dışa aktarma kullanılıp kullanılmayacağı. VarsayılanFalse. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır. - kwargs — (
optional): Uyarlamanın (adapter) yüklenme şeklini değiştirmek için ek argümanlar, örneğin Hugging Face Hub için jeton.
Eğitilmiş bir adaptörü modele yükleyin.
Yeni adaptörün adı benzersiz olmalıdır.
Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.
merge_and_unload
< source >( *args: Any**kwargs: Any )
Parametreler
- progressbar (
bool) — yükleme kaldırma ve birleştirme sürecini gösteren bir ilerleme çubuğu gösterilip gösterilmeyeceğini belirtir - safe_merge (
bool) — adaptör ağırlıklarında olası Nan olup olmadığını kontrol etmek için güvenli birleştirme kontrolünün etkinleştirilip etkinleştirilmeyeceği - adapter_names (
List[str], isteğe bağlı) — Birleştirilecek adaptör adlarının listesi. None ise, tüm etkin adaptörler birleştirilir. Varsayılan değerNone'dir.
Bu yöntem, adaptör katmanlarını temel modele birleştirir. Bu, birinin temel modeli bağımsız bir model olarak kullanmak istemesi durumunda gereklidir.
Modeldeki eğitilebilir parametre sayısını yazdırır.
Not: print_trainable_parameters(), get_nb_trainable_parameters() işlevini kullanır ve bu, huggingface/transformers'taki num_parameters(only_trainable=True)'ten farklıdır. get_nb_trainable_parameters(), değiştirilmiş omurga dönüştürücü modelini de içeren Peft Model'inin (eğitilebilir parametreler, tüm parametreler) değerini döndürür. LoRA gibi tekniklerde omurga dönüştürücü modeli, LoRA modülleriyle yerinde değiştirilir. Ancak prompt tuning için omurga dönüştürücü modeli değiştirilmez. num_parameters(only_trainable=True), omurga dönüştürücü modelinin eğitilebilir parametre sayısını döndürür ve bu değer farklı olabilir.
set_adapter
< source >( adapter_name: Union[str, list[str]]inference_mode: bool = False )
Model için etkin adaptör(ler)i ayarlar.
Dikkat edin, ileri yönlü geçiş sırasında adaptörlerin uygulanma sırası, bu işlevde geçirilen sırayla aynı olmayabilir. Bunun yerine, ileri yönlü geçiş sırası, adaptörlerin modele hangi sırayla yüklendiği tarafından belirlenir. Aktif adaptörler yalnızca ileri yönlü geçiş sırasında hangi adaptörlerin aktif olduğunu belirler, ancak uygulanma sırasını belirlemez.
Ayrıca, bu işlev, inference_mode değeri True olmadıkça, belirtilen adaptörü eğitilebilir (yani requires_grad=True) olarak ayarlar.
Tüm adaptör modüllerini birleştirme işlemi olmadan kaldırarak temel modeli geri alır. Bu, orijinal temel modeli geri verir.
Yardımcılar
peft.cast_mixed_precision_params
< source >( model: torch.nn.Moduledtype: torch.dtype )
Modelin tüm eğitilemez parametrelerini verilen dtype değerine dönüştürür. dtype, uyguladığınız karma hassasiyetli eğitime göre torch.float16 veya torch.bfloat16 olabilir. Eğitilebilir parametreler tam hassasiyete dönüştürülür. Bu, eğitilemez parametreler için yarı hassasiyetli dtype kullanarak PEFT yöntemlerini kullanırken GPU bellek kullanımını azaltmak için tasarlanmıştır. Eğitilebilir parametrelerin tam hassasiyette tutulması, otomatik karma hassasiyetli eğitim kullanılırken eğitim kararlılığını korur.
torch.bfloat16, uyguladığınız karma hassasiyetli eğitime göre.
peft.get_peft_model
< source >( model: nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'mixed: bool = Falseautocast_adapter_dtype: bool = Truerevision: Optional[str] = Nonelow_cpu_mem_usage: bool = False )
Parametreler
- model (
torch.nn.Module) — Model to be wrapped. Typically this is a Transformers model but anynn.Modulecan work, with the caveat that task-specific features (peft_config.task_type) require the model to follow Transformers conventions. - peft_config (PeftConfig) — Peft modelinin parametrelerini içeren yapılandırma nesnesi.
- adapter_name (
str,optional, varsayılan"default") — Enjekte edilecek adaptörün adı; belirtilmezse varsayılan adaptör adı (“default”) kullanılır. - mixed (
bool,optional, varsayılanFalse) — Farklı (uyumlu) adaptör türlerinin karıştırılmasına izin verilip verilmeyeceği. - autocast_adapter_dtype (
bool, isteğe bağlı) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan değeriTrue'dür. Şu anda bu, genellikle kararlı eğitim için gerekli olduğu için yalnızca float16 veya bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür ve yalnızca seçili PEFT ayarlayıcılarını etkiler. - revision (
str,optional, varsayılanmain) — Taban modelin revizyonu. Bu ayarlanmazsa, kaydedilen peft modeli, taban model içinmainrevizyonunu yükler. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Create empty adapter weights on meta device. Useful to speed up the loading process. Leave this setting as False if you intend on training the model, unless the adapter weights will be replaced by different weights before training starts.
Bir model ve bir yapılandırma (config) üzerinden, modelin yerinde (in-place) değiştirileceği bir Peft model nesnesi döndürür.
peft.inject_adapter_in_model
< source >( peft_config: PeftConfigmodel: torch.nn.Moduleadapter_name: str = 'default'low_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
Parametreler
- peft_config (
PeftConfig) — PEFT modelinin parametrelerini içeren yapılandırma nesnesi. - model (
torch.nn.Module) — Adaptörün enjekte edileceği girdi modeli. - adapter_name (
str,optional, varsayılan"default") — Enjekte edilecek adaptörün adı; belirtilmezse varsayılan adaptör adı (“default”) kullanılır. - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Meta cihazda boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır. - state_dict (
dict, isteğe bağlı, varsayılanNone) — Buraya birstate_dictgeçirilirse, adaptörler state_dict girdilerine göre enjekte edilir. PEFT yönteminin tamtarget_modulesdeğerlerinin bilinmediği durumlarda, örneğin checkpoint meta veri olmadan oluşturulduğunda bu işe yarayabilir. Not:state_dictiçindeki değerler kullanılmaz, yalnızca uyarlanacak doğru katmanları belirlemek için anahtarlar kullanılır.
PEFT katmanlarını oluşturun ve bunları modele yerinde enjekte edin.
Şu anda API, prompt öğrenme yöntemlerini, adaption prompt'u veya adaptör durumunu birden çok hedef katman arasında paylaşan tuner'ları desteklememektedir. Sonuncusu için get_peft_model() kullanın.
Bu fonksiyon get_peft_model() ile benzerdir ancak bir PeftModel örneği döndürmez. Bunun yerine, geçirilen modelin değiştirilmiş orijinal örneğini döndürür.
peft.get_peft_model_state_dict
< source >( modelstate_dict = Noneadapter_name: str = 'default'unwrap_compiled: bool = Falsesave_embedding_layers: bool | Literal['auto'] = 'auto' )
Parametreler
- model (PeftModel) — Peft modeli. torch.nn.DistributedDataParallel, DeepSpeed veya FSDP kullanıldığında, modelin alttaki model/sarmalanan model olması gerekir (yani model.module).
- state_dict (
dict, isteğe bağlı, varsayılanNone) — Modelin state dict'i. Sağlanmazsa, iletilen modelin state dict'i kullanılır. - adapter_name (
str, isteğe bağlı, varsayılan"default") — Durum sözlüğünün (state dict) döndürüleceği adaptörün adı. - unwrap_compiled (
bool, isteğe bağlı, varsayılanFalse) — torch.compile kullanıldıysa modelin sarmalayıcısının kaldırılıp kaldırılmayacağı. - save_embedding_layers (
Union[bool, str], , isteğe bağlı, varsayılanauto) —Trueise, adaptör ağırlıklarının yanı sıra gömme katmanları da kaydedilir.autoise, config’dekitarget_modulesiçinde mevcut olduğundapeft.utils.other.EMBEDDING_LAYER_NAMESadlı yaygın gömme katmanlarını kontrol eder. Buna göre boolean bayrağını ayarlar. Bu yalnızca 🤗 transformers modelleri için çalışır.
PEFT modelinin belirtilen adaptörünün durum sözlüğünü (state dict) alın.
Bu, yalnızca PEFT parametrelerini içerir, temel modelin parametrelerini değil. Bu nedenle döndürülen state_dict, tam model boyutuyla karşılaştırıldığında genellikle küçüktür. Tam state_dict'i almak için yalnızca model.state_dict() çağrısını yapmanız yeterlidir.
Seçilen girdiler dağıtılmış tensörler içeriyorsa (ör. FSDP2 veya DTensor TP), tüm katılan rank'lar bu fonksiyonu çağırmalıdır: bu girdilerin tam tensörlere toplanması kolektif bir işlemdir. Seçilmeyen temel model ağırlıkları parçalı (sharded) olarak kalır.
Adaptör adının, yüklenirken değiştirilebilecek keyfi bir ad olduğu için state_dict içinden kaldırıldığını unutmayın. Dolayısıyla örneğin adaptör adı 'default' ve orijinal anahtar 'model.q_proj.lora_A.default.weight' ise, döndürülen anahtar 'model.q_proj.lora_A.weight' olacaktır. Ağırlıkları yüklerken adaptör adıyla ilgilenmek için bu işlevi set_peft_model_state_dict() ile birlikte kullanın.
peft.prepare_model_for_kbit_training
< source >( modeluse_gradient_checkpointing = Trueactivation_checkpointing_kwargs = Noneauto_clear_cache = Truegradient_checkpointing_kwargs = None )
Parametreler
- model (
transformers.PreTrainedModel) —transformerskütüphanesinden yüklenen model - use_gradient_checkpointing (
bool, isteğe bağlı, varsayılanTrue) — True ise, geriye yayılımın yavaşlaması pahasına bellek tasarrufu sağlamak için gradient checkpointing kullanılır. - activation_checkpointing_kwargs (
dict, isteğe bağlı, varsayılanNone) — Aktivasyon kontrol noktası işlevine iletilecek anahtar kelime argümanları, bu yönteme iletilebilecek argümanlar hakkında daha fazla ayrıntı içintorch.utils.checkpoint.checkpointbelgelerine bakın. Not: Bu özellik yalnızca transformers sürümlerinde (> 4.34.1) kullanılabilir. - auto_clear_cache (
bool, isteğe bağlı, varsayılanTrue) — Parametreler fp32'ye yükseltilirken (upcast) hızlandırıcı önbelleğinin boşaltılıp boşaltılmayacağını belirtir. Bu işlem, önbellek ayıracının (caching allocator) tuttuğu belleği serbest bırakır ve özellikle host ile hızlandırıcı belleğini paylaşan cihazlarda faydalıdır. Bu adımı atlamak içinFalseolarak ayarlayın. - gradient_checkpointing_kwargs (
dict, isteğe bağlı, varsayılanNone) — Aktivasyon checkpointing işlevine iletilecek anahtar kelime argümanları. Bu argüman yalnızca geriye dönük uyumluluk için mevcuttur ve kullanımdan kaldırılmıştır; bunun yerineactivation_checkpointing_kwargskullanın. PEFT v1.2 sürümünde kaldırılacaktır.
Bu yöntemin yalnızca transformers modelleri için çalıştığını unutmayın.
Bu yöntem, bir eğitim çalıştırılmadan önce modeli hazırlamak için tüm protokolü sarar. Bunlar şunları içerir: 1- layernorm'u fp32'ye dönüştürme 2- çıktı gömme katmanının gradyan gerektirmesini sağlama 3- lm head'inin fp32'ye yükseltilmesini ekleme 4- eğitim sırasında güncellenmemelerini sağlamak için temel model katmanlarını dondurma
peft.get_layer_status
< source >( model: torch.nn.Module ) → listpeft.peft_model.TunerLayerStatus
Modeldeki her adaptör katmanının durumunu alın.
Bu fonksiyon, her biri aşağıdaki öznitelikleri içeren TunerLayerStatus veri sınıfı örneklerinden oluşan bir liste döndürür:
name(str): Adaptör katmanının adı, örn.model.encoder.block.0.layer.0.SelfAttention.q.module_type(str): Adaptör katmanının türü, örn.lora.Linear.enabled(bool): Uyarlama katmanının etkin olup olmadığı.active_adapters(list[str]): Varsa, etkin adaptörlerin adları, örn.["default"].merged_adapters(list[str]): Birleşmiş adaptörlerin adları (varsa), örn.["default"].- requires_grad : dict[str, bool | Literal[“irregular”]]
Her adaptör modülü için parametrelerin requires_grad durumu. İdeal olarak, bu değer
TrueveyaFalseolmalıdır. requires_grad durumu tüm parametreler arasında tutarlı değilse, değer"irregular"olarak ayarlanır. available_adapters(list[str]): Kullanılabilir adaptörlerin adları, örn.["default"].devices(dict[str, list[str]]): Verilen adaptörün parametrelerinin saklandığı cihazlar, örn.["cuda","xpu"].quantization_backend(strveyaNone): Kuantizasyon arka planının adı, örneğin"bnb 4bit", kuantize edilmemişseNone.
peft.get_model_status
< source >( model: torch.nn.Module ) → peft.peft_model.TunerModelStatus
Modelin ayarlayıcılarının durumunu alın.
Bu fonksiyon, aşağıdaki öznitelikleri içeren bir TunerModelStatus veri sınıfı örneği döndürür:
base_model_type(str): Temel modelin türü, örn.T5Model.adapter_model_type(str): Uyarlama modelinin türü, örn.LoraModel.peft_types(dict[str, str]): Adaptör adından adaptör türüne eşleme, örn.{"default": "LORA"}.trainable_params(int): Modeldeki eğitilebilir parametre sayısı.total_params(int): Modeldeki toplam parametre sayısı.num_adapter_layers(int): Modeldeki adaptör katmanlarının sayısı.enabled(bool,Literal["irregular"]): Tüm adaptör katmanlarının etkin olup olmadığı. Bazıları etkin, bazıları değilse bu değer"irregular"olur. Bu, modelinizin tutarsız bir durumda olduğu ve beklenildiği gibi çalışmayabileceği anlamına gelir.active_adapters(list[str],Literal["irregular"]): Aktif adaptörlerin adları. Aktif adaptörler tüm katmanlar arasında tutarlı değilse, bu değer"irregular"olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.merged_adapters(list[str],Literal["irregular"]): Birleştirilen adaptörlerin adları. Birleştirilen adaptörler tüm katmanlar arasında tutarlı değilse, bu değer"irregular"olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.requires_grad(dict[str, bool | Literal["irregular"]]): Verilen adaptör için tüm adaptör katmanlarındarequires_grad'ınTrueveyaFalseolarak ayarlanıp ayarlanmadığı. Karışık bir durum varsa, bu"irregular"olarak ayarlanır; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.available_adapters(list[str]): Kullanılabilir adaptörlerin adları, örn.["default"].devices(dict[str, list[str]]): Verilen adaptörün parametrelerinin saklandığı cihazlar, örn.["cuda","xpu"].quantization_backend(str,None,Literal["irregular"]): Kuantizasyon arka planının adı, örneğin"bnb 4bit"veya kuantize edilmemişseNone. Arka plan tüm katmanlar arasında tutarlı değilse bu değer"irregular"olur.