PEFT documentation

Modeller

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Modeller

PeftModel, bir PEFT yönteminin uygulanacağı temel Transformer modeli ve yapılandırmasını belirtmek için kullanılan temel model sınıfıdır. Temel PeftModel, Hub'dan modelleri yükleme ve kaydetme yöntemlerini içerir.

PeftModel

sınıf peft.PeftModel

< >

( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'autocast_adapter_dtype: bool = Truelow_cpu_mem_usage: bool = False )

Parametreler

  • model (torch.nn.Module) — Uyarlanacak temel model, genellikle bir Transformers modelidir.
  • peft_config (PeftConfig) — Peft modelinin yapılandırması.
  • adapter_name (str, isteğe bağlı) — Adaptörün adı, varsayılan olarak "default"'tur.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
  • low_cpu_mem_usage (bool, optional, varsayılan olarak False) — meta cihazında boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.

    > Eğitim için yeni bir PEFT adaptörü oluştururken low_cpu_mem_usage=True kullanmayın.

Çeşitli Peft yöntemlerini kapsayan temel model.

Öznitelikler:

  • base_model (torch.nn.Module) — Peft için kullanılan temel dönüştürücü modeli.
  • peft_config (PeftConfig) — Peft modelinin yapılandırması.
  • modules_to_save (list of str) — Model kaydedildiğinde kaydedilecek alt modül adlarının listesi.
  • prompt_encoder (PromptEncoder) — PromptLearningConfig kullanılıyorsa Peft için kullanılan prompt kodlayıcı.
  • prompt_tokens (torch.Tensor) — PromptLearningConfig kullanılıyorsa Peft için kullanılan sanal prompt jetonları.
  • transformer_backbone_name (str) — PromptLearningConfig kullanılıyorsa, temel modeldeki transformer omurgasının adı.
  • word_embeddings (torch.nn.Embedding) — PromptLearningConfig kullanılıyorsa, temel modeldeki transformer omurgasının kelme gömme değerleri

add_adapter

< >

( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )

Parametreler

  • adapter_name (str) — Eklenecek adaptörün adı.
  • peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Meta cihazda boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır. Eğitim için yeni bir PEFT adaptörü oluştururken bu seçeneği kullanmayın.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.

Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.

Yeni adaptörün adı benzersiz olmalıdır.

Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.

create_or_update_model_card

< >

( output_dir: str )

peft hakkında bilgi içerecek şekilde model kartını güncelleyin veya oluşturun:

  1. peft kitaplığı etiketini ekler
  2. peft sürümünü ekler
  3. Temel model bilgilerini ekler
  4. Kullanıldıysa, kuantizasyon bilgilerini ekler

delete_adapter

< >

( adapter_name: str )

Parametreler

  • adapter_name (str) — Silinecek adaptörün adı.

Mevcut bir adaptörü siler.

disable_adapter

< >

( )

Adapter modülünü devre dışı bırakan bağlam yöneticisi. Temel model üzerinde çıkarım (inference) çalıştırmak için bunu kullanın.

Örnek:

>>> with model.disable_adapter():
...     model(inputs)

forward

< >

( *args: Any**kwargs: Any )

Modelin ileri yönlü geçişi.

from_pretrained

< >

( model: torch.nn.Modulemodel_id: Union[str, os.PathLike]adapter_name: str = 'default'is_trainable: bool = Falseconfig: Optional[PeftConfig] = Noneautocast_adapter_dtype: bool = Trueephemeral_gpu_offload: bool = Falselow_cpu_mem_usage: bool = Falsekey_mapping: Optional[dict[str, str]] = Nonestrict_adapter_check: Literal['warn', 'error', 'ignore'] = 'warn'**kwargs: Any )

Parametreler

  • model (torch.nn.Module) — Uyarlanacak model. 🤗 Transformers modelleri için model, from_pretrained ile başlatılmalıdır.
  • model_id (str veya os.PathLike) — Kullanılacak PEFT yapılandırmasının adı. Şunlardan biri olabilir:
    • Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının model id'si.
    • save_pretrained yöntemi kullanılarak kaydedilen bir PEFT yapılandırma dosyası içeren bir dizine giden yol (./my_peft_config_directory/).
  • adapter_name (str, isteğe bağlı, varsayılan "default") — Yüklenecek adaptörün adı. Birden fazla adaptör yüklemek için kullanışlıdır.
  • is_trainable (bool, isteğe bağlı, varsayılan False) — Uyarlamanın (adapter) eğitilebilir olup olmadığı. False ise, uyarlama dondurulur ve yalnızca çıkarım (inference) için kullanılabilir.
  • config (PeftConfig, isteğe bağlı) — Otomatik olarak yüklenen bir yapılandırma yerine kullanılacak yapılandırma nesnesi. Bu yapılandırma nesnesi, model_id ve kwargs ile birbirini dışlar. Yapılandırma, from_pretrained çağrılmadan önce zaten yüklendiyse bu durum faydalıdır.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
  • ephemeral_gpu_offload (bool, isteğe bağlı) — Kısmen yüklenmiş modüller için geçici GPU dışa aktarma kullanılıp kullanılmayacağı. Varsayılan değer False'dir. Bu, modelin ve/veya bileşenlerin (adaptörler gibi) ihtiyaç duyulana kadar CPU belleğinde tutulduğu durumlarda faydalıdır. Küçük veriler üzerinde pahalı işlemler yerine, veriler talep üzerine GPU'ya aktarılır, işlem(ler) yapılır ve sonuçlar CPU belleğine geri taşınır. Bu, hafif bir anlık VRAM yükü getirir ancak belirli durumlarda kat kat hızlanma sağlar.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır.
  • key_mapping (dict, isteğe bağlı, varsayılanı None) — state_dict yüklenmeden önce PEFT state_dict anahtarlarına uygulanan ek eşleme. Bu eşleme uygulandığında, PEFT'ye özgü "base_model.model" öneki önceden kaldırılır ve adaptör adı (ör. "default") henüz eklenmez. Bu argümanı yalnızca ne yaptığınızı biliyorsanız iletin.
  • strict_adapter_check (Literal["warn", "error", "ignore"], isteğe bağlı, varsayılan "warn") — Yapısal nedenlerle farklı olması beklenen anahtarlar (paylaşılan parametreler, prompt kodlayıcı yolu vb.) dikkate alındıktan sonra, kontrol noktasında modelde eksik olan veya model için beklenmedik olan adaptör anahtarları varsa ne yapılacağı. "warn" bir uyarı yazar, "error" bir RuntimeError fırlatır ve "ignore" hiçbir şey yapmaz. Bu, torch.nn.Module.load_state_dict'in strict kontrolüyle aynı değildir: PEFT adaptörleri her zaman dondurulmuş bir taban modelle birlikte var olur, bu nedenle bu durum yalnızca adaptöre özgü anahtarları ilgilendirir, asla taban modelin kendi parametrelerini değil.
  • kwargs — (optional): Belirli PEFT yapılandırma sınıfına iletilen ek anahtar kelime argümanları. Bunlar arasında torch_device (str, isteğe bağlı): adaptörün yükleneceği cihaz ( load_adapter[PeftModel.load_adapter] içine iletilir); None ise cihaz çıkarılır.

Önceden eğitilmiş bir modelden ve yüklenen PEFT ağırlıklarından bir PEFT modeli örnekleyin.

Geçirilen model'in yerinde (inplace) değiştirilebileceğini unutmayın.

get_base_model

< >

( )

Temel modeli döndürür.

get_layer_status

< >

( ) → listpeft.peft_model.TunerLayerStatus

Dönüş değeri

listpeft.peft_model.TunerLayerStatus

Her biri ilgili adaptör katmanının durumunu içeren dataclass'ların bir listesi.

Modeldeki her adaptör katmanının durumunu alın.

Bu yöntem, TunerLayerStatus veri sınıfı örneklerinin bir listesini döndürür; her biri aşağıdaki öznitelikleri içerir:

  • name (str): Adaptör katmanının adı, örn. model.encoder.block.0.layer.0.SelfAttention.q.
  • module_type (str): Adaptör katmanının türü, örn. lora.Linear.
  • enabled (bool): Uyarlama katmanının etkin olup olmadığı.
  • active_adapters (list[str]): Varsa, etkin adaptörlerin adları, örn. ["default"].
  • merged_adapters (list[str]): Birleşmiş adaptörlerin adları (varsa), örn. ["default"].
  • available_adapters (list[str]): Kullanılabilir adaptörlerin adları, örn. ["default"].
  • quantization_backend (str veya None): Kuantizasyon arka planının adı, örneğin "bnb 4bit", kuantize edilmemişse None.

get_model_status

< >

( ) → peft.peft_model.TunerModelStatus

Dönüş değeri

peft.peft_model.TunerModelStatus

Modelin durumunu içeren bir dataclass.

Modelin ayarlayıcılarının durumunu alın.

Bu yöntem, aşağıdaki öznitelikleri içeren bir TunerModelStatus veri sınıfı örneği döndürür:

  • base_model_type (str): Temel modelin türü, örn. T5Model.
  • adapter_model_type (str): Uyarlama modelinin türü, örn. LoraModel.
  • peft_types (dict[str, str]): Adaptör adından adaptör türüne eşleme, örn. {"default": "LORA"}.
  • trainable_params (int): Modeldeki eğitilebilir parametre sayısı.
  • total_params (int): Modeldeki toplam parametre sayısı.
  • num_adapter_layers (int): Modeldeki adaptör katmanlarının sayısı.
  • enabled (bool, Literal["irregular"]): Tüm adaptör katmanlarının etkin olup olmadığı. Bazıları etkin, bazıları değilse bu değer "irregular" olur. Bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.
  • active_adapters (list[str], Literal["irregular"]): Aktif adaptörlerin adları. Aktif adaptörler tüm katmanlar arasında tutarlı değilse, bu değer "irregular" olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.
  • merged_adapters (list[str], Literal["irregular"]): Birleştirilen adaptörlerin adları. Birleştirilen adaptörler tüm katmanlar arasında tutarlı değilse, bu değer "irregular" olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.
  • available_adapters (list[str]): Kullanılabilir adaptörlerin adları, örn. ["default"].
  • quantization_backend (str, None, Literal["irregular"]): Kuantizasyon arka planının adı, örneğin "bnb 4bit" veya kuantize edilmemişse None. Arka plan tüm katmanlar arasında tutarlı değilse bu değer "irregular" olur.

get_nb_trainable_parameters

< >

( )

Modeldeki eğitilebilir parametre sayısını ve tüm parametre sayısını döndürür.

get_prompt

< >

( batch_size: inttask_ids: Optional[torch.Tensor] = Nonemax_cache_len: Optional[int] = None )

Peft için kullanılacak sanal istemleri döndürür. Yalnızca bir istem öğrenme yöntemi kullanıldığında geçerlidir.

get_prompt_embedding_to_save

< >

( adapter_name: str )

Model kaydedildiğinde kaydedilecek prompt gömme değerini döndürür. Yalnızca bir prompt öğrenme yöntemi kullanıldığında geçerlidir.

sağlık kontrolü

< >

( min_trainable_params: int = 1max_trainable_params_percent = 50 )

Parametreler

  • min_trainable_params (int, isteğe bağlı, varsayılan=1) — Beklenen minimum parametre sayısı. Bunlardan daha azı bulunursa, bu bir hata olarak raporlanır.
  • max_trainable_params_percent (int, isteğe bağlı, varsayılan=50) — Eğitilebilir olması gereken parametrelerin maksimum yüzdesi. Bunlardan fazlası bulunursa, bu bir uyarı olarak raporlanır.

Eğitimden önce bu modeli, şüpheli görünen adaptör durumları açısından kontrol edin.

Bu fonksiyon, model ve katman durumu API'lerini özetler ve tutarsız adaptör durumu, birleştirilmiş adaptörler ve olası olmayan eğitilebilir parametre sayıları için bulguları içerir. Eğitim döngüsünü, optimizatörü veya veri setini doğrulamaz. Modelde tutarsızlıklar tespit edilirse durum "irregular" olarak raporlanır; örneğin aynı adaptör için bazı katmanlar etkinleştirilmişken bazı katmanlar devre dışı bırakılmışsa. Bu, neredeyse her zaman bir şeyin yanlış gittiği ve model üzerindeki bazı öznitelikleri yanlışlıkla değiştirmediğinizi kontrol etmeniz gerektiği anlamına gelir.

Prompt öğrenme ve adaption prompt için rapor, bu yöntemlerin desteklemediği katman bazlı durum bilgisi olmadan model bilgilerini ve parametre sayılarını içerir.

Eğer kontrol şüpheli bir şey bulduysa, bu durum "findings" alanında raporlanır. Boş bir "findings"" listesi, şüpheli bir adaptör durumunun tespit edilmediği anlamına gelir; bir eğitim çalışmasının başarılı olacağının garantisi değildir.

load_adapter

< >

( model_id: Union[str, os.PathLike]adapter_name: stris_trainable: bool = Falsetorch_device: Optional[str] = Noneautocast_adapter_dtype: bool = Trueephemeral_gpu_offload: bool = Falselow_cpu_mem_usage: bool = Falsekey_mapping: Optional[dict[str, str]] = Nonestrict_adapter_check: Literal['warn', 'error', 'ignore'] = 'warn'**kwargs: Any )

Parametreler

  • model_id (str veya os.PathLike) — Kullanılacak PEFT yapılandırmasının adı. Şunlardan biri olabilir:
    • Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının model id'si.
    • save_pretrained yöntemi kullanılarak kaydedilen bir PEFT yapılandırma dosyası içeren bir dizine giden yol (./my_peft_config_directory/).
  • adapter_name (str) — Eklenecek adaptörün adı.
  • is_trainable (bool, isteğe bağlı, varsayılan False) — Uyarlamanın (adapter) eğitilebilir olup olmadığı. False ise, uyarlama dondurulur ve yalnızca çıkarım (inference) için kullanılabilir.
  • torch_device (str, isteğe bağlı, varsayılan None) — Adaptörün yükleneceği cihaz. None ise cihaz çıkarılır.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.
  • ephemeral_gpu_offload (bool, isteğe bağlı, varsayılan False) — Kısmen yüklenmiş modüller için geçici GPU dışa aktarma kullanılıp kullanılmayacağı. Varsayılan False.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır.
  • key_mapping (dict, isteğe bağlı, varsayılanı None) — state_dict yüklenmeden önce PEFT state_dict anahtarlarına uygulanan ek eşleme. Bu eşleme uygulandığında, PEFT'ye özgü "base_model.model" öneki önceden kaldırılır ve adaptör adı (ör. "default") henüz eklenmez. Bu argümanı yalnızca ne yaptığınızı biliyorsanız iletin.
  • strict_adapter_check (Literal["warn", "error", "ignore"], isteğe bağlı, varsayılan "warn") — Yapısal nedenlerle farklı olması beklenen anahtarlar (paylaşılan parametreler, prompt kodlayıcı yolu vb.) dikkate alındıktan sonra, kontrol noktasında modelde eksik olan veya model için beklenmedik olan adaptör anahtarları varsa ne yapılacağı. "warn" bir uyarı yazar, "error" bir RuntimeError fırlatır ve "ignore" hiçbir şey yapmaz. Bu, torch.nn.Module.load_state_dict'in strict kontrolüyle aynı değildir: PEFT adaptörleri her zaman dondurulmuş bir taban modelle birlikte var olur, bu nedenle bu durum yalnızca adaptöre özgü anahtarları ilgilendirir, asla taban modelin kendi parametrelerini değil.
  • kwargs — (optional): Uyarlamanın (adapter) yüklenme şeklini değiştirmek için ek argümanlar, örneğin Hugging Face Hub için jeton.

Eğitilmiş bir adaptörü modele yükleyin.

Yeni adaptörün adı benzersiz olmalıdır.

Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.

merge_adapter

< >

( adapter_names: Optional[list[str]] = Nonesafe_merge: bool = False**kwargs: Any )

Parametreler

  • adapter_names (list[str], isteğe bağlı) — Birleştirilecek adaptör adlarının listesi. None ise tüm etkin adaptörler birleştirilir. Varsayılan değer None'dir.
  • safe_merge (bool, isteğe bağlı) — True ise, birleştirme işlemi orijinal ağırlıkların bir kopyasında gerçekleştirilir ve ağırlıklar birleştirilmeden önce NaN değerleri kontrol edilir. Birleştirme işleminin NaN üreteceğini kontrol etmek istiyorsanız bu işe yarar. Varsayılan değer False'tur.

Aktif adaptörleri temel modele birleştirin.

Birleşme (merging), LoRA, IA³ veya OFT gibi taban modele ağırlık ekleyen çoğu PEFT yöntemi tarafından desteklenir. İstem öğrenme yöntemleri (ör. prompt tuning) ve uyarlama istemi (adaption prompt) için birleşme desteklenmez ve bir TypeError oluşturulur.

Not: Birleştirme işlemini genel olarak destekleyen PEFT yöntemleri bile belirli model veya katman yapılandırmaları için hata verebilir; örneğin gptq-kuantize edilmiş modeller için ValueError, groups > 1 değerine sahip _ConvNd katmanlarında LoRA için NotImplementedError veya Eetq katmanlarında LoRA için AttributeError.

prepare_model_for_gradient_checkpointing

< >

( model: PreTrainedModel )

Gerekirse modeli gradyan denetleme noktası (gradient checkpointing) için hazırlar

Not: Daha yeni Transformers sürümlerinde buna ‘activation checkpointing’ denir.

print_healthcheck

< >

( sink = <built-in function print>min_trainable_params: int = 1max_trainable_params_percent = 50**kwargs )

Parametreler

  • sink (callable, isteğe bağlı, varsayılan=print) — Çıktıyı yazdırmak için çağrılan işlev. Varsayılan olarak yalnızca yerleşik print işlevidir, ancak logger.info gibi başka bir şey de olabilir.
  • min_trainable_params (int, isteğe bağlı, varsayılan=1) — Beklenen minimum parametre sayısı. Bunlardan daha azı bulunursa, bu bir hata olarak raporlanır.
  • max_trainable_params_percent (int, isteğe bağlı, varsayılan=50) — Eğitilebilir olması gereken parametrelerin maksimum yüzdesi. Bunlardan fazlası bulunursa, bu bir uyarı olarak raporlanır.
  • kwargs — Ek anahtar kelime argümanları format_healthcheck işlevine iletilir.

Kompakt, insan okunabilir bir sağlık kontrolü raporu yazdırın.

Çıktı, PEFT modelinizin durumunu özetler ve tutarsız adaptör durumu, birleştirilmiş adaptörler ve olası olmayan eğitilebilir parametre sayıları için bulguları içerir. Eğitim döngüsünü, optimizatörü veya veri setini doğrulamaz. Modelde tutarsızlıklar tespit edilirse, örneğin aynı adaptör için bazı katmanlar etkinleştirilmişken bazı katmanlar devre dışı bırakılmışsa, durum "irregular" olarak raporlanır. Bu, neredeyse her zaman bir şeyin yanlış gittiği ve model üzerindeki bazı öznitelikleri yanlışlıkla değiştirmediğinizi kontrol etmeniz gerektiği anlamına gelir.

Sorunlar tespit edilirse, bunlar son bölümdeki “findings” altında gösterilir. Sorun tespit edilmediyse, bu bir eğitim çalışmasının başarılı olacağının garantisi anlamına gelmez.

print_trainable_parameters

< >

( )

Modeldeki eğitilebilir parametre sayısını yazdırır.

Not: print_trainable_parameters(), get_nb_trainable_parameters() işlevini kullanır ve bu, huggingface/transformers'taki num_parameters(only_trainable=True)'ten farklıdır. get_nb_trainable_parameters(), değiştirilmiş omurga dönüştürücü modelini de içeren Peft Model'inin (eğitilebilir parametreler, tüm parametreler) değerini döndürür. LoRA gibi tekniklerde omurga dönüştürücü modeli, LoRA modülleriyle yerinde değiştirilir. Ancak prompt tuning için omurga dönüştürücü modeli değiştirilmez. num_parameters(only_trainable=True), omurga dönüştürücü modelinin eğitilebilir parametre sayısını döndürür ve bu değer farklı olabilir.

save_pretrained

< >

( save_directory: strsafe_serialization: bool = Trueselected_adapters: Optional[list[str]] = Nonesave_embedding_layers: Union[str, bool] = 'auto'is_main_process: bool = Truepath_initial_model_for_weight_conversion: Optional[str] = None**kwargs: Any )

Parametreler

  • save_directory (str) — Uyarlama modeli ve yapılandırma dosyalarının kaydedileceği dizin (varsa oluşturulur).
  • safe_serialization (bool, isteğe bağlı) — Uyarlama dosyalarının safetensors biçiminde kaydedilip kaydedilmeyeceğini belirtir, varsayılan değeri True'dür.
  • selected_adapters (List[str], isteğe bağlı) — Kaydedilecek adaptörlerin listesi. None ise, varsayılan olarak tüm adaptörler kullanılır.
  • save_embedding_layers (Union[bool, str], isteğe bağlı, varsayılan "auto") — True ise, adaptör ağırlıklarının yanı sıra gömme katmanları da kaydedilir. auto ise, config’de target_modules mevcut olduğunda, yaygın gömme katmanları olan peft.utils.other.EMBEDDING_LAYER_NAMES kontrol edilir ve boolean bayrağı otomatik olarak ayarlanır. Bu yalnızca 🤗 transformers modelleri için çalışır.
  • is_main_process (bool, isteğe bağlı) — Bu çağrıyı yapan sürecin ana süreç olup olmadığı. Varsayılan olarak True olur. Ana süreçte değilse kontrol noktasını kaydetmez; bu, çoklu cihaz kurulumları (ör. DDP) için önemlidir.
  • path_initial_model_for_weight_conversion (str, isteğe bağlı) — Model, PiSSA/CorDA/OLoRA ile başlatıldıktan ve herhangi bir eğitim yapılmadan önce elde edilen başlatılmış adaptöre giden yol. path_initial_model_for_weight_conversion None olmadığında, ince ayar öncesi ve sonrası adaptör arasındaki fark hesaplanır. Bu fark, standart bir LoRA adaptörünün parametreleri olarak temsil edilebilir. PiSSA ve benzerlerinden farklı olarak, bu dönüştürülmüş adaptörü kullanmak temel modelde değişiklik gerektirmez; bu da LoRA adaptörleriyle birlikte birden fazla PiSSA/CorDA/OLoRA adaptörünün kullanılmasını ve herhangi bir adaptörün etkinleştirilmesini veya devre dışı bırakılmasını kolayca mümkün kılar. Dikkat edin, rslora rank_pattern veya alpha_pattern ile birlikte kullanılıyorsa bu dönüşüm desteklenmez. Daha fazla bilgi için peft.tuners.lora.LoraModel.subtract_mutated_init() adresine bakın.
  • kwargs (ek anahtar kelime argümanları, isteğe bağlı) — push_to_hub yöntemine iletilen ek anahtar kelime argümanları.

Bu fonksiyon, adaptör modelini ve adaptör yapılandırma dosyalarını bir dizine kaydeder; böylece PeftModel.from_pretrained() sınıf yöntemiyle yeniden yüklenebilir ve PeftModel.push_to_hub() yöntemi tarafından da kullanılabilir.

Seçilen adaptör ağırlıkları dağıtılmış tensörler içeriyorsa (ör. FSDP2/HSDP), ağırlıkların toplanması kolektif bir işlem olduğu için tüm katılan rank'ların bu yöntemi çağırması gerekir. is_main_process=True değerini yalnızca checkpoint'i yazan rank'ta ayarlayın. Bu yöntemin yalnızca bir rank'ta çağrılması, işlem grubunun zaman aşımına uğramasına neden olabilir.

set_adapter

< >

( adapter_name: strinference_mode: bool = False )

Parametreler

  • adapter_name (str) — Aktif olarak ayarlanacak adaptörün adı. Adaptörün önce yüklenmiş olması gerekir.
  • inference_mode (bool, isteğe bağlı) — Aktif olan adaptörün dondurulup dondurulmayacağı (yani requires_grad=False). Varsayılan değer False'tur.

Aktif adaptörü ayarlar.

PEFT yöntemlerinin tümü birden fazla etkin adaptörü desteklemediğinden, aynı anda yalnızca bir adaptör etkin olabilir. Desteklenen yöntemlerde birden fazla adaptörü etkinleştirmek için model.base_model.set_adapter(adapter_names) kullanın.

Ayrıca, bu işlev, inference_mode değeri True olmadıkça, belirtilen adaptörü eğitilebilir (yani requires_grad=True) olarak ayarlar.

set_requires_grad

< >

( adapter_names: str | Sequence[str]requires_grad: bool = True )

Parametreler

  • adapter_names (str veya Sequence[str]) — Gradyanları etkinleştirilecek/devre dışı bırakılacak adaptör(ler)in adı.
  • requires_grad (bool, isteğe bağlı) — Etkinleştirilecek (True, varsayılan) veya devre dışı bırakılacak (False).

Verilen adaptör(ler) için gradyanları etkinleştirin veya devre dışı bırakın.

Not: Prompt tuning gibi prompt öğrenme yöntemleri için desteklenmez.

supports_lora_conversion

< >

( adapter_name: str = 'default' )

Bu modelin adaptörünün LoRA'ya dönüştürülüp dönüştürülemeyeceği.

Normalde, PEFT yöntemi additif ise, yani W’ = W_base + delta_weight ise, bu çalışır.

unmerge_adapter

< >

( force_reshard: bool = False**kwargs: Any )

Parametreler

  • force_reshard (bool, isteğe bağlı) — Birleşik bir adaptör katmanı algılanmamış olsa bile FSDP2 modüllerinin yeniden shard edilip edilmeyeceğini belirler. Çağıran tarafın en az bir birleşik katman olduğunu zaten doğruladığı durumlarda, birleşik katmanları bulmak için tüm modelin taranmasını önlemek için kullanılabilir. Varsayılan değer False'tür.

Adaptörleri temel modelden ayırın.

Birleşme işlemi, LoRA, IA³ veya OFT gibi taban modele ağırlık ekleyen çoğu PEFT yöntemi tarafından desteklenir. İstem öğrenme yöntemleri (ör. istem ayarlama) ve uyarlama istemi için birleşme işlemi desteklenmez ve bir TypeError oluşturulur.

Not: Genel olarak birleştirilmeyi destekleyen PEFT yöntemleri bile belirli katman türleri için hata verebilir; örneğin Eetq katmanlarında LoRA için AttributeError veya INC katmanlarından LoRA'nın birleştirilmesinin kaldırılması için NotImplementedError.

PeftModelForSequenceClassification

Sınıflandırma görevleri için bir PeftModel.

sınıf peft.PeftModelForSequenceClassification

< >

( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )

Parametreler

  • model (PreTrainedModel) — Temel transformer modeli.
  • peft_config (PeftConfig) — Peft yapılandırması.
  • adapter_name (str, isteğe bağlı) — Adaptörün adı, varsayılan olarak "default"'tur.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Dizi sınıflandırma görevleri için Peft modeli.

Öznitelikler:

  • config (PretrainedConfig) — Temel modelin yapılandırma nesnesi.
  • cls_layer_name (str) — Sınıflandırma katmanının adı.

Örnek:

>>> from transformers import AutoModelForSequenceClassification
>>> from peft import PeftModelForSequenceClassification, get_peft_config

>>> config = {
...     "peft_type": "PREFIX_TUNING",
...     "task_type": "SEQ_CLS",
...     "inference_mode": False,
...     "num_virtual_tokens": 20,
...     "token_dim": 768,
...     "num_transformer_submodules": 1,
...     "num_attention_heads": 12,
...     "num_layers": 12,
...     "encoder_hidden_size": 768,
...     "prefix_projection": False,
... }

>>> peft_config = get_peft_config(config)
>>> model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForSequenceClassification(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 370178 || all params: 108680450 || trainable%: 0.3406113979101117

PeftModelForTokenClassification

Token sınıflandırma görevleri için bir PeftModel.

sınıf peft.PeftModelForTokenClassification

< >

( model: torch.nn.Modulepeft_config: PeftConfig = Noneadapter_name: str = 'default'**kwargs )

Parametreler

  • model (PreTrainedModel) — Temel transformer modeli.
  • peft_config (PeftConfig) — Peft yapılandırması.
  • adapter_name (str, isteğe bağlı) — Adaptörün adı, varsayılan olarak "default"'tur.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Token sınıflandırma görevleri için Peft modeli.

Öznitelikler:

  • config (PretrainedConfig) — Temel modelin yapılandırma nesnesi.
  • cls_layer_name (str) — Sınıflandırma katmanının adı.

Örnek:

>>> from transformers import AutoModelForTokenClassification
>>> from peft import PeftModelForTokenClassification, get_peft_config

>>> config = {
...     "peft_type": "PREFIX_TUNING",
...     "task_type": "TOKEN_CLS",
...     "inference_mode": False,
...     "num_virtual_tokens": 20,
...     "token_dim": 768,
...     "num_transformer_submodules": 1,
...     "num_attention_heads": 12,
...     "num_layers": 12,
...     "encoder_hidden_size": 768,
...     "prefix_projection": False,
... }

>>> peft_config = get_peft_config(config)
>>> model = AutoModelForTokenClassification.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForTokenClassification(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 370178 || all params: 108680450 || trainable%: 0.3406113979101117

add_adapter

< >

( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )

Parametreler

  • adapter_name (str) — Eklenecek adaptörün adı.
  • peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Meta cihazda boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır. Eğitim için yeni bir PEFT adaptörü oluştururken bu seçeneği kullanmayın.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.

Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.

Yeni adaptörün adı benzersiz olmalıdır.

Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.

PeftModelForCausalLM

Nedensel dil modelleme için bir PeftModel.

sınıf peft.PeftModelForCausalLM

< >

( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )

Parametreler

  • model (PreTrainedModel) — Temel transformer modeli.
  • peft_config (PeftConfig) — Peft yapılandırması.
  • adapter_name (str, isteğe bağlı) — Adaptörün adı, varsayılan olarak "default"'tur.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Nedensel dil modellemesi için Peft modeli.

Örnek:

>>> from transformers import AutoModelForCausalLM
>>> from peft import PeftModelForCausalLM, get_peft_config

>>> config = {
...     "peft_type": "PREFIX_TUNING",
...     "task_type": "CAUSAL_LM",
...     "inference_mode": False,
...     "num_virtual_tokens": 20,
...     "token_dim": 1280,
...     "num_transformer_submodules": 1,
...     "num_attention_heads": 20,
...     "num_layers": 36,
...     "encoder_hidden_size": 1280,
...     "prefix_projection": False,
... }

>>> peft_config = get_peft_config(config)
>>> model = AutoModelForCausalLM.from_pretrained("gpt2-large")
>>> peft_model = PeftModelForCausalLM(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 1843200 || all params: 775873280 || trainable%: 0.23756456724479544

PeftModelForSeq2SeqLM

Sıralıdan sıralıya dil modellemesi için bir PeftModel.

Not: Girdi token'ları sağladığınız ancak decoder girdi token'larını açıkça sağlamadığınız durumda, shift_tokens_right() kullanarak girdi token'larını bir adım sağa kaydırarak decoder girdi token'larını otomatik olarak oluşturur.

sınıf peft.PeftModelForSeq2SeqLM

< >

( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )

Parametreler

  • model (PreTrainedModel) — Temel transformer modeli.
  • peft_config (PeftConfig) — Peft yapılandırması.
  • adapter_name (str, isteğe bağlı) — Adaptörün adı, varsayılan olarak "default"'tur.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Diziden-diziye dil modellemesi için Peft modeli.

Örnek:

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import PeftModelForSeq2SeqLM, get_peft_config

>>> config = {
...     "peft_type": "LORA",
...     "task_type": "SEQ_2_SEQ_LM",
...     "inference_mode": False,
...     "r": 8,
...     "target_modules": ["q", "v"],
...     "lora_alpha": 32,
...     "lora_dropout": 0.1,
...     "fan_in_fan_out": False,
...     "bias": "none",
... }

>>> peft_config = get_peft_config(config)
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> peft_model = PeftModelForSeq2SeqLM(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 884736 || all params: 223843584 || trainable%: 0.3952474242013566

PeftModelForQuestionAnswering

Sorulara yanıt için bir PeftModel.

sınıf peft.PeftModelForQuestionAnswering

< >

( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )

Parametreler

  • model (PreTrainedModel) — Temel transformer modeli.
  • peft_config (PeftConfig) — Peft yapılandırması.
  • adapter_name (str, isteğe bağlı) — Adaptörün adı, varsayılan olarak "default"'tur.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Çıkarımsal soru cevaplaması için Peft modeli.

Öznitelikler:

  • config (PretrainedConfig) — Temel modelin yapılandırma nesnesi.
  • cls_layer_name (str) — Sınıflandırma katmanının adı.

Örnek:

>>> from transformers import AutoModelForQuestionAnswering
>>> from peft import PeftModelForQuestionAnswering, get_peft_config

>>> config = {
...     "peft_type": "LORA",
...     "task_type": "QUESTION_ANS",
...     "inference_mode": False,
...     "r": 16,
...     "target_modules": ["query", "value"],
...     "lora_alpha": 32,
...     "lora_dropout": 0.05,
...     "fan_in_fan_out": False,
...     "bias": "none",
... }

>>> peft_config = get_peft_config(config)
>>> model = AutoModelForQuestionAnswering.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForQuestionAnswering(model, peft_config)
>>> peft_model.print_trainable_parameters()
trainable params: 592900 || all params: 108312580 || trainable%: 0.5473971721475013

add_adapter

< >

( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )

Parametreler

  • adapter_name (str) — Eklenecek adaptörün adı.
  • peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Meta cihazda boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır. Eğitim için yeni bir PEFT adaptörü oluştururken bu seçeneği kullanmayın.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.

Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.

Yeni adaptörün adı benzersiz olmalıdır.

Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.

PeftModelForFeatureExtraction

Dönüştürücü modellerden özellik/gömme çıkarmak için kullanılan bir PeftModel.

sınıf peft.PeftModelForFeatureExtraction

< >

( model: torch.nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'**kwargs )

Parametreler

  • model (PreTrainedModel) — Temel transformer modeli.
  • peft_config (PeftConfig) — Peft yapılandırması.
  • adapter_name (str, isteğe bağlı) — Adaptörün adı, varsayılan olarak "default"'tur.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kodlanmış adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Dönüştürücü modellerden özellik/gömme çıkarmak için Peft modeli

Öznitelikler:

  • config (PretrainedConfig) — Temel modelin yapılandırma nesnesi.

Örnek:

>>> from transformers import AutoModel
>>> from peft import PeftModelForFeatureExtraction, get_peft_config

>>> config = {
...     "peft_type": "LORA",
...     "task_type": "FEATURE_EXTRACTION",
...     "inference_mode": False,
...     "r": 16,
...     "target_modules": ["query", "value"],
...     "lora_alpha": 32,
...     "lora_dropout": 0.05,
...     "fan_in_fan_out": False,
...     "bias": "none",
... }
>>> peft_config = get_peft_config(config)
>>> model = AutoModel.from_pretrained("bert-base-cased")
>>> peft_model = PeftModelForFeatureExtraction(model, peft_config)
>>> peft_model.print_trainable_parameters()

PeftMixedModel

Farklı adaptör türlerini (ör. LoRA ve LoHa) karıştırmak için bir PeftModel.

sınıf peft.PeftMixedModel

< >

( model: nn.Modulepeft_config: PeftConfigadapter_name: str = 'default' )

Parametreler

  • model (torch.nn.Module) — Ayarlanacak model.
  • config (PeftConfig) — Ayarlanacak modelin yapılandırması. Adaptör türü uyumlu olmalıdır.
  • adapter_name (str, optional, varsayılan "default") — İlk adaptörün adı.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Meta cihazda boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.

Çeşitli türdeki adaptörleri çıkarım için karıştırmak üzere yüklemek için PeftMixedModel.

Bu sınıf yükleme/kaydetmeyi desteklemez ve genellikle doğrudan başlatılmamalıdır. Bunun yerine, get_peft_model fonksiyonunu mixed=True argümanıyla kullanın.

> Farklı adaptör türlerini kullanma hakkında daha fazla bilgi edinmek için Karışık adaptör türleri kılavuzunu okuyun

Örnek:

>>> base_model = ...  # load the base model, e.g. from transformers
>>> peft_model = PeftMixedModel.from_pretrained(base_model, path_to_adapter1, "adapter1").eval()
>>> peft_model.load_adapter(path_to_adapter2, "adapter2")
>>> peft_model.set_adapter(["adapter1", "adapter2"])  # activate both adapters
>>> peft_model(data)  # forward pass using both adapters

add_adapter

< >

( adapter_name: strpeft_config: PeftConfiglow_cpu_mem_usage: bool = Falseautocast_adapter_dtype: bool = True )

Parametreler

  • adapter_name (str) — Eklenecek adaptörün adı.
  • peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
  • low_cpu_mem_usage (bool, optional, varsayılan olarak False) — meta cihazında boş adaptör ağırlıkları oluşturur. Kaydedilmiş adaptörleri yüklerken süreci hızlandırmak için faydalıdır.

    > Eğitim için yeni bir PEFT adaptörü oluştururken low_cpu_mem_usage=True kullanmayın (eğitim genel olarak PeftMixedModel için test edilmemiştir > ve önerilmez).

  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü kararlı eğitim için bu genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler. False olarak ayarlanırsa, veri türleri ilgili katmanınkilerle aynı kalır.

Geçirilen yapılandırmaya göre modele bir adaptör ekleyin.

Bu adaptör eğitilmemiştir. Eğitilmiş bir adaptör yüklemek için PeftModel.load_adapter() yöntemine göz atın.

Yeni adaptörün adı benzersiz olmalıdır.

Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.

disable_adapter

< >

( )

Uyarlama modülünü devre dışı bırakır.

forward

< >

( *args: Any**kwargs: Any )

Modelin ileri yönlü geçişi.

from_pretrained

< >

( model: nn.Modulemodel_id: str | os.PathLikeadapter_name: str = 'default'is_trainable: bool = Falseconfig: Optional[PeftConfig] = None**kwargs: Any )

Parametreler

  • model (nn.Module) — Uyarlanacak model.
  • model_id (str veya os.PathLike) — Kullanılacak PEFT yapılandırmasının adı. Şunlardan biri olabilir:
    • Bir dize, Hugging Face Hub'daki bir model deposunda barındırılan bir PEFT yapılandırmasının model id'si.
    • save_pretrained yöntemi kullanılarak kaydedilen bir PEFT yapılandırma dosyası içeren bir dizine giden yol (./my_peft_config_directory/).
  • adapter_name (str, isteğe bağlı, varsayılan "default") — Yüklenecek adaptörün adı. Birden fazla adaptör yüklemek için kullanışlıdır.
  • is_trainable (bool, isteğe bağlı, varsayılan False) — Uyarlamanın (adapter) eğitilebilir olup olmayacağı. False ise, uyarlama dondurulur ve çıkarım (inference) için kullanılır.
  • config (PeftConfig, isteğe bağlı) — Otomatik olarak yüklenen bir yapılandırma yerine kullanılacak yapılandırma nesnesi. Bu yapılandırma nesnesi, model_id ve kwargs ile birbirini dışlar. Yapılandırma, from_pretrained çağrılmadan önce zaten yüklendiyse bu durum faydalıdır.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır.
  • kwargs — (optional): Belirli PEFT yapılandırma sınıfına iletilen ek anahtar kelime argümanları.

Önceden eğitilmiş bir modelden ve yüklenen PEFT ağırlıklarından bir PEFT karışık model örneği oluşturun.

Geçirilen model'in yerinde (inplace) değiştirilebileceğini unutmayın.

generate

< >

( *args: Any**kwargs: Any )

Çıktı üretin.

get_nb_trainable_parameters

< >

( )

Modeldeki eğitilebilir parametre sayısını ve tüm parametre sayısını döndürür.

load_adapter

< >

( model_id: stradapter_name: str*args: Any**kwargs: Any )

Parametreler

  • adapter_name (str) — Eklenecek adaptörün adı.
  • peft_config (PeftConfig) — Eklenecek adaptörün yapılandırması.
  • is_trainable (bool, isteğe bağlı, varsayılan False) — Uyarlamanın (adapter) eğitilebilir olup olmadığı. False ise, uyarlama dondurulur ve yalnızca çıkarım (inference) için kullanılabilir.
  • torch_device (str, isteğe bağlı, varsayılan None) — Adaptörün yükleneceği cihaz. None ise cihaz çıkarılır.
  • autocast_adapter_dtype (bool, isteğe bağlı, varsayılan True) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan olarak True'dür. Şu anda, bu işlem yalnızca float16 ve bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür; çünkü bu, kararlı eğitim için genellikle gereklidir ve yalnızca seçili PEFT ayarlayıcılarını etkiler.
  • ephemeral_gpu_offload (bool, isteğe bağlı, varsayılan False) — Kısmen yüklenmiş modüller için geçici GPU dışa aktarma kullanılıp kullanılmayacağı. Varsayılan False.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Kaydedilen ağırlıklar yüklenmeden önce boş adaptör ağırlıklarını meta cihazda oluşturur. Süreci hızlandırmak için faydalıdır.
  • kwargs — (optional): Uyarlamanın (adapter) yüklenme şeklini değiştirmek için ek argümanlar, örneğin Hugging Face Hub için jeton.

Eğitilmiş bir adaptörü modele yükleyin.

Yeni adaptörün adı benzersiz olmalıdır.

Yeni adaptör, etkin adaptör olarak otomatik olarak ayarlanmaz. Etkin adaptörü ayarlamak için PeftModel.set_adapter() kullanın.

merge_and_unload

< >

( *args: Any**kwargs: Any )

Parametreler

  • progressbar (bool) — yükleme kaldırma ve birleştirme sürecini gösteren bir ilerleme çubuğu gösterilip gösterilmeyeceğini belirtir
  • safe_merge (bool) — adaptör ağırlıklarında olası Nan olup olmadığını kontrol etmek için güvenli birleştirme kontrolünün etkinleştirilip etkinleştirilmeyeceği
  • adapter_names (List[str], isteğe bağlı) — Birleştirilecek adaptör adlarının listesi. None ise, tüm etkin adaptörler birleştirilir. Varsayılan değer None'dir.

Bu yöntem, adaptör katmanlarını temel modele birleştirir. Bu, birinin temel modeli bağımsız bir model olarak kullanmak istemesi durumunda gereklidir.

print_trainable_parameters

< >

( )

Modeldeki eğitilebilir parametre sayısını yazdırır.

Not: print_trainable_parameters(), get_nb_trainable_parameters() işlevini kullanır ve bu, huggingface/transformers'taki num_parameters(only_trainable=True)'ten farklıdır. get_nb_trainable_parameters(), değiştirilmiş omurga dönüştürücü modelini de içeren Peft Model'inin (eğitilebilir parametreler, tüm parametreler) değerini döndürür. LoRA gibi tekniklerde omurga dönüştürücü modeli, LoRA modülleriyle yerinde değiştirilir. Ancak prompt tuning için omurga dönüştürücü modeli değiştirilmez. num_parameters(only_trainable=True), omurga dönüştürücü modelinin eğitilebilir parametre sayısını döndürür ve bu değer farklı olabilir.

set_adapter

< >

( adapter_name: Union[str, list[str]]inference_mode: bool = False )

Parametreler

  • adapter_name (str, list[str]) — Aktif olarak ayarlanacak adaptör(ler)in adı(ları)
  • inference_mode (bool, isteğe bağlı) — Aktif olan adaptörün dondurulup dondurulmayacağı (yani requires_grad=False). Varsayılan değer False'tur.

Model için etkin adaptör(ler)i ayarlar.

Dikkat edin, ileri yönlü geçiş sırasında adaptörlerin uygulanma sırası, bu işlevde geçirilen sırayla aynı olmayabilir. Bunun yerine, ileri yönlü geçiş sırası, adaptörlerin modele hangi sırayla yüklendiği tarafından belirlenir. Aktif adaptörler yalnızca ileri yönlü geçiş sırasında hangi adaptörlerin aktif olduğunu belirler, ancak uygulanma sırasını belirlemez.

Ayrıca, bu işlev, inference_mode değeri True olmadıkça, belirtilen adaptörü eğitilebilir (yani requires_grad=True) olarak ayarlar.

unload

< >

( *args: Any**kwargs: Any )

Tüm adaptör modüllerini birleştirme işlemi olmadan kaldırarak temel modeli geri alır. Bu, orijinal temel modeli geri verir.

Yardımcılar

peft.cast_mixed_precision_params

< >

( model: torch.nn.Moduledtype: torch.dtype )

Parametreler

  • model (torch.nn.Module) — Eğitilemeyen parametrelerinin dönüştürüleceği model.
  • dtype (torch.dtype) — Eğitilemeyen parametrelerin dönüştürüleceği dtype. dtype torch.float16 veya

Modelin tüm eğitilemez parametrelerini verilen dtype değerine dönüştürür. dtype, uyguladığınız karma hassasiyetli eğitime göre torch.float16 veya torch.bfloat16 olabilir. Eğitilebilir parametreler tam hassasiyete dönüştürülür. Bu, eğitilemez parametreler için yarı hassasiyetli dtype kullanarak PEFT yöntemlerini kullanırken GPU bellek kullanımını azaltmak için tasarlanmıştır. Eğitilebilir parametrelerin tam hassasiyette tutulması, otomatik karma hassasiyetli eğitim kullanılırken eğitim kararlılığını korur.

torch.bfloat16, uyguladığınız karma hassasiyetli eğitime göre.

peft.get_peft_model

< >

( model: nn.Modulepeft_config: PeftConfigadapter_name: str = 'default'mixed: bool = Falseautocast_adapter_dtype: bool = Truerevision: Optional[str] = Nonelow_cpu_mem_usage: bool = False )

Parametreler

  • model (torch.nn.Module) — Model to be wrapped. Typically this is a Transformers model but any nn.Module can work, with the caveat that task-specific features (peft_config.task_type) require the model to follow Transformers conventions.
  • peft_config (PeftConfig) — Peft modelinin parametrelerini içeren yapılandırma nesnesi.
  • adapter_name (str, optional, varsayılan "default") — Enjekte edilecek adaptörün adı; belirtilmezse varsayılan adaptör adı (“default”) kullanılır.
  • mixed (bool, optional, varsayılan False) — Farklı (uyumlu) adaptör türlerinin karıştırılmasına izin verilip verilmeyeceği.
  • autocast_adapter_dtype (bool, isteğe bağlı) — Adapter veri türünün otomatik dönüştürülüp dönüştürülmeyeceğini belirtir. Varsayılan değeri True'dür. Şu anda bu, genellikle kararlı eğitim için gerekli olduğu için yalnızca float16 veya bfloat16 ile kullanılan adapter ağırlıklarını float32'ye dönüştürür ve yalnızca seçili PEFT ayarlayıcılarını etkiler.
  • revision (str, optional, varsayılan main) — Taban modelin revizyonu. Bu ayarlanmazsa, kaydedilen peft modeli, taban model için main revizyonunu yükler.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Create empty adapter weights on meta device. Useful to speed up the loading process. Leave this setting as False if you intend on training the model, unless the adapter weights will be replaced by different weights before training starts.

Bir model ve bir yapılandırma (config) üzerinden, modelin yerinde (in-place) değiştirileceği bir Peft model nesnesi döndürür.

peft.inject_adapter_in_model

< >

( peft_config: PeftConfigmodel: torch.nn.Moduleadapter_name: str = 'default'low_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Parametreler

  • peft_config (PeftConfig) — PEFT modelinin parametrelerini içeren yapılandırma nesnesi.
  • model (torch.nn.Module) — Adaptörün enjekte edileceği girdi modeli.
  • adapter_name (str, optional, varsayılan "default") — Enjekte edilecek adaptörün adı; belirtilmezse varsayılan adaptör adı (“default”) kullanılır.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Meta cihazda boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.
  • state_dict (dict, isteğe bağlı, varsayılan None) — Buraya bir state_dict geçirilirse, adaptörler state_dict girdilerine göre enjekte edilir. PEFT yönteminin tam target_modules değerlerinin bilinmediği durumlarda, örneğin checkpoint meta veri olmadan oluşturulduğunda bu işe yarayabilir. Not: state_dict içindeki değerler kullanılmaz, yalnızca uyarlanacak doğru katmanları belirlemek için anahtarlar kullanılır.

PEFT katmanlarını oluşturun ve bunları modele yerinde enjekte edin.

Şu anda API, prompt öğrenme yöntemlerini, adaption prompt'u veya adaptör durumunu birden çok hedef katman arasında paylaşan tuner'ları desteklememektedir. Sonuncusu için get_peft_model() kullanın.

Bu fonksiyon get_peft_model() ile benzerdir ancak bir PeftModel örneği döndürmez. Bunun yerine, geçirilen modelin değiştirilmiş orijinal örneğini döndürür.

peft.get_peft_model_state_dict

< >

( modelstate_dict = Noneadapter_name: str = 'default'unwrap_compiled: bool = Falsesave_embedding_layers: bool | Literal['auto'] = 'auto' )

Parametreler

  • model (PeftModel) — Peft modeli. torch.nn.DistributedDataParallel, DeepSpeed veya FSDP kullanıldığında, modelin alttaki model/sarmalanan model olması gerekir (yani model.module).
  • state_dict (dict, isteğe bağlı, varsayılan None) — Modelin state dict'i. Sağlanmazsa, iletilen modelin state dict'i kullanılır.
  • adapter_name (str, isteğe bağlı, varsayılan "default") — Durum sözlüğünün (state dict) döndürüleceği adaptörün adı.
  • unwrap_compiled (bool, isteğe bağlı, varsayılan False) — torch.compile kullanıldıysa modelin sarmalayıcısının kaldırılıp kaldırılmayacağı.
  • save_embedding_layers (Union[bool, str], , isteğe bağlı, varsayılan auto) — True ise, adaptör ağırlıklarının yanı sıra gömme katmanları da kaydedilir. auto ise, config’deki target_modules içinde mevcut olduğunda peft.utils.other.EMBEDDING_LAYER_NAMES adlı yaygın gömme katmanlarını kontrol eder. Buna göre boolean bayrağını ayarlar. Bu yalnızca 🤗 transformers modelleri için çalışır.

PEFT modelinin belirtilen adaptörünün durum sözlüğünü (state dict) alın.

Bu, yalnızca PEFT parametrelerini içerir, temel modelin parametrelerini değil. Bu nedenle döndürülen state_dict, tam model boyutuyla karşılaştırıldığında genellikle küçüktür. Tam state_dict'i almak için yalnızca model.state_dict() çağrısını yapmanız yeterlidir.

Seçilen girdiler dağıtılmış tensörler içeriyorsa (ör. FSDP2 veya DTensor TP), tüm katılan rank'lar bu fonksiyonu çağırmalıdır: bu girdilerin tam tensörlere toplanması kolektif bir işlemdir. Seçilmeyen temel model ağırlıkları parçalı (sharded) olarak kalır.

Adaptör adının, yüklenirken değiştirilebilecek keyfi bir ad olduğu için state_dict içinden kaldırıldığını unutmayın. Dolayısıyla örneğin adaptör adı 'default' ve orijinal anahtar 'model.q_proj.lora_A.default.weight' ise, döndürülen anahtar 'model.q_proj.lora_A.weight' olacaktır. Ağırlıkları yüklerken adaptör adıyla ilgilenmek için bu işlevi set_peft_model_state_dict() ile birlikte kullanın.

peft.prepare_model_for_kbit_training

< >

( modeluse_gradient_checkpointing = Trueactivation_checkpointing_kwargs = Noneauto_clear_cache = Truegradient_checkpointing_kwargs = None )

Parametreler

  • model (transformers.PreTrainedModel) — transformers kütüphanesinden yüklenen model
  • use_gradient_checkpointing (bool, isteğe bağlı, varsayılan True) — True ise, geriye yayılımın yavaşlaması pahasına bellek tasarrufu sağlamak için gradient checkpointing kullanılır.
  • activation_checkpointing_kwargs (dict, isteğe bağlı, varsayılan None) — Aktivasyon kontrol noktası işlevine iletilecek anahtar kelime argümanları, bu yönteme iletilebilecek argümanlar hakkında daha fazla ayrıntı için torch.utils.checkpoint.checkpoint belgelerine bakın. Not: Bu özellik yalnızca transformers sürümlerinde (> 4.34.1) kullanılabilir.
  • auto_clear_cache (bool, isteğe bağlı, varsayılan True) — Parametreler fp32'ye yükseltilirken (upcast) hızlandırıcı önbelleğinin boşaltılıp boşaltılmayacağını belirtir. Bu işlem, önbellek ayıracının (caching allocator) tuttuğu belleği serbest bırakır ve özellikle host ile hızlandırıcı belleğini paylaşan cihazlarda faydalıdır. Bu adımı atlamak için False olarak ayarlayın.
  • gradient_checkpointing_kwargs (dict, isteğe bağlı, varsayılan None) — Aktivasyon checkpointing işlevine iletilecek anahtar kelime argümanları. Bu argüman yalnızca geriye dönük uyumluluk için mevcuttur ve kullanımdan kaldırılmıştır; bunun yerine activation_checkpointing_kwargs kullanın. PEFT v1.2 sürümünde kaldırılacaktır.

Bu yöntemin yalnızca transformers modelleri için çalıştığını unutmayın.

Bu yöntem, bir eğitim çalıştırılmadan önce modeli hazırlamak için tüm protokolü sarar. Bunlar şunları içerir: 1- layernorm'u fp32'ye dönüştürme 2- çıktı gömme katmanının gradyan gerektirmesini sağlama 3- lm head'inin fp32'ye yükseltilmesini ekleme 4- eğitim sırasında güncellenmemelerini sağlamak için temel model katmanlarını dondurma

peft.get_layer_status

< >

( model: torch.nn.Module ) → listpeft.peft_model.TunerLayerStatus

Parametreler

  • model ([Union[~PeftModel, ~transformers.PreTrainedModel, nn.Module]]) — Adaptör katmanı durumunun alınacağı model.

Dönüş değeri

listpeft.peft_model.TunerLayerStatus

Her biri ilgili adaptör katmanının durumunu içeren dataclass'ların bir listesi.

Modeldeki her adaptör katmanının durumunu alın.

Bu fonksiyon, her biri aşağıdaki öznitelikleri içeren TunerLayerStatus veri sınıfı örneklerinden oluşan bir liste döndürür:

  • name (str): Adaptör katmanının adı, örn. model.encoder.block.0.layer.0.SelfAttention.q.
  • module_type (str): Adaptör katmanının türü, örn. lora.Linear.
  • enabled (bool): Uyarlama katmanının etkin olup olmadığı.
  • active_adapters (list[str]): Varsa, etkin adaptörlerin adları, örn. ["default"].
  • merged_adapters (list[str]): Birleşmiş adaptörlerin adları (varsa), örn. ["default"].
  • requires_grad : dict[str, bool | Literal[“irregular”]] Her adaptör modülü için parametrelerin requires_grad durumu. İdeal olarak, bu değer True veya False olmalıdır. requires_grad durumu tüm parametreler arasında tutarlı değilse, değer "irregular" olarak ayarlanır.
  • available_adapters (list[str]): Kullanılabilir adaptörlerin adları, örn. ["default"].
  • devices (dict[str, list[str]]): Verilen adaptörün parametrelerinin saklandığı cihazlar, örn. ["cuda","xpu"].
  • quantization_backend (str veya None): Kuantizasyon arka planının adı, örneğin "bnb 4bit", kuantize edilmemişse None.

peft.get_model_status

< >

( model: torch.nn.Module ) → peft.peft_model.TunerModelStatus

Parametreler

  • model ([Union[~PeftModel, ~transformers.PreTrainedModel, nn.Module]]) — Adaptör katmanı durumunun alınacağı model.

Dönüş değeri

peft.peft_model.TunerModelStatus

Modelin durumunu içeren bir dataclass.

Modelin ayarlayıcılarının durumunu alın.

Bu fonksiyon, aşağıdaki öznitelikleri içeren bir TunerModelStatus veri sınıfı örneği döndürür:

  • base_model_type (str): Temel modelin türü, örn. T5Model.
  • adapter_model_type (str): Uyarlama modelinin türü, örn. LoraModel.
  • peft_types (dict[str, str]): Adaptör adından adaptör türüne eşleme, örn. {"default": "LORA"}.
  • trainable_params (int): Modeldeki eğitilebilir parametre sayısı.
  • total_params (int): Modeldeki toplam parametre sayısı.
  • num_adapter_layers (int): Modeldeki adaptör katmanlarının sayısı.
  • enabled (bool, Literal["irregular"]): Tüm adaptör katmanlarının etkin olup olmadığı. Bazıları etkin, bazıları değilse bu değer "irregular" olur. Bu, modelinizin tutarsız bir durumda olduğu ve beklenildiği gibi çalışmayabileceği anlamına gelir.
  • active_adapters (list[str], Literal["irregular"]): Aktif adaptörlerin adları. Aktif adaptörler tüm katmanlar arasında tutarlı değilse, bu değer "irregular" olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.
  • merged_adapters (list[str], Literal["irregular"]): Birleştirilen adaptörlerin adları. Birleştirilen adaptörler tüm katmanlar arasında tutarlı değilse, bu değer "irregular" olur; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.
  • requires_grad (dict[str, bool | Literal["irregular"]]): Verilen adaptör için tüm adaptör katmanlarında requires_grad'ın True veya False olarak ayarlanıp ayarlanmadığı. Karışık bir durum varsa, bu "irregular" olarak ayarlanır; bu, modelinizin tutarsız bir durumda olduğunu ve beklenildiği gibi çalışmayabileceğini gösterir.
  • available_adapters (list[str]): Kullanılabilir adaptörlerin adları, örn. ["default"].
  • devices (dict[str, list[str]]): Verilen adaptörün parametrelerinin saklandığı cihazlar, örn. ["cuda","xpu"].
  • quantization_backend (str, None, Literal["irregular"]): Kuantizasyon arka planının adı, örneğin "bnb 4bit" veya kuantize edilmemişse None. Arka plan tüm katmanlar arasında tutarlı değilse bu değer "irregular" olur.
Update on GitHub