PEFT documentation
Типы PEFT
Начало работы
Руководства
Конфигурации и моделиИнтеграции Эффективное обучение с точки зрения памятиСлияние моделейКвантованиеПользовательские моделиИнъекция адаптеровСочетание методов PEFTtorch.compileВнесение вклада в PEFTУстранение неполадокФормат контрольной точки PEFT
Распределённое обучение
Методы
Справочник API
Типы PEFT
PeftType включает поддерживаемые адаптеры в PEFT, а TaskType — поддерживаемые PEFT задачи.
PeftType
Класс-перечисление для различных типов адаптеров в PEFT.
Поддерживаемые типы PEFT:
- PROMPT_TUNING
- MULTITASK_PROMPT_TUNING
- P_TUNING
- PREFIX_TUNING
- LORA
- ADALORA
- BOFT
- ADAPTION_PROMPT
- IA3
- BEFT
- LOHA
- LOKR
- OFT
- XLORA
- POLY
- LN_TUNING
- VERA
- FROD
- FOURIERFT
- HRA
- BONE
- MISS
- RANDLORA
- SHIRA
- PACA
- C3A
- ROAD
- WAVEFT
- OSF
- DELORA
- GRALORA
- ADAMSS
- SHADOW
- DEFT
TaskType
Класс перечисления для различных типов задач, поддерживаемых PEFT.
Обзор поддерживаемых типов задач:
- SEQ_CLS: классификация текста.
- SEQ_2_SEQ_LM: Языковая модель последовательность-в-последовательность.
- CAUSAL_LM: Ковариационное языковое моделирование.
- TOKEN_CLS: Классификация токенов.
- QUESTION_ANS: Ответы на вопросы.
- FEATURE_EXTRACTION: Извлечение признаков. Предоставляет скрытые состояния, которые можно использовать в качестве эмбеддингов или признаков для задач следующего уровня.