# UniSpeech

## Обзор

Модель UniSpeech была предложена в статье [UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data](https://huggingface.co/papers/2101.07597) авторами Chengyi Wang, Yu Wu, Yao Qian, Kenichi Kumatani, Shujie Liu, Furu Wei, Michael Zeng, Xuedong Huang.

Аннотация из статьи следующая:

*В данной статье мы предлагаем единый подход к предварительному обучению, названный UniSpeech, для обучения речевых представлений с использованием как размеченных, так и неразмеченных данных, в рамках которого обучение с учителем на основе фонетического CTC и фонетически-осознанное контрастное самообучение выполняются в режиме многозадачного обучения. Полученные представления способны улавливать информацию, более тесно связанную с фонетической структурой, и улучшать обобщение на другие языки и области применения. Мы оцениваем эффективность UniSpeech для кросс-лингвального обучения представлений на публичном корпусе CommonVoice. Результаты показывают, что UniSpeech превосходит самообучение с предварительным обучением и обучение с учителем с переносом знаний для распознавания речи, обеспечивая снижение относительной частоты ошибок на уровне фонем максимум на 13,4% и 17,8% соответственно (в среднем по всем языкам тестирования). Переносимость UniSpeech также продемонстрирована на задаче распознавания речи со сменой домена, а именно: снижение относительной частоты ошибок на уровне слов на 6% по сравнению с предыдущим подходом.*

Эта модель была предоставлена пользователем [patrickvonplaten](https://huggingface.co/patrickvonplaten). Код авторов можно найти [здесь](https://github.com/microsoft/UniSpeech/tree/main/UniSpeech).

## Советы по использованию

- UniSpeech — это модель для обработки речи, которая принимает массив float, соответствующий исходной волновой форме речевого сигнала. Для извлечения признаков используйте [Wav2Vec2Processor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor).
- Модель UniSpeech можно дообучить с использованием connectionist temporal classification (CTC), поэтому вывод модели необходимо декодировать с помощью [Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).

## Ресурсы

- [Руководство по задаче классификации аудио](../tasks/audio_classification)
- [Руководство по задаче автоматического распознавания речи](../tasks/asr)

## UniSpeechConfig[[transformers.UniSpeechConfig]]

#### transformers.UniSpeechConfig[[transformers.UniSpeechConfig]]

```python
transformers.UniSpeechConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32, hidden_size: int = 768, num_hidden_layers: int = 12, num_attention_heads: int = 12, intermediate_size: int = 3072, hidden_act: str = 'gelu', hidden_dropout: float | int = 0.1, activation_dropout: float | int = 0.1, attention_dropout: float | int = 0.1, feat_proj_dropout: float | int = 0.0, feat_quantizer_dropout: float | int = 0.0, final_dropout: float | int = 0.1, layerdrop: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, feat_extract_norm: str = 'group', feat_extract_activation: str = 'gelu', conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512), conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2), conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2), conv_bias: bool = False, num_conv_pos_embeddings: int = 128, num_conv_pos_embedding_groups: int = 16, do_stable_layer_norm: bool = False, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, mask_feature_min_masks: int = 0, num_codevectors_per_group: int = 320, num_codevector_groups: int = 2, contrastive_logits_temperature: float = 0.1, num_negatives: int = 100, codevector_dim: int = 256, proj_codevector_dim: int = 256, diversity_loss_weight: float = 0.1, ctc_loss_reduction: str = 'mean', ctc_zero_infinity: bool = False, use_weighted_layer_sum: bool = False, classifier_proj_size: int = 256, num_ctc_classes: int = 80, pad_token_id: int | None = 0, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, replace_prob: float | int = 0.5)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/configuration_unispeech.py#L27)

**Параметры:**

vocab_size (`int`, *необязательный*, по умолчанию `32`) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`.

hidden_size (`int`, *optional*, по умолчанию `768`) : Размерность скрытых представлений.

num_hidden_layers (`int`, *необязательный*, по умолчанию `12`) : Количество скрытых слоев в декодере Transformer.

num_attention_heads (`int`, *необязательный*, по умолчанию `12`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

intermediate_size (`int`, *optional*, по умолчанию `3072`) : Размерность представлений MLP.

hidden_act (`str`, *необязательный*, по умолчанию `gelu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

hidden_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Вероятность dropout для всех полносвязных слоев в эмбеддингах, энкодере и пулере.

activation_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Коэффициент dropout для активаций внутри полносвязного слоя.

attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Доля dropout для вероятностей внимания.

feat_proj_dropout (`float`, *optional*, по умолчанию 0.0) : Вероятность dropout для вывода кодировщика признаков.

feat_quantizer_dropout (`float`, *optional*, по умолчанию 0.0) : Вероятность dropout для вывода кодировщика признаков, используемого квантизатором.

final_dropout (`float`, *необязательный*, по умолчанию 0.1) : Вероятность dropout для финального проекционного слоя [UniSpeechForCTC](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForCTC).

layerdrop (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Вероятность LayerDrop. Подробнее см. в [статье о LayerDrop](see https://huggingface.co/papers/1909.11556).

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

layer_norm_eps (`float`, *необязательный*, по умолчанию `1e-05`) : Значение epsilon, используемое слоями нормализации.

feat_extract_norm (`str`, *optional*, по умолчанию `"group"`) : Нормализация, применяемая к одномерным свёрточным слоям в кодере признаков. Одно из значений: `"group"` для групповой нормализации только первого одномерного свёрточного слоя или `"layer"` для слоистой нормализации всех одномерных свёрточных слоев.

feat_extract_activation (`str, *optional*, defaults to `"gelu"`) : The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, `"gelu"`, `"relu"`, `"selu"` and `"gelu_new"` are supported.

conv_dim (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(512, 512, 512, 512, 512, 512, 512)`) : Кортеж целых чисел, определяющий количество входных и выходных каналов каждого одномерного свёрточного слоя в кодировщике признаков. Длина *conv_dim* определяет количество одномерных свёрточных слоев.

conv_stride (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(5, 2, 2, 2, 2, 2, 2)`) : Кортеж целых чисел, определяющий шаг каждого одномерного свёрточного слоя в кодере признаков. Длина *conv_stride* определяет количество свёрточных слоев и должна совпадать с длиной *conv_dim*.

conv_kernel (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(10, 3, 3, 3, 3, 2, 2)`) : Кортеж целых чисел, определяющий размер ядра каждого одномерного свёрточного слоя в кодере признаков. Длина *conv_kernel* определяет количество свёрточных слоев и должна совпадать с длиной *conv_dim*.

conv_bias (`bool`, *необязательный*, по умолчанию `False`) : Указывает, имеют ли одномерные свёрточные слои смещение (bias).

num_conv_pos_embeddings (`int`, *optional*, по умолчанию 128) : Количество сверточных позиционных эмбеддингов. Определяет размер ядра слоя 1D сверточных позиционных эмбеддингов.

num_conv_pos_embedding_groups (`int`, *optional*, по умолчанию 16) : Количество групп слоя одномерных свёрточных позиционных эмбеддингов.

do_stable_layer_norm (`bool`, *необязательный*, по умолчанию `False`) : следует ли применять архитектуру *стабильной* нормализации слоя для кодировщика Transformer. `do_stable_layer_norm is True` означает применение нормализации слоя перед слоем внимания, тогда как `do_stable_layer_norm is False` означает применение нормализации слоя после слоя внимания.

apply_spec_augment (`bool`, *необязательный*, по умолчанию `True`) : Применяется ли аугментация данных *SpecAugment* к выводам кодировщика признаков. Для справки см. [SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779).

mask_time_prob (`float`, *optional*, по умолчанию 0.05) : Доля (от 0 до 1) всех векторов признаков вдоль временной оси, которые будут замаскированы. Процедура маскирования генерирует ''mask_time_prob*len(time_axis)/mask_time_length'' независимых масок вдоль оси. Если рассуждать с точки зрения вероятности того, что каждый вектор признаков будет выбран в качестве начала векторного диапазона для маскирования, *mask_time_prob* должно быть равно `prob_vector_start*mask_time_length`. Обратите внимание, что перекрытие может уменьшить фактическую долю замаскированных векторов. Это имеет значение только в том случае, если `apply_spec_augment is True`.

mask_time_length (`int`, *optional*, по умолчанию 10) : Длина векторного охвата вдоль временной оси.

mask_time_min_masks (`int`, *optional*, по умолчанию 2) : минимальное количество масок длины `mask_feature_length`, генерируемых вдоль временной оси, на каждом шаге времени, независимо от `mask_feature_prob`. Актуально только если ''mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks''

mask_feature_prob (`float`, *optional*, по умолчанию 0.0) : Доля (от 0 до 1) всех векторов признаков вдоль оси признаков, которые будут замаскированы. Процедура маскирования генерирует ''mask_feature_prob*len(feature_axis)/mask_time_length'' независимых масок вдоль оси. Если рассуждать с точки зрения вероятности того, что каждый вектор признаков будет выбран в качестве начала векторного диапазона для маскирования, *mask_feature_prob* должно быть равно `prob_vector_start*mask_feature_length`. Обратите внимание, что перекрытие может уменьшить фактическую долю замаскированных векторов. Это имеет значение только в том случае, если `apply_spec_augment is True`.

mask_feature_length (`int`, *optional*, по умолчанию 10) : Длина векторного охвата вдоль оси признаков.

mask_feature_min_masks (`int`, *optional*, по умолчанию 0) : минимальное количество масок длины `mask_feature_length`, генерируемых вдоль оси признаков на каждом шаге времени, независимо от `mask_feature_prob`. Актуально только если ''mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks''

num_codevectors_per_group (`int`, *optional*, по умолчанию 320) : Количество записей в каждом квантовом коде (группе).

num_codevector_groups (`int`, *optional*, по умолчанию 2) : Количество групп кодовых векторов для квантования с использованием произведений кодовых векторов.

contrastive_logits_temperature (`float`, *необязательный*, по умолчанию 0.1) : температура *kappa* в контрастивной функции потерь.

num_negatives (`int`, *необязательный*, по умолчанию 100) : Количество отрицательных выборок для контрастивной функции потерь.

codevector_dim (`int`, *optional*, по умолчанию 256) : Размерность квантованных векторов признаков.

proj_codevector_dim (`int`, *optional*, по умолчанию 256) : Размерность финальной проекции как квантованных, так и трансформерных признаков.

diversity_loss_weight (`int`, *optional*, по умолчанию 0.1) : Вес компонента потерь разнообразия кодовой книги.

ctc_loss_reduction (`str`, *необязательный*, по умолчанию `mean`) : Указывает тип агрегации, применяемый к выходу `torch.nn.CTCLoss`. Актуально только при обучении.

ctc_zero_infinity (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли обнулять бесконечные потери и связанные с ними градиенты `torch.nn.CTCLoss`. Бесконечные потери возникают в основном, когда входные последовательности слишком короткие для выравнивания с целевыми. Параметр актуален только при обучении экземпляра [UniSpeechForCTC](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForCTC).

use_weighted_layer_sum (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли взвешенное среднее выходов слоёв с обучаемыми весами. Актуально только при использовании экземпляра [UniSpeechForSequenceClassification](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForSequenceClassification).

classifier_proj_size (`int`, *optional*, по умолчанию 256) : Размерность проекции перед усреднением токенов для классификации.

num_ctc_classes (`int`, *optional*, по умолчанию 80) : Указывает количество классов (токены фонем и пустой токен) для функции потерь CTC на уровне фонем. Актуально только при использовании экземпляра [UniSpeechForPreTraining](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForPreTraining).

pad_token_id (`int`, *необязательный*, по умолчанию `0`) : Идентификатор токена, используемый для выравнивания в словаре.

bos_token_id (`int`, *необязательный*, по умолчанию `1`) : Идентификатор токена, используемый для обозначения начала потока в словаре.

eos_token_id (`Union[int, list[int]]`, *необязательный*, по умолчанию `2`) : Идентификатор токена, используемого для обозначения конца потока в словаре.

replace_prob (`float`, *optional*, по умолчанию 0.5) : Вероятность того, что признак трансформера будет заменён квантованным признаком при предварительном обучении.

Это класс конфигурации для хранения настроек модели UniSpeechModel. Он используется для создания модели Unispeech в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [microsoft/unispeech-large-1500h-cv](https://huggingface.co/microsoft/unispeech-large-1500h-cv)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Пример:

```python
>>> from transformers import UniSpeechConfig, UniSpeechModel

>>> # Initializing a UniSpeech facebook/unispeech-base-960h style configuration
>>> configuration = UniSpeechConfig()

>>> # Initializing a model (with random weights) from the facebook/unispeech-base-960h style configuration
>>> model = UniSpeechModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Специфические выходные данные UniSpeech[[transformers.models.unispeech.modeling_unispeech.UniSpeechForPreTrainingOutput]]

#### transformers.models.unispeech.modeling_unispeech.UniSpeechForPreTrainingOutput[[transformers.models.unispeech.modeling_unispeech.UniSpeechForPreTrainingOutput]]

```python
transformers.models.unispeech.modeling_unispeech.UniSpeechForPreTrainingOutput(loss: typing.Optional[torch.Tensor] = None, projected_states: typing.Optional[torch.Tensor] = None, projected_quantized_states: typing.Optional[torch.Tensor] = None, codevector_perplexity: typing.Optional[torch.Tensor] = None, hidden_states: tuple[torch.Tensor] | None = None, attentions: tuple[torch.Tensor] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L62)

**Параметры:**

loss (`*optional*`, возвращается, когда модель находится в режиме обучения, `torch.Tensor` формы `(1,)`) : Суммарная потеря, равная сумме контрастивной потери (L_m) и потери разнообразия (L_d), как описано в [официальной статье](https://huggingface.co/papers/2006.11477).

projected_states (`torch.Tensor` формы `(batch_size, sequence_length, config.proj_codevector_dim)`) : Скрытые состояния модели, спроецированные в *config.proj_codevector_dim*, которые можно использовать для предсказания замаскированных спроецированных квантованных состояний.

projected_quantized_states (`torch.Tensor` формы `(batch_size, sequence_length, config.proj_codevector_dim)`) : Квантованные извлечённые векторы признаков, спроецированные в *config.proj_codevector_dim*, представляющие положительные целевые векторы для контрастного потерь.

codevector_perplexity (`torch.Tensor` формы `(1,)`) : Переплексность распределения codevector, используемая для измерения разнообразия codebook.

hidden_states (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные начальные выводы эмбеддингов.

attentions (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) : Кортеж `torch.Tensor` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax-функции внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Тип выходных данных `UniSpeechForPreTrainingOutput`, с возможными скрытыми состояниями и вниманиями.

## UniSpeechModel[[transformers.UniSpeechModel]]

#### transformers.UniSpeechModel[[transformers.UniSpeechModel]]

```python
transformers.UniSpeechModel(config: UniSpeechConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L870)

**Параметры:**

config ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Unispeech без дополнительных слоёв, выводящая необработанные скрытые состояния.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.UniSpeechModel.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, mask_time_indices: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L934)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательно*) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в [Wav2Vec2Processor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

mask_time_indices (`torch.BoolTensor` формы `(batch_size, sequence_length)`, *необязательный*) : Индексы для маскирования извлечённых признаков для контрастивной функции потерь. В режиме обучения модель учится предсказывать замаскированные извлечённые признаки в пространстве *config.proj_codevector_dim*.

**Возвращает:** [Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) или `tuple(torch.Tensor)`

Объект [Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) и входных данных.

Метод forward модели [UniSpeechModel](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели.
- **extract_features** (`torch.Tensor` формы `(batch_size, sequence_length, conv_dim[-1])`) -- Последовательность векторов признаков, извлечённых из последнего свёрточного слоя модели.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

## UniSpeechForCTC[[transformers.UniSpeechForCTC]]

#### transformers.UniSpeechForCTC[[transformers.UniSpeechForCTC]]

```python
transformers.UniSpeechForCTC(config: UniSpeechConfig, target_lang: str | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L1098)

**Параметры:**

config ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

target_lang (`str`, *необязательный*) : Идентификатор языка весов адаптера. Веса адаптера хранятся в формате adapter..safetensors или adapter..bin. Актуально только при использовании экземпляра [UniSpeechForCTC](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForCTC) с адаптерами. По умолчанию используется 'eng'.

Модель UniSpeech с головкой `language modeling` для Connectionist Temporal Classification (CTC).

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.UniSpeechForCTC.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L1167)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательно*) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в [Wav2Vec2Processor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size, target_length)`, *необязательный*) : Метки для связного временного классификационного метода (CTC). Обратите внимание, что `target_length` должен быть меньше или равен длине последовательности выходных логитов. Индексы выбираются из диапазона `[-100, 0, ..., config.vocab_size - 1]`. Все метки, установленные в `-100`, игнорируются (маскируются); функция потерь вычисляется только для меток из диапазона `[0, ..., config.vocab_size - 1]`.

**Возвращает:** [CausalLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutput) или `tuple(torch.Tensor)`

Объект [CausalLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) и входных данных.

Метод forward класса [UniSpeechForCTC](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForCTC) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена).
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoProcessor, UniSpeechForCTC
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("microsoft/unispeech-large-1500h-cv")
>>> model = UniSpeechForCTC.from_pretrained("microsoft/unispeech-large-1500h-cv")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...
```

## UniSpeechForSequenceClassification[[transformers.UniSpeechForSequenceClassification]]

#### transformers.UniSpeechForSequenceClassification[[transformers.UniSpeechForSequenceClassification]]

```python
transformers.UniSpeechForSequenceClassification(config: UniSpeechConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L1225)

**Параметры:**

config ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель UniSpeech с головой последовательной классификации сверху (линейный слой над пул-выводом) для задач, таких как SUPERB Keyword Spotting.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.UniSpeechForSequenceClassification.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L1258)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`) : Значения типа Float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в `UniSpeechProcessor.__call__`.

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если `config.num_labels > 1` — функция потерь классификации (кросс-энтропия).

**Возвращает:** [SequenceClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) или `tuple(torch.Tensor)`

Объект [SequenceClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) и входных данных.

Метод forward класса [UniSpeechForSequenceClassification](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForSequenceClassification) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации (или регрессии, если config.num_labels==1).
- **logits** (`torch.Tensor` формы `(batch_size, config.num_labels)`) — Оценки классификации (или регрессии, если config.num_labels==1) до применения SoftMax.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример классификации с одной меткой:

```python
>>> import torch
>>> from transformers import AutoTokenizer, UniSpeechForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("microsoft/unispeech-large-1500h-cv")
>>> model = UniSpeechForSequenceClassification.from_pretrained("microsoft/unispeech-large-1500h-cv")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = UniSpeechForSequenceClassification.from_pretrained("microsoft/unispeech-large-1500h-cv", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

Пример многоклассовой классификации:

```python
>>> import torch
>>> from transformers import AutoTokenizer, UniSpeechForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("microsoft/unispeech-large-1500h-cv")
>>> model = UniSpeechForSequenceClassification.from_pretrained("microsoft/unispeech-large-1500h-cv", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = UniSpeechForSequenceClassification.from_pretrained(
...     "microsoft/unispeech-large-1500h-cv", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## UniSpeechForPreTraining[[transformers.UniSpeechForPreTraining]]

#### transformers.UniSpeechForPreTraining[[transformers.UniSpeechForPreTraining]]

```python
transformers.UniSpeechForPreTraining(config: UniSpeechConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L980)

**Параметры:**

config ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель UniSpeech с модулем векторной квантизации и потерей CTC для предварительного обучения.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.UniSpeechForPreTraining.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/unispeech/modeling_unispeech.py#L1029)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательно*) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в [Wav2Vec2Processor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

**Возвращает:** [UniSpeechForPreTrainingOutput](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.models.unispeech.modeling_unispeech.UniSpeechForPreTrainingOutput) или `tuple(torch.Tensor)`

Объект [UniSpeechForPreTrainingOutput](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.models.unispeech.modeling_unispeech.UniSpeechForPreTrainingOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([UniSpeechConfig](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechConfig)) и входных данных.

Метод [UniSpeechForPreTraining](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForPreTraining) forward переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`*optional*`, возвращается, когда модель находится в режиме обучения, `torch.Tensor` формы `(1,)`) -- Суммарная потеря, равная сумме контрастивной потери (L_m) и потери разнообразия (L_d), как описано в [официальной статье](https://huggingface.co/papers/2006.11477).
- **projected_states** (`torch.Tensor` формы `(batch_size, sequence_length, config.proj_codevector_dim)`) -- Скрытые состояния модели, спроецированные в *config.proj_codevector_dim*, которые можно использовать для предсказания замаскированных спроецированных квантованных состояний.
- **projected_quantized_states** (`torch.Tensor` формы `(batch_size, sequence_length, config.proj_codevector_dim)`) -- Квантованные извлечённые векторы признаков, спроецированные в *config.proj_codevector_dim*, представляющие положительные целевые векторы для контрастного потерь.
- **codevector_perplexity** (`torch.Tensor` формы `(1,)`) -- Переплексность распределения codevector, используемая для измерения разнообразия кодовой книги.
- **hidden_states** (`tuple[torch.Tensor]`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> import torch
>>> from transformers import AutoFeatureExtractor, UniSpeechForPreTraining

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/unispeech-large-1500h-cv")
>>> model = UniSpeechForPreTraining.from_pretrained("microsoft/unispeech-large-1500h-cv")
>>> # TODO: Add full pretraining example
```