Hugging Face's logo

Diffusers documentation

MiniMaxMusic3Transformer1DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MiniMaxMusic3Transformer1DModel

Flow-matching Diffusion Transformer объёмом 2,4B из MiniMax Music 3. Он выполняет денойзинг 128-канальных латентов аудио Flow-VAE, используя в качестве условия скрытые состояния на каждый кадр из авто-регрессивной языковой модели, при этом timestep flow-matching добавляется как дополнительный токен последовательности (непрерывный трансформер линейки Stable-Audio с частичным rotary attention и GLU feedforwards).

MiniMaxMusic3Transformer1DModel

класс diffusers.MiniMaxMusic3Transformer1DModel

< >

( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )

Диффузионный трансформер с потоковым согласованием (flow-matching) из MiniMax Music 3. Он выполняет удаление шума из латентных представлений аудио Flow-VAE, используя в качестве условия скрытые состояния, сгенерированные на этапе авторегрессионной языковой модели для каждого кадра.

Входные данные представляют собой одномерные латентные последовательности формы (batch, in_channels, length). Условный сигнал (encoder_hidden_states, форма (batch, length, condition_dim)) должен уже быть выровнен по временной шкале латентных данных — см. MiniMaxMusic3ConditionEncoder. Шаг времени timestep для flow-matching изменяется от 0 (шум) до 1 (данные).

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )

Параметры

  • hidden_states (torch.Tensor формы (batch, in_channels, length)) — Зашиумленные латенты Flow-VAE.
  • timestep (torch.Tensor формы (batch,)) — Время flow-matching в диапазоне [0, 1], где 0 — это чистый шум, а 1 — данные.
  • encoder_hidden_states (torch.Tensor формы (batch, length, condition_dim)) — Условие, выровненное по кадрам, от MiniMaxMusic3ConditionEncoder. Передайте нули для безусловной ветви classifier-free guidance.
  • return_dict (bool, по умолчанию True) — Определяет, следует ли возвращать Transformer2DModelOutput вместо обычного кортежа.
Update on GitHub

←MiniMaxH3Transformer3DModel MochiTransformer3DModel→