Diffusers documentation
AceStepTransformer1DModel
AceStepTransformer1DModel
Un Diffusion Transformer 1D pour la génération musicale issu de ACE-Step 1.5. Le modèle opère sur les latents stéréo à 25 Hz produits par AutoencoderOobleck en utilisant le flow matching, et est entraîné avec un backbone dérivé de Qwen3 (attention à requêtes groupées, embedding de position rotatif, RMSNorm, conditionnement du pas de temps par AdaLN-Zero) ainsi qu'une cross-attention vers les conditions texte / paroles / timbre construites par AceStepConditionEncoder.
AceStepTransformer1DModel
classe diffusers.AceStepTransformer1DModel
< source >( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )
Diffusion Transformer pour la génération musicale ACE-Step 1.5.
Génère des latents audio conditionnés sur le texte, les paroles et le timbre. Utilise un encodage de patch 1D (Conv1d avec un pas de patch_size) suivi d'une pile de AceStepTransformerBlock avec une attention glissante / complète alternée sur la branche d'auto-attention. L'attention croisée consomme les encoder_hidden_states empaquetés produits par AceStepConditionEncoder.
forward
< source >( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
Paramètres
- hidden_states (
torch.Tensorde forme(batch_size, seq_len, channels)) — Entrée latente bruitée pour le processus de diffusion. - timestep (
torch.Tensorde forme(batch_size,)) — Étape de diffusion actuellet. - timestep_r (
torch.Tensorde forme(batch_size,)) — Pas de temps de référencer(fixé égal àtpour une inférence standard). - encoder_hidden_states (
torch.Tensorde forme(batch_size, encoder_seq_len, hidden_size)) — Embeddings de conditionnement issus de l'encodeur de condition (texte + paroles + timbre). - context_latents (
torch.Tensorde forme(batch_size, seq_len, context_dim)) — Latents de contexte (latents source concaténés avec les masques de blocs) — transmis à la convolution patchify avechidden_states. - attention_kwargs (
dict, facultatif) — Dictionnaire de kwargs transmis à l'AttentionProcessor. Utilisé pour passer l'échelle LoRA via{"scale": float}. - return_dict (
bool, par défautTrue) — Indique s'il faut retourner unTransformer2DModelOutputou un simple tuple.
Retourne
Transformer2DModelOutput ou tuple
Le champ de vitesse prédit.
La méthode forward du AceStepTransformer1DModel.