Hugging Face's logo

Diffusers documentation

TransformerTemporalModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TransformerTemporalModel

Un modèle Transformer pour des données de type vidéo.

TransformerTemporalModel

classe diffusers.TransformerTemporalModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0norm_num_groups: int = 32cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int | None = Noneactivation_fn: str = 'geglu'norm_elementwise_affine: bool = Truedouble_self_attention: bool = Truepositional_embeddings: str | None = Nonenum_positional_embeddings: int | None = None )

Paramètres

  • num_attention_heads (int, facultatif, valeur par défaut 16) — Le nombre de têtes à utiliser pour l'attention multi-têtes.
  • attention_head_dim (int, facultatif, valeur par défaut : 88) — Le nombre de canaux dans chaque tête.
  • in_channels (int, facultatif) — Le nombre de canaux dans l'entrée et la sortie (à spécifier si l'entrée est continue).
  • num_layers (int, facultatif, par défaut 1) — Le nombre de blocs Transformer à utiliser.
  • dropout (float, facultatif, valeur par défaut 0.0) — La probabilité de dropout à utiliser.
  • cross_attention_dim (int, facultatif) — Le nombre de dimensions de encoder_hidden_states à utiliser.
  • attention_bias (bool, facultatif) — Configure si l'attention du TransformerBlock doit contenir un paramètre de biais.
  • sample_size (int, facultatif) — La largeur des images latentes (à spécifier si l’entrée est discrète). Cette valeur est fixée pendant l’entraînement, car elle est utilisée pour apprendre un nombre d’embeddings de position.
  • activation_fn (str, facultatif, par défaut "geglu") — Fonction d'activation à utiliser dans le réseau de neurones à propagation avant. Consultez diffusers.models.activations.get_activation pour les fonctions d'activation prises en charge.
  • norm_elementwise_affine (bool, facultatif) — Configure si le TransformerBlock doit utiliser des paramètres affines élémentaires apprenables pour la normalisation.
  • double_self_attention (bool, facultatif) — Configure si chaque TransformerBlock doit contenir deux couches d'auto-attention.
  • positional_embeddings — (str, facultatif) : Le type d'embeddings positionnels à appliquer à l'entrée de la séquence avant de l'utiliser.
  • num_positional_embeddings — (int, facultatif) : La longueur maximale de la séquence sur laquelle appliquer les embeddings positionnels.

Un modèle Transformer pour des données de type vidéo.

forward

< >

( hidden_states: Tensorencoder_hidden_states: typing.Optional[torch.LongTensor] = Nonetimestep: typing.Optional[torch.LongTensor] = Noneclass_labels: LongTensor = Nonenum_frames: int = 1cross_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → TransformerTemporalModelOutput or tuple

Paramètres

  • hidden_states (torch.LongTensor de forme (batch size, num latent pixels) si discret, torch.Tensor de forme (batch size, channel, height, width) si continu) — hidden_states d'entrée.
  • encoder_hidden_states ( torch.LongTensor de forme (batch size, encoder_hidden_states dim), facultatif) — Embeddings conditionnels pour la couche d'attention croisée. S'ils ne sont pas fournis, l'attention croisée se comporte par défaut comme une auto-attention.
  • timestep ( torch.LongTensor, facultatif) — Utilisé pour indiquer l'étape de débruitage. Timestep facultatif à appliquer en tant qu'embedding dans AdaLayerNorm.
  • class_labels ( torch.LongTensor de forme (batch size, num classes), facultatif) — Utilisé pour indiquer les étiquettes de classe de conditionnement. Étiquettes de classe facultatives à appliquer sous forme d’embedding dans AdaLayerZeroNorm.
  • num_frames (int, facultatif, valeur par défaut 1) — Le nombre d'images à traiter par lot. Cette valeur est utilisée pour redimensionner les états cachés.
  • cross_attention_kwargs (dict, facultatif) — Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor défini sous self.processor dans diffusers.models.attention_processor.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un TransformerTemporalModelOutput au lieu d'un simple tuple.

Retourne

TransformerTemporalModelOutput ou tuple

Si return_dict est True, un TransformerTemporalModelOutput est retourné, sinon un tuple dont le premier élément est le tenseur d'échantillon.

La méthode forward de TransformerTemporal.

TransformerTemporalModelOutput

classe diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput

< >

( sample: Tensor )

Paramètres

  • sample (torch.Tensor de forme (batch_size x num_frames, num_channels, height, width)) — Les états cachés en sortie, conditionnés par l'entrée encoder_hidden_states.

La sortie de TransformerTemporalModel.

Update on GitHub

←Transformer2DModel WanAnimate2Transformer3DModel→