AutoencoderKLKVAEVideo

El modelo de autoencoder variacional (VAE) 3D con pérdida KL.

El modelo se puede cargar con el siguiente fragmento de código.

import torch
from diffusers import AutoencoderKLKVAEVideo

vae = AutoencoderKLKVAEVideo.from_pretrained("kandinskylab/KVAE-3D-1.0", subfolder="diffusers", dtype=torch.float16)

AutoencoderKLKVAEVideo

clase diffusers.AutoencoderKLKVAEVideo

< source >

( ch: int = 128ch_mult: typing.Tuple[int, ...] = (1, 2, 4, 8)num_res_blocks: int = 2in_channels: int = 3out_ch: int = 3z_channels: int = 16temporal_compress_times: int = 4 )

Parámetros

ch (int, opcional, valor predeterminado 128) — Número base de canales.
ch_mult (Tuple[int], opcional, valor predeterminado (1, 2, 4, 8)) — Multiplicadores de canales por nivel.
num_res_blocks (int, opcional, valor predeterminado 2) — Número de bloques residuales por nivel.
in_channels (int, opcional, valor predeterminado 3) — Número de canales de entrada.
out_ch (int, opcional, valor predeterminado 3) — Número de canales de salida.
z_channels (int, opcional, valor predeterminado 16) — Número de canales latentes.
temporal_compress_times (int, opcional, valor predeterminado 4) — Factor de compresión temporal.

Un modelo VAE con pérdida KL para codificar videos en latentes y decodificar representaciones latentes en videos. Se utiliza en KVAE.

Este modelo hereda de ModelMixin. Consulta la documentación de la superclase para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).

decode

< source >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parámetros

z (torch.Tensor) — Lote de entrada de vectores latentes con forma (B, C, T, H, W).
return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.vae.DecoderOutput en lugar de una tupla simple.

Devuelve

~models.vae.DecoderOutput o tuple

Vídeo decodificado.

Decodificar un lote de videos.

disable_slicing

< source >

( )

Desactivar la decodificación de VAE segmentada.

enable_slicing

< source >

( )

Activar la decodificación de VAE por fragmentos.

encode

< source >

( x: Tensorreturn_dict: bool = True )

Parámetros

x (torch.Tensor) — Lote de entrada de videos con forma (B, C, T, H, W).
return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.autoencoder_kl.AutoencoderKLOutput en lugar de una tupla simple.

Codifica un lote de videos en latentes.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parámetros

sample (torch.Tensor) — Muestra de entrada.
sample_posterior (bool, opcional, por defecto False) — Si se muestrea de la posterior.
return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un DecoderOutput en lugar de una tupla simple.
generator (torch.Generator, opcional) — Un torch.Generator para hacer que la muestreo sea determinista.

Devuelve

~models.vae.DecoderOutput o tuple

Si return_dict es True, se devuelve un ~models.vae.DecoderOutput, de lo contrario se devuelve una tuple simple.

Update on GitHub

Diffusers

AutoencoderKLKVAEVideo