Hugging Face's logo

Diffusers documentation

AutoencoderKLKVAEVideo

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLKVAEVideo

Модель трёхмерного вариационного автоэнкодера (VAE) с потерей KL.

Модель можно загрузить с помощью следующего фрагмента кода.

import torch
from diffusers import AutoencoderKLKVAEVideo

vae = AutoencoderKLKVAEVideo.from_pretrained("kandinskylab/KVAE-3D-1.0", subfolder="diffusers", dtype=torch.float16)

AutoencoderKLKVAEVideo

класс diffusers.AutoencoderKLKVAEVideo

< >

( ch: int = 128ch_mult: typing.Tuple[int, ...] = (1, 2, 4, 8)num_res_blocks: int = 2in_channels: int = 3out_ch: int = 3z_channels: int = 16temporal_compress_times: int = 4 )

Параметры

  • ch (int, необязательный, по умолчанию 128) — Базовое количество каналов.
  • ch_mult (Tuple[int], необязательный, по умолчанию (1, 2, 4, 8)) — Множители каналов для каждого уровня.
  • num_res_blocks (int, необязательный, по умолчанию 2) — Количество остаточных блоков на каждом уровне.
  • in_channels (int, необязательный, по умолчанию 3) — Количество входных каналов.
  • out_ch (int, необязательный, по умолчанию 3) — Количество выходных каналов.
  • z_channels (int, необязательный, по умолчанию 16) — Количество латентных каналов.
  • temporal_compress_times (int, необязательный, по умолчанию 4) — Коэффициент временного сжатия.

Модель VAE с потерей KL для кодирования видео в латенты и декодирования латентных представлений в видео. Используется в KVAE.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для общих методов, реализованных для всех моделей (например, загрузка или сохранение).

decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Параметры

  • z (torch.Tensor) — входная партия латентных векторов с формой (B, C, T, H, W).
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.vae.DecoderOutput вместо обычного кортежа.

Возвращает

~models.vae.DecoderOutput или tuple

Декодированное видео.

Декодирование пакета видео.

disable_slicing

< >

( )

Отключите декодирование срезанного VAE.

enable_slicing

< >

( )

Включите декодирование VAE по срезам.

encode

< >

( x: Tensorreturn_dict: bool = True )

Параметры

  • x (torch.Tensor) — входная партия видео с формой (B, C, T, H, W).
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.autoencoder_kl.AutoencoderKLOutput вместо обычного кортежа.

Кодирует пакет видео в латенты.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Параметры

  • sample (torch.Tensor) — Входной образец.
  • sample_posterior (bool, необязательный, по умолчанию False) — Следует ли извлекать выборку из апостериорного распределения.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать DecoderOutput вместо обычного кортежа.
  • generator (torch.Generator, необязательный) — torch.Generator для обеспечения детерминированности выборки.

Возвращает

~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, в противном случае возвращается обычный tuple.

Update on GitHub

←AutoencoderKLKVAEAudio AutoencoderKLLTX2Audio→