Hugging Face's logo

Diffusers documentation

AutoencoderKLPH3Image

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLPH3Image

VAE hình ảnh của P-H3-Image do Pruna AI phát triển. Nó sử dụng encoder và không gian latent của VAE video của MiniMax-H3, cùng với một decoder ViT giải mã một khung latent duy nhất thành hình ảnh.

Nó tuân theo các quy ước của AutoencoderKLMiniMaxH3:

  • Hình ảnh được truyền dưới dạng video một khung hình, (batch_size, channels, 1, height, width), với nén không gian 16x.
  • Latents được chuẩn hóa theo từng kênh bằng latents_mean / latents_std thay vì một scaling_factor.
  • Pixels là RGB được chuẩn hóa theo ImageNet trên [0, 1]: encode kỳ vọng (pixel - imagenet_mean) / imagenet_std và decode trả về không gian đó.
  • Chia ô không gian được bật theo mặc định, với các ô 256 pixel và ít nhất 64 pixel chồng lấn.
import torch
from diffusers import AutoencoderKLPH3Image

vae = AutoencoderKLPH3Image.from_pretrained("PrunaAI/P-H3-Image", subfolder="vae", dtype=torch.bfloat16).to(
    "cuda"
)  # or "mps", "xpu", "cpu"

Đầu ra của bộ mã hóa và phép chiếu đầu ra của bộ giải mã luôn ở dạng float32 bất kể dtype mà mô hình được nạp vào là gì.

AutoencoderKLPH3Image

lớp diffusers.AutoencoderKLPH3Image

< >

( in_channels: int = 3out_channels: int = 3latent_channels: int = 24block_out_channels: tuple = (128, 256, 256, 512, 512, 1024)layers_per_block: int = 2spatial_downsample_factors: tuple = (2, 2, 2, 2, 1, 1)temporal_downsample_factors: tuple = (1, 2, 2, 1, 1, 1)norm_num_groups: int = 32norm_eps: float = 1e-06spatial_padding_mode: str = 'reflect'decoder_num_layers: int = 36decoder_num_attention_heads: int = 32decoder_attention_head_dim: int = 64decoder_num_register_tokens: int = 4decoder_ffn_mult: int = 4decoder_rope_theta: float = 100.0decoder_rope_dim_ratio: float = 0.75decoder_norm_eps: float = 1e-05latents_mean: tuple = (0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0)latents_std: tuple = (1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0) )

VAE hình ảnh của P-H3-Image: bộ mã hóa VAE và không gian ẩn của MiniMax-H3, với PH3ImageViTDecoder để giải mã một khung ẩn duy nhất.

Hình ảnh được truyền dưới dạng video một khung hình, (batch_size, channels, 1, height, width). Giống như trong AutoencoderKLMiniMaxH3, các pixel là RGB được chuẩn hóa theo ImageNet trên [0, 1] (trung bình (0.485, 0.456, 0.406), độ lệch chuẩn (0.229, 0.224, 0.225)) và việc chia ô không gian được bật theo mặc định.

encode

< >

( x: Tensorreturn_dict: bool = True )

Tham số

  • x (torch.Tensor) — Batch đầu vào của các hình ảnh dưới dạng video một khung hình, có hình dạng (batch_size, in_channels, 1, height, width).
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một AutoencoderKLOutput thay vì một tuple thông thường hay không.

Mã hóa một lô ảnh thành các biến ẩn.

decode

< >

( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple

Tham số

  • z (torch.Tensor) — Batch đầu vào của các latent, shape (batch_size, latent_channels, 1, height, width).
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.

Trả về

DecoderOutput hoặc tuple

Các hình ảnh đã giải mã, có hình dạng (batch_size, out_channels, 1, height, width).

Giải mã một lô ảnh tiềm ẩn.

enable_tiling

< >

( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_min_overlap_height: int | None = Nonetile_sample_min_overlap_width: int | None = None )

Tham số

  • tile_sample_min_height (int, tùy chọn) — Chiều cao của tile trong không gian pixel. Các khung hình cao hơn giá trị này sẽ được chia dọc theo chiều cao.
  • tile_sample_min_width (int, tùy chọn) — Chiều rộng của tile trong không gian pixel. Các khung hình có chiều rộng lớn hơn giá trị này sẽ được chia dọc theo chiều rộng.
  • tile_sample_min_overlap_height (int, tùy chọn) — Độ chồng lấp tối thiểu, tính bằng pixel, giữa hai lát cắt dọc liên tiếp.
  • tile_sample_min_overlap_width (int, tùy chọn) — Độ chồng lấp tối thiểu, tính bằng pixel, giữa hai lát cắt ngang liên tiếp.

Bật mã hóa/giải mã VAE dạng gạch. Khi tùy chọn này được bật, VAE sẽ chia các khung hình thành các gạch, mã hóa hoặc giải mã từng gạch riêng biệt và trộn tuyến tính các phần chồng lấn lại với nhau. Điều này làm giảm yêu cầu về bộ nhớ và cho phép xử lý các khung hình lớn hơn.

forward

< >

( sample: Tensorsample_posterior: bool = Falsegenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → DecoderOutput or tuple

Tham số

  • sample (torch.Tensor) — Batch đầu vào của các hình ảnh dưới dạng video một khung hình, có hình dạng (batch_size, in_channels, 1, height, width).
  • sample_posterior (bool, tùy chọn, mặc định là False) — Có lấy mẫu từ phân phối hậu nghiệm thay vì lấy mode của nó hay không.
  • generator (torch.Generator, tùy chọn) — Generator được sử dụng khi sample_posterior=True.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.

Trả về

DecoderOutput hoặc tuple

Các hình ảnh sau khi đi qua vòng lặp, có hình dạng (batch_size, out_channels, 1, height, width).

Mã hóa rồi giải mã một lô ảnh.

Update on GitHub

←AutoencoderKLMochi AutoencoderKLQwenImage→