Hugging Face's logo

Diffusers documentation

GlmImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GlmImageTransformer2DModel

Một mô hình Diffusion Transformer cho dữ liệu 2D từ [GlmImageTransformer2DModel] (TODO).

GlmImageTransformer2DModel

lớp diffusers.GlmImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 1472time_embed_dim: int = 512condition_dim: int = 256prior_vq_quantizer_codebook_size: int = 16384 )

Tham số

  • patch_size (int, mặc định là 2) — Kích thước của các patch được sử dụng trong lớp nhúng patch.
  • in_channels (int, mặc định là 16) — Số lượng kênh trong đầu vào.
  • num_layers (int, mặc định là 30) — Số lượng lớp khối Transformer cần sử dụng.
  • attention_head_dim (int, mặc định là 40) — Số lượng kênh trong mỗi head.
  • num_attention_heads (int, mặc định là 64) — Số lượng đầu (heads) được sử dụng cho cơ chế chú ý đa đầu (multi-head attention).
  • out_channels (int, mặc định là 16) — Số lượng kênh trong đầu ra.
  • text_embed_dim (int, mặc định là 1472) — Kích thước đầu vào của các vector nhúng văn bản từ bộ mã hóa văn bản.
  • time_embed_dim (int, mặc định là 512) — Kích thước đầu ra của các embedding bước thời gian.
  • condition_dim (int, mặc định là 256) — Kích thước nhúng của các điều kiện độ phân giải kiểu SDXL đầu vào (original_size, target_size, crop_coords).
  • pos_embed_max_size (int, mặc định là 128) — Độ phân giải tối đa của các embedding vị trí, từ đó các lát cắt có hình dạng H x W được lấy và cộng vào các latent đã chia patch của đầu vào, trong đó H và W lần lượt là chiều cao và chiều rộng của latent. Giá trị 128 có nghĩa là chiều cao và chiều rộng tối đa được hỗ trợ cho việc tạo ảnh là 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048.
  • sample_size (int, mặc định là 128) — Độ phân giải cơ bản của latents đầu vào. Nếu height/width không được cung cấp trong quá trình tạo, giá trị này sẽ được sử dụng để xác định độ phân giải là sample_size * vae_scale_factor => 128 * 8 => 1024

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensorprior_token_id: Tensorprior_token_drop: Tensortimestep: LongTensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Nonekv_caches: diffusers.models.transformers.transformer_glm_image.GlmImageKVCache | None = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

Tham số

  • hidden_states (torch.Tensor có hình dạng (batch_size, in_channels, height, width)) — hidden_states đầu vào.
  • encoder_hidden_states (torch.Tensor có hình dạng (batch_size, sequence_len, embed_dims)) — Các embedding điều kiện (embedding được tính từ các điều kiện đầu vào như prompt) cần sử dụng.
  • prior_token_id (torch.Tensor) — Các id token cho việc tra cứu embedding trước đó.
  • prior_token_drop (torch.Tensor) — Mặt nạ Boolean chỉ ra các embedding trước đó cần bị loại bỏ (đặt về 0).
  • timestep (torch.LongTensor) — Dùng để chỉ bước khử nhiễu.
  • target_size (torch.Tensor) — Kích thước ảnh đích để điều kiện hóa.
  • crop_coords (torch.Tensor) — Toạ độ điều kiện cắt.
  • attention_kwargs (dict, tùy chọn) — Một từ điển kwargs, nếu được chỉ định, sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.
  • attention_mask (torch.Tensor, tùy chọn) — Mặt nạ áp dụng cho điểm chú ý.
  • kv_caches (GlmImageKVCache, tuỳ chọn) — Bộ nhớ đệm key/value đã được tính trước, dùng để tăng tốc suy luận.
  • image_rotary_emb (tuple của torch.Tensor, tùy chọn) — Các embedding vị trí xoay đã được tính trước.

Phương thức forward của GlmImageTransformer2DModel.

Update on GitHub

←FluxTransformer2DModel HeliosTransformer3DModel→