Diffusers documentation
BriaFibo2Transformer2DModel
BriaFibo2Transformer2DModel
Transformer single-stream của Fibo 2.0 từ Bria, được xây dựng trên khối Z-Image. Điều kiện văn bản của nó đến từ Qwen3-VL theo hai cách: một Perceiver resampler chuyển đổi các trạng thái ẩn của bộ mã hóa văn bản thành các gist token, chia sẻ luồng với các token hình ảnh, và năm khối bổ sung cross-attention có cổng vào tập hợp các lớp Qwen3-VL riêng của chúng. Để chỉnh sửa, các latent của các hình ảnh cần chỉnh sửa sẽ tham gia vào luồng dưới dạng các token sạch, mỗi hình ảnh nằm trên một mặt phẳng RoPE riêng.
BriaFibo2Transformer2DModel
lớp diffusers.BriaFibo2Transformer2DModel
< source >( in_channels: int = 32patch_size: int = 2dim: int = 3584n_layers: int = 44n_refiner_layers: int = 2n_heads: int = 28norm_eps: float = 1e-05cap_feat_dim: int = 7680injection_layer_ids: tuple = (6, 14, 22, 30, 38)perceiver_num_layers: int = 2min_num_gist_tokens: int = 256max_num_gist_tokens: int = 512gist_step: int = 64gist_min_text_len: int = 256gist_max_text_len: int = 2048rope_theta: float = 256.0t_scale: float = 1000.0axes_dims: tuple = (32, 48, 48)axes_lens: tuple = (2048, 512, 512) )
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Nonecontext_latents: list[torch.Tensor] | None = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
Tham số
- hidden_states (
torch.Tensorcó hình dạng(batch_size, in_channels, height, width)) — Các latent VAE đã được chuẩn hóa của hình ảnh đang được tạo ra. - timestep (
torch.Tensorcó shape(batch_size,)) — Mức độ nhiễu trong[0, 1]: 1 là nhiễu thuần túy, 0 là ảnh sạch. - encoder_hidden_states (
torch.Tensorcó hình dạng(batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) — Đặc trưng của bộ mã hóa văn bản: trước tiên là gói của Perceiver, sau đó là một gói cho mỗi khối tiêm. - encoder_attention_mask (
torch.Tensorcó shape(batch_size, text_len), tùy chọn) — Mặt nạ Bool cho các token văn bản thực, dành cho một batch các prompt được đệm (padding) về cùng độ dài. Để làNonekhi không có gì được đệm. - context_latents (
list[torch.Tensor], tùy chọn) — Latent VAE đã chuẩn hóa của các hình ảnh cần chỉnh sửa, mỗi hình ảnh tương ứng với một tensor có dạng(batch_size, in_channels, height, width), theo thứ tự. Mỗi hình ảnh có thể có kích thước riêng. Token của chúng đóng vai trò điều kiện cho quá trình tạo ra như các token sạch và không được dự đoán. - return_dict (
bool, mặc định làTrue) — Có nên trả về một Transformer2DModelOutput thay vì một tuple hay không.
Trả về
Transformer2DModelOutput hoặc tuple
Tốc độ dự đoán, có hình dạng của
hidden_states. Nếu return_dict là False, một tuple mà phần tử đầu tiên là tensor đó.