Diffusers documentation
UNetMotionModel
UNetMotionModel
Mô hình UNet ban đầu được Ronneberger và cộng sự giới thiệu cho phân đoạn ảnh y sinh, nhưng nó cũng được sử dụng phổ biến trong 🤗 Diffusers vì nó tạo ra các ảnh có cùng kích thước với đầu vào. Đây là một trong những thành phần quan trọng nhất của một hệ thống khuếch tán vì nó hỗ trợ quá trình khuếch tán thực sự. Có một số biến thể của mô hình UNet trong 🤗 Diffusers, tùy thuộc vào số chiều của nó và việc nó có phải là mô hình có điều kiện hay không. Đây là một mô hình UNet 2D.
Tóm tắt từ bài báo là:
Có sự đồng thuận rộng rãi rằng việc huấn luyện thành công các mạng sâu đòi hỏi hàng nghìn mẫu huấn luyện đã được chú thích. Trong bài báo này, chúng tôi trình bày một kiến trúc mạng và chiến lược huấn luyện dựa vào việc sử dụng mạnh mẽ kỹ thuật tăng cường dữ liệu để khai thác hiệu quả hơn các mẫu đã được chú thích sẵn có. Kiến trúc bao gồm một đường co (contracting path) để nắm bắt ngữ cảnh và một đường mở rộng (expanding path) đối xứng cho phép định vị chính xác. Chúng tôi cho thấy rằng một mạng như vậy có thể được huấn luyện end-to-end từ rất ít hình ảnh và vượt trội hơn so với phương pháp tốt nhất trước đó (một mạng tích chập cửa sổ trượt) trong thử thách ISBI về phân đoạn các cấu trúc thần kinh trong các chồng ảnh hiển vi điện tử. Sử dụng cùng một mạng được huấn luyện trên các ảnh hiển vi ánh sáng truyền qua (tương phản pha và DIC), chúng tôi đã giành chiến thắng trong thử thách theo dõi tế bào ISBI 2015 ở các hạng mục này với khoảng cách lớn. Hơn nữa, mạng này hoạt động nhanh. Việc phân đoạn một ảnh 512x512 mất chưa đến một giây trên một GPU đời mới. Toàn bộ cài đặt (dựa trên Caffe) và các mạng đã được huấn luyện có sẵn tại http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.
UNetMotionModel
lớp diffusers.UNetMotionModel
< source >( sample_size: int | None = Nonein_channels: int = 4out_channels: int = 4down_block_types: tuple = ('CrossAttnDownBlockMotion', 'CrossAttnDownBlockMotion', 'CrossAttnDownBlockMotion', 'DownBlockMotion')up_block_types: tuple = ('UpBlockMotion', 'CrossAttnUpBlockMotion', 'CrossAttnUpBlockMotion', 'CrossAttnUpBlockMotion')block_out_channels: tuple = (320, 640, 1280, 1280)layers_per_block: int | tuple[int] = 2downsample_padding: int = 1mid_block_scale_factor: float = 1act_fn: str = 'silu'norm_num_groups: int = 32norm_eps: float = 1e-05cross_attention_dim: int = 1280transformer_layers_per_block: int | tuple[int] | tuple[tuple] = 1reverse_transformer_layers_per_block: int | tuple[int] | tuple[tuple] | None = Nonetemporal_transformer_layers_per_block: int | tuple[int] | tuple[tuple] = 1reverse_temporal_transformer_layers_per_block: int | tuple[int] | tuple[tuple] | None = Nonetransformer_layers_per_mid_block: int | tuple[int] | None = Nonetemporal_transformer_layers_per_mid_block: int | tuple[int] | None = 1use_linear_projection: bool = Falsenum_attention_heads: int | tuple[int, ...] = 8motion_max_seq_length: int = 32motion_num_attention_heads: int | tuple[int, ...] = 8reverse_motion_num_attention_heads: int | tuple[int, ...] | tuple[tuple[int, ...], ...] | None = Noneuse_motion_mid_block: bool = Truemid_block_layers: int = 1encoder_hid_dim: int | None = Noneencoder_hid_dim_type: str | None = Noneaddition_embed_type: str | None = Noneaddition_time_embed_dim: int | None = Noneprojection_class_embeddings_input_dim: int | None = Nonetime_cond_proj_dim: int | None = None )
Một mô hình 2D UNet có điều kiện đã được sửa đổi, nhận vào một mẫu nhiễu, trạng thái có điều kiện và một bước thời gian, sau đó trả về một đầu ra có hình dạng của mẫu.
Mô hình này kế thừa từ ModelMixin. Hãy xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các mô hình (chẳng hạn như tải xuống hoặc lưu trữ).
Tắt cơ chế FreeU.
enable_forward_chunking
< source >( chunk_size: int | None = Nonedim: int = 0 )
Tham số
- chunk_size (
int, tùy chọn) — Kích thước chunk của các lớp feed-forward. Nếu không được chỉ định, lớp feed-forward sẽ được chạy riêng lẻ trên mỗi tensor có dim=dim. - dim (
int, tùy chọn, mặc định là0) — Chiều mà phép tính feed-forward nên được chia nhỏ. Chọn giữa dim=0 (batch) hoặc dim=1 (chiều dài chuỗi).
Đặt bộ xử lý chú ý để sử dụng chia nhỏ feed forward.
enable_freeu
< source >( s1: floats2: floatb1: floatb2: float )
Tham số
- s1 (
float) — Hệ số tỷ lệ cho giai đoạn 1 để làm suy giảm đóng góp của các đặc trưng skip. Việc này được thực hiện để giảm thiểu “hiệu ứng làm mịn quá mức” trong quá trình khử nhiễu được tăng cường. - s2 (
float) — Hệ số tỷ lệ cho giai đoạn 2 để làm suy giảm đóng góp của các đặc trưng skip. Việc này được thực hiện để giảm thiểu “hiệu ứng làm mịn quá mức” trong quá trình khử nhiễu được tăng cường. - b1 (
float) — Hệ số tỷ lệ cho giai đoạn 1 để khuếch đại đóng góp của các đặc trưng backbone. - b2 (
float) — Hệ số tỷ lệ cho giai đoạn 2 để khuếch đại đóng góp của các đặc trưng backbone.
Bật cơ chế FreeU từ https://huggingface.co/papers/2309.11497.
Các hậu tố sau các hệ số tỷ lệ đại diện cho các khối giai đoạn mà chúng được áp dụng.
Vui lòng tham khảo kho mã nguồn chính thức để biết các tổ hợp giá trị được biết là hoạt động tốt cho các pipeline khác nhau như Stable Diffusion v1, v2 và Stable Diffusion XL.
forward
< source >( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]encoder_hidden_states: Tensortimestep_cond: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonecross_attention_kwargs: dict[str, typing.Any] | None = Noneadded_cond_kwargs: dict[str, torch.Tensor] | None = Nonedown_block_additional_residuals: tuple[torch.Tensor] | None = Nonemid_block_additional_residual: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → UNetMotionOutput or tuple
Tham số
- sample (
torch.Tensor) — Tensor đầu vào có nhiễu với hình dạng(batch, num_frames, channel, height, width. - timestep (
torch.Tensorhoặcfloathoặcint) — Số lượng bước thời gian để khử nhiễu một đầu vào. - encoder_hidden_states (
torch.Tensor) — Trạng thái ẩn của bộ mã hóa với hình dạng(batch, sequence_length, feature_dim). - timestep_cond — (
torch.Tensor, tùy chọn, mặc định làNone): Các embedding điều kiện cho timestep. Nếu được cung cấp, các embedding này sẽ được cộng với các mẫu được truyền qua lớpself.time_embeddingđể thu được các embedding timestep. - attention_mask (
torch.Tensor, tùy chọn, mặc định làNone) — Một attention mask có shape(batch, key_tokens)được áp dụng choencoder_hidden_states. Nếu là1, mask được giữ lại, ngược lại nếu là0, nó sẽ bị loại bỏ. Mask sẽ được chuyển đổi thành một bias, thêm các giá trị âm lớn vào các điểm chú ý tương ứng với các token “bị loại bỏ”. - cross_attention_kwargs (
dict, tùy chọn) — Một từ điển kwargs, nếu được chỉ định, sẽ được truyền đếnAttentionProcessornhư đã định nghĩa dướiself.processortrong diffusers.models.attention_processor. - added_cond_kwargs (
dict, tùy chọn) — Một từ điển chứa các embedding bổ sung (ví dụ: embedding văn bản và thời gian) được sử dụng để điều kiện hóa mô hình. - down_block_additional_residuals — (
tuplecủatorch.Tensor, optional): Một tuple các tensor mà nếu được chỉ định sẽ được cộng vào các residual của các khối down unet. - mid_block_additional_residual — (
torch.Tensor, tùy chọn): Một tensor, nếu được chỉ định, sẽ được cộng vào phần dư (residual) của khối unet ở giữa. - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về mộtUNetMotionOutputthay vì một tuple thông thường hay không.
Trả về
UNetMotionOutput hoặc tuple
Nếu return_dict là True, một UNetMotionOutput sẽ được trả về,
ngoài ra một tuple sẽ được trả về trong đó phần tử đầu tiên là tensor mẫu.
Phương thức forward của UNetMotionModel.
Đóng băng trọng số của riêng UNet2DConditionModel, và giữ các module chuyển động không bị đóng băng để tinh chỉnh.
Bật các phép chiếu QKV đã hợp nhất. Đối với các module tự chú ý, tất cả các ma trận chiếu (tức là truy vấn, khóa, giá trị) đều được hợp nhất. Đối với các module chú ý chéo, các ma trận chiếu khóa và giá trị được hợp nhất.
> API này 🧪 mang tính thử nghiệm.
Tắt các bộ xử lý chú ý tùy chỉnh và đặt cài đặt chú ý mặc định.
Tắt dự phóng QKV hợp nhất nếu đã được bật.
> API này 🧪 mang tính thử nghiệm.
UNet3DConditionOutput
lớp diffusers.models.unets.unet_3d_condition.UNet3DConditionOutput
< source >( sample: Tensor )
Đầu ra của UNet3DConditionModel.