Hugging Face's logo

Diffusers documentation

HunyuanImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanImageTransformer2DModel

نموذج Transformar الانتشار لـ HunyuanImage2.1.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import HunyuanImageTransformer2DModel

transformer = HunyuanImageTransformer2DModel.from_pretrained("hunyuanvideo-community/HunyuanImage-2.1-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

HunyuanImageTransformer2DModel

فئة diffusers.HunyuanImageTransformer2DModel

< >

( in_channels: int = 64out_channels: int = 64num_attention_heads: int = 28attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: tuple = (1, 1)qk_norm: str = 'rms_norm'guidance_embeds: bool = Falsetext_embed_dim: int = 3584text_embed_2_dim: int | None = Nonerope_theta: float = 256.0rope_axes_dim: tuple = (64, 64)use_meanflow: bool = False )

المعاملات

  • in_channels (int)، القيمة الافتراضية 16 — عدد القنوات في المدخلات.
  • out_channels (int، القيمة الافتراضية 16) — عدد القنوات في المخرجات.
  • num_attention_heads (int، القيمة الافتراضية 24) — عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس.
  • attention_head_dim (int، القيمة الافتراضية 128) — عدد القنوات في كل رأس.
  • num_layers (int، القيمة الافتراضية 20) — عدد طبقات كتل التدفق المزدوج المستخدمة.
  • num_single_layers (int، القيمة الافتراضية 40) — عدد طبقات كتل التدفق الأحادي التي سيتم استخدامها.
  • num_refiner_layers (int، القيمة الافتراضية 2) — عدد طبقات كتل التصفية (refiner) المستخدمة.
  • mlp_ratio (float، القيمة الافتراضية 4.0) — نسبة حجم الطبقة المخفية إلى حجم الإدخال في الشبكة الأمامية.
  • patch_size (int، القيمة الافتراضية 2) — حجم البقع المكانية المستخدمة في طبقة تضمين البقع.
  • patch_size_t (int، القيمة الافتراضية 1) — حجم البقع الزمنية (temporal patches) المستخدمة في طبقة تضمين البقع (patch embedding layer).
  • qk_norm (str، القيمة الافتراضية rms_norm) — طريقة التطبيع المستخدمة لإسقاطات الاستعلام والمفتاح في طبقات الانتباه.
  • guidance_embeds (bool، القيمة الافتراضية True) — ما إذا كان سيتم استخدام تضمينات التوجيه في النموذج.
  • text_embed_dim (int، القيمة الافتراضية 4096) — البُعد المدخل لتضمينات النص من مُشفِّر النص.
  • pooled_projection_dim (int، القيمة الافتراضية 768) — البُعد الإسقاطي المجمّع لتضمينات النص.
  • rope_theta (float، القيمة الافتراضية 256.0) — قيمة ثيتا المستخدمة في طبقة RoPE.
  • rope_axes_dim (tuple[int]، القيمة الافتراضية (16, 56, 56)) — أبعاد المحاور المستخدمة في طبقة RoPE.
  • image_condition_type (str، اختياري، القيمة الافتراضية None) — نوع تكييف الصورة المستخدم. إذا كانت None، فلا يُستخدم تكييف الصورة. إذا كانت latent_concat، يتم دمج الصورة مع تدفق الكمون. إذا كانت token_replace، تُستخدم الصورة لاستبدال رموز الإطار الأول في تدفق الكمون وتطبيق التكييف.

نموذج Transformer المستخدم في HunyuanImage-2.1.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensortimestep_r: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states_2: typing.Optional[torch.Tensor] = Noneencoder_attention_mask_2: typing.Optional[torch.Tensor] = Noneguidance: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

المعاملات

  • hidden_states (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch_size, num_channels, num_frames, height, width)) — مدخلات hidden_states.
  • timestep (torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • encoder_hidden_states (torch.Tensor من الشكل (batch_size, sequence_len, embed_dims)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • encoder_attention_mask (torch.Tensor) — قناع يُطبَّق على encoder_hidden_states أثناء الانتباه.
  • timestep_r (torch.LongTensor، اختياري) — شرط خطوة التوقيت للمُحسِّن.
  • encoder_hidden_states_2 (torch.Tensor، اختياري) — تضمينات شرطية إضافية محسوبة من مُشفِّر نصي ثانٍ.
  • encoder_attention_mask_2 (torch.Tensor، اختياري) — قناع يُطبَّق على encoder_hidden_states_2 أثناء الانتباه.
  • guidance (torch.Tensor، اختياري) — تضمين مقياس التوجيه المستخدم في النسخ المُقطّرة بالتوجيه من النموذج.
  • attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

طريقة HunyuanImageTransformer2DModel الأمامية.

Transformer2DModelOutput

فئة diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

المعاملات

  • sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.

Update on GitHub

←HunyuanDiT2DModel HunyuanVideo15Transformer3DModel→