Diffusers documentation
潜在一致性模型多步调度器
潜在一致性模型多步调度器
概述
随 Simian Luo、Yiqin Tan、Longbo Huang、Jian Li 和 Hang Zhao 的论文 Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference 一同引入的多步和单步调度器(Algorithm 3),该论文提出了潜在一致性模型。 该调度器应能够在 1-8 步内从 LatentConsistencyModelPipeline 生成高质量的样本。
LCMScheduler
class diffusers.LCMScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.00085beta_end: float = 0.012beta_schedule: str = 'scaled_linear'trained_betas: numpy.ndarray | list[float] | None = Noneoriginal_inference_steps: int = 50clip_sample: bool = Falseclip_sample_range: float = 1.0set_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: str = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0timestep_spacing: str = 'leading'timestep_scaling: float = 10.0rescale_betas_zero_snr: bool = False )
参数
- num_train_timesteps (
int,默认为1000) — 用于训练模型的扩散步数。 - beta_start (
float,默认为0.00085) — 推理的起始beta值。 - beta_end (
float,默认为0.012) — 最终的beta值。 - beta_schedule (
str,默认为"scaled_linear") — Beta 调度,将 beta 范围映射为用于模型步进的一系列 beta 值。可选linear、scaled_linear或squaredcos_cap_v2。 - trained_betas(
np.ndarray或list[float],可选)— 直接传入 betas 数组到构造函数中,以绕过beta_start和beta_end。 - original_inference_steps (
int,默认为50) — 用于生成线性间隔时间步调度的默认推理步数,最终将从中均匀选取num_inference_steps个时间步,以构成最终的时间步调度。 - clip_sample (
bool,默认为False) — 对预测样本进行裁剪,以确保数值稳定性。 - clip_sample_range (
float,默认为1.0) — 样本裁剪的最大幅度。仅在clip_sample=True时有效。 - set_alpha_to_one (
bool,默认为True) — 每个扩散步骤都会使用当前步骤和上一步骤的 alpha 乘积值。对于最后一步,不存在上一步的 alpha。当此选项为True时,上一步的 alpha 乘积固定为1,否则使用步骤 0 的 alpha 值。 - steps_offset(
int,默认为0)— 添加到推理步数中的偏移量,某些模型系列需要此参数。 - prediction_type (
str, defaults to"epsilon") — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool,默认为False) — 是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。 - dynamic_thresholding_ratio (
float, 默认值为0.995) — 动态阈值化方法的比例。仅在thresholding=True时有效。 - sample_max_value (
float,默认为1.0) — 动态阈值化的阈值。仅在thresholding=True时有效。 - timestep_spacing (
str,默认为"leading") — 时间步的缩放方式。更多信息请参阅 常见扩散噪声调度和采样步骤存在缺陷 中的表 2。 - timestep_scaling (
float,默认为10.0) — 在计算一致性模型边界条件c_skip和c_out时,时间步(timesteps)将被乘以的系数。增大该值会降低近似误差(尽管在默认值10.0下,近似误差已经相当小)。 - rescale_betas_zero_snr (
bool,默认为False) — 是否重新缩放 betas 以实现零终端 SNR。这使模型能够生成非常明亮和非常暗的样本,而不是将其限制在中等亮度的样本上。与--offset_noise大致相关。
LCMScheduler 扩展了去噪扩散概率模型(DDPM)中引入的去噪过程,并加入了非马尔可夫引导。
该模型继承自 SchedulerMixin 和 ConfigMixin。~ConfigMixin 负责存储通过调度器的 __init__ 函数传入的所有配置属性,例如 num_train_timesteps。可以通过 scheduler.config.num_train_timesteps 访问这些属性。SchedulerMixin 通过 SchedulerMixin.save_pretrained() 和 from_pretrained() 函数提供通用的加载和保存功能。
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
根据每个时间步的噪声幅度,向原始样本添加噪声(即前向扩散过程)。
get_scalings_for_boundary_condition_discrete
< source >( timestep: int ) → tuple[float, float]
计算给定离散时间步的边界条件缩放系数(c_skip 和 c_out),其用法与 Latent Consistency Model 一致。
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
根据速度公式,从样本和噪声计算速度预测。
index_for_timestep
< source >( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
查找给定时间步在时间步调度中的索引。
previous_timestep
< source >( timestep ) → int or torch.Tensor
计算扩散链中的前一个时间步。
scale_model_input
< source >( sample: Tensortimestep: int | None = None ) → torch.Tensor
确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器之间的可互换性。
设置调度器的起始索引。此函数应在推理之前从流水线中运行。
set_timesteps
< source >( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = Noneoriginal_inference_steps: int | None = Nonetimesteps: list[int] | None = Nonestrength: float = 1.0 ) → None
参数
- num_inference_steps (
int, 可选) — 使用预训练模型生成样本时所用的扩散步数。如果使用了该参数,timesteps必须为None。 - device (
str或torch.device,可选) — 时间步应移动到的设备。如果为None,则不移动时间步。 - original_inference_steps (
int,可选) — 原始推理步数,用于生成线性间隔的时间步调度(与标准的diffusers实现不同)。随后,我们将按索引均匀地从该调度中选取num_inference_steps个时间步,并将其作为最终的时间步调度。如果未设置,则默认为original_inference_steps属性。 - timesteps (
list[int], 可选) — 用于支持任意时间步间隔的自定义时间步。如果为None,则使用训练/蒸馏时间步调度中时间步等间隔的默认时间步间隔策略。如果传入了timesteps,则num_inference_steps必须为None。 - strength (
float,默认为1.0) — 用于生成部分时间步调度的强度因子(例如用于图像到图像任务)。值为1.0时使用完整调度。
返回值
None
设置扩散链所使用的离散时间步(需在推理之前运行)。
步骤
< source >( model_output: Tensortimestep: intsample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → LCMSchedulerOutput or tuple
参数
- model_output (
torch.Tensor) — 学习到的扩散模型的直接输出。 - timestep (
int) — 扩散链中的当前离散时间步。 - sample (
torch.Tensor) — 扩散过程生成的样本的当前实例。 - generator (
torch.Generator, 可选) — 用于可复现采样的随机数生成器。 - return_dict (
bool,默认为True) — 是否返回LCMSchedulerOutput或tuple。
返回值
LCMSchedulerOutput 或 tuple
If return_dict is True, LCMSchedulerOutput is returned, otherwise a
tuple is returned where the first element is the sample tensor.
通过逆向 SDE 预测上一时间步的样本。此函数将扩散过程从学习到的模型输出(通常是预测的噪声)进行传播。