Diffusers documentation
EulerDiscreteScheduler
EulerDiscreteScheduler
El scheduler de Euler (Algoritmo 2) proviene del artículo Elucidating the Design Space of Diffusion-Based Generative Models de Karras et al. Es un scheduler rápido que a menudo puede generar buenas salidas en 20-30 pasos. El scheduler se basa en la implementación original de k-diffusion de Katherine Crowson.
EulerDiscreteScheduler
clase diffusers.EulerDiscreteScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: str = 'linear'trained_betas: numpy.ndarray | list[float] | None = Noneprediction_type: str = 'epsilon'interpolation_type: str = 'linear'use_karras_sigmas: bool | None = Falseuse_exponential_sigmas: bool | None = Falseuse_beta_sigmas: bool | None = Falsesigma_min: float | None = Nonesigma_max: float | None = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'timestep_type: typing.Literal['discrete', 'continuous'] = 'discrete'steps_offset: int = 0rescale_betas_zero_snr: bool = Falsefinal_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero' )
Parámetros
- num_train_timesteps (
int, por defecto 1000) — El número de pasos de difusión para entrenar el modelo. - beta_start (
float, por defecto 0.0001) — El valor inicial debetapara la inferencia. - beta_end (
float, valor predeterminado 0.02) — El valor final debeta. - beta_schedule (
Literal["linear", "scaled_linear", "squaredcos_cap_v2"], por defecto"linear") — El plan de betas, una correspondencia desde un rango de betas hasta una secuencia de betas para dar pasos al modelo. Elija entre"linear","scaled_linear"o"squaredcos_cap_v2". - trained_betas (
np.ndarray, opcional) — Pase un array de betas directamente al constructor para omitirbeta_startybeta_end. - prediction_type (
Literal["epsilon", "sample", "v_prediction"], defaults to"epsilon", optional) — Prediction type of the scheduler function; can be"epsilon"(predicts the noise of the diffusion process),"sample"(directly predicts the noisy sample) or“v_prediction”` (see section 2.4 of Imagen Video paper). - interpolation_type (
Literal["linear", "log_linear"], por defecto"linear", opcional) — El tipo de interpolación para calcular los sigmas intermedios de los pasos de desruido del programador. Debe ser uno de"linear"o"log_linear". - use_karras_sigmas (
bool, opcional, valor predeterminadoFalse) — Si se deben usar sigmas de Karras para los tamaños de paso en el plan de ruido durante el proceso de muestreo. Si esTrue, los sigmas se determinan según una secuencia de niveles de ruido {σi}. - use_exponential_sigmas (
bool, opcional, valor predeterminadoFalse) — Si se deben usar sigmas exponenciales para los tamaños de paso en el plan de ruido durante el proceso de muestreo. - use_beta_sigmas (
bool, opcional, valor predeterminadoFalse) — Si se deben usar beta sigmas para los tamaños de paso en el programa de ruido durante el proceso de muestreo. Consulte Beta Sampling is All You Need para obtener más información. - sigma_min (
float, opcional) — El valor mínimo de sigma para el plan de ruido. Si no se proporciona, el valor predeterminado es el último sigma del plan. - sigma_max (
float, opcional) — El valor máximo de sigma para el plan de ruido. Si no se proporciona, el valor predeterminado es el primer sigma del plan. - timestep_spacing (
Literal["linspace", "leading", "trailing"], por defecto"linspace") — La forma en que deben escalarse los timesteps. Consulte la tabla 2 de Common Diffusion Noise Schedules and Sample Steps are Flawed para obtener más información. - timestep_type (
Literal["discrete", "continuous"], por defecto"discrete") — El tipo de timesteps a utilizar. Puede ser"discrete"o"continuous". - steps_offset (
int, valor predeterminado 0) — Un desplazamiento que se suma a los pasos de inferencia, tal como lo requieren algunas familias de modelos. - rescale_betas_zero_snr (
bool, por defectoFalse) — Si se deben reescalar los betas para tener un SNR terminal cero. Esto permite al modelo generar muestras muy brillantes y oscuras en lugar de limitarse a muestras con un brillo medio. Relacionado de forma laxa con--offset_noise. - final_sigmas_type (
Literal["zero", "sigma_min"], por defecto"zero") — El valor final desigmapara el plan de ruido durante el proceso de muestreo. Si es"sigma_min", el sigma final es el mismo que el último sigma del plan de entrenamiento. Si es"zero", el sigma final se establece en 0.
Euler scheduler.
Este modelo hereda de SchedulerMixin y ConfigMixin. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor
Parámetros
- original_samples (
torch.Tensor) — Las muestras originales a las que se les añadirá ruido. - noise (
torch.Tensor) — El tensor de ruido que se añadirá a las muestras originales. - timesteps (
torch.Tensor) — Los pasos de tiempo en los que se añade ruido, determinando el nivel de ruido a partir de la programación.
Devuelve
torch.Tensor
Las muestras ruidosas con ruido añadido escalado según la programación de pasos de tiempo.
Añade ruido a las muestras originales según el programa de ruido en los pasos de tiempo especificados.
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor
Parámetros
- sample (
torch.Tensor) — La muestra de entrada para la que se calcula la velocidad. - noise (
torch.Tensor) — El tensor de ruido correspondiente a la muestra. - timesteps (
torch.Tensor) — Los pasos de tiempo en los que se debe calcular la velocidad.
Devuelve
torch.Tensor
La predicción de velocidad se calcula como sqrt(alpha_prod) * noise - sqrt(1 - alpha_prod) * sample.
Calcule la predicción de velocidad para la muestra y el ruido dados en los pasos de tiempo especificados.
Este método implementa la predicción de velocidad utilizada en los modelos de predicción-v, que predice una combinación lineal de la muestra y el ruido.
index_for_timestep
< source >( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
Parámetros
- timestep (
floatotorch.Tensor) — El valor de timestep que se debe buscar en la programación. - schedule_timesteps (
torch.Tensor, opcional) — El calendario de pasos de tiempo en el que buscar. Si esNone, usaself.timesteps.
Devuelve
int
El índice del paso de tiempo en la programación. Para el primer paso, devuelve el segundo índice si existen múltiples coincidencias para evitar omitir una sigma al comenzar a mitad de la programación (p. ej., para imagen a imagen).
Encuentra el índice de un paso de tiempo dado en la programación de pasos de tiempo.
scale_model_input
< source >( sample: Tensortimestep: typing.Union[float, torch.Tensor] ) → torch.Tensor
Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual. Escala la entrada del modelo de desruido por (sigma**2 + 1) ** 0.5 para que coincida con el algoritmo de Euler.
set_begin_index
< source >( begin_index: int = 0 )
Establece el índice inicial para el programador. Esta función debe ejecutarse desde la tubería antes de la inferencia.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonetimesteps: list[int] | None = Nonesigmas: list[float] | None = None )
Parámetros
- num_inference_steps (
int, opcional) — El número de pasos de difusión utilizados al generar muestras con un modelo preentrenado. Si esNone, se deben proporcionartimestepsosigmas. - device (
strotorch.device, opcional) — El dispositivo al que deben moverse los timesteps. Si esNone, los timesteps no se mueven. - timesteps (
list[int], opcional) — Pasos de tiempo personalizados para admitir una programación de pasos de tiempo arbitraria. Si esNone, los pasos de tiempo se generarán basándose en el atributotimestep_spacing. Si se pasatimesteps,num_inference_stepsysigmasdeben serNone, y el atributotimestep_spacingse ignorará. - sigmas (
list[float], opcional) — Sigmas personalizados para admitir una programación de pasos de tiempo arbitraria. Si esNone, los pasos de tiempo y los sigmas se generarán en función de los atributos relevantes del programador. Si se pasasigmas,num_inference_stepsytimestepsdeben serNone, y los pasos de tiempo se generarán en función de la programación de sigmas personalizada.
Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).
paso
< source >( model_output: Tensortimestep: typing.Union[float, torch.Tensor]sample: Tensors_churn: float = 0.0s_tmin: float = 0.0s_tmax: float = infs_noise: float = 1.0generator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → EulerDiscreteSchedulerOutput or tuple
Parámetros
- model_output (
torch.Tensor) — La salida directa del modelo de difusión aprendido. - timestep (
floatotorch.Tensor) — El paso de tiempo discreto actual en la cadena de difusión. - sample (
torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión. - s_churn (
float, opcional, valor predeterminado0.0) — Parámetro de estocasticidad que controla la cantidad de ruido añadido durante la muestreo. Valores más altos aumentan la aleatoriedad. - s_tmin (
float, opcional, valor predeterminado0.0) — Umbral mínimo de paso temporal para aplicar estocasticidad. Solo se añadirá ruido a los pasos temporales que superen este valor. - s_tmax (
float, opcional, valor predeterminadoinf) — Umbral máximo de paso temporal para aplicar estocasticidad. Solo se añadirá ruido a los pasos temporales que estén por debajo de este valor. - s_noise (
float, opcional, valor predeterminado1.0) — Factor de escala para el ruido añadido a la muestra. - generator (
torch.Generator, opcional) — Un generador de números aleatorios para muestreos reproducibles. - return_dict (
bool, opcional, valor predeterminadoTrue) — Indica si se debe devolver un EulerDiscreteSchedulerOutput o una tupla.
Devuelve
EulerDiscreteSchedulerOutput o tuple
Si return_dict es True, se devuelve EulerDiscreteSchedulerOutput; en caso contrario, se devuelve una tupla cuyo primer elemento es el tensor de la muestra y cuyo segundo elemento es la muestra original predicha.
Predice la muestra del paso de tiempo anterior invirtiendo el SDE. Esta función propaga el proceso de difusión a partir de las salidas del modelo aprendido (con mayor frecuencia, el ruido predicho).
EulerDiscreteSchedulerOutput
clase diffusers.schedulers.scheduling_euler_discrete.EulerDiscreteSchedulerOutput
< source >( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )
Parámetros
- prev_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imágenes) — Muestra calculada(x_{t-1})del paso de tiempo anterior.prev_sampledebe usarse como entrada del modelo en el bucle de desruido. - pred_original_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imágenes) — La muestra desruidada predicha(x_{0})basada en la salida del modelo del paso de tiempo actual.pred_original_samplese puede usar para previsualizar el progreso o para la guía.
Clase de salida para la función step del programador.