Parámetros

• audio (np.ndarray, List) — El audio o lote de audios a procesar. Cada audio puede ser un array de numpy, una lista de valores flotantes, una lista de arrays de numpy o una lista de listas de valores flotantes.
• sampling_rate (int) — La tasa de muestreo a la que se muestreó la entrada audio. Se recomienda encarecidamente pasar sampling_rate en la llamada forward para evitar errores silenciosos.
• steps_per_beat (int, opcional, valor predeterminado 2) — Se utiliza para interpolar beat_times.
• resample (bool, opcional, valor predeterminado True) — Determina si se debe re-muestrear el audio a sampling_rate antes de procesarlo. Debe ser True durante la inferencia.
• return_attention_mask (bool opcional, por defecto False) — Indica si se devolverá como salida la attention_mask para input_features, beatsteps y extrapolated_beatstep. Se establece automáticamente en True para entradas por lotes.
• return_tensors (str o TensorType, opcional) — Si se establece, devolverá tensores en lugar de una lista de enteros de Python. Los valores aceptables son:
  • 'pt': Devuelve objetos torch.Tensor de PyTorch.
  • 'np': Devuelve objetos Numpy np.ndarray. Si no se especifica nada, devolverá una lista de matrices np.ndarray.

Parámetros

• input_ids (torch.LongTensor de forma (batch_size, sequence_length)) — Índices de los tokens de la secuencia de entrada en el vocabulario. Pop2Piano es un modelo con incrustaciones de posición relativa, por lo que debería ser posible rellenar las entradas tanto a la derecha como a la izquierda. Los índices se pueden obtener utilizando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles. ¿Qué son los IDs de entrada? Para saber más sobre cómo preparar input_ids para el preentrenamiento, eche un vistazo a Pop2Piano Training.
• attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
  • 1 para los tokens que no están enmascarados,
  • 0 para los tokens que están enmascarados.

  ¿Qué son las máscaras de atención?

• decoder_input_ids (torch.LongTensor de forma (batch_size, target_sequence_length), opcional) — Índices de los tokens de la secuencia de entrada del decodificador en el vocabulario. Los índices se pueden obtener utilizando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles. ¿Qué son los IDs de entrada del decodificador? Pop2Piano utiliza pad_token_id como token inicial para la generación de decoder_input_ids. Si se utiliza past_key_values, opcionalmente solo se deben introducir los últimos decoder_input_ids (consulte past_key_values). Para saber más sobre cómo preparar
• decoder_attention_mask (torch.BoolTensor de forma (batch_size, target_sequence_length), opcional) — Comportamiento predeterminado: genera un tensor que ignora los tokens de relleno en decoder_input_ids. También se usará una máscara causal de forma predeterminada.
• encoder_outputs (tuple[tuple[torch.Tensor]], opcional) — La tupla consiste en (last_hidden_state, opcional: hidden_states, opcional: attentions) last_hidden_state de forma (batch_size, sequence_length, hidden_size), opcional) es una secuencia de hidden-states en la salida de la última capa del codificador. Se utiliza en la atención cruzada del decodificador.
• past_key_values (~cache_utils.Cache, opcional) — Estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que se pueden usar para acelerar la decodificación secuencial. Esto generalmente consiste en la past_key_values devuelta por el modelo en una etapa anterior de la decodificación, cuando use_cache=True o config.use_cache=True.

  Solo se permite una instancia de Cache como entrada, consulte nuestra guía de caché kv. Si no se pasan past_key_values, DynamicCache se inicializará de forma predeterminada.

  El modelo generará el mismo formato de caché que se proporciona como entrada.

  Si se utilizan past_key_values, se espera que el usuario introduzca únicamente los input_ids no procesados (aquellos que no tienen sus estados de clave y valor pasados proporcionados a este modelo) con forma (batch_size, unprocessed_length) en lugar de todos los input_ids con forma (batch_size, sequence_length).

• inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.
• input_features (torch.Tensor de forma (batch_size, sequence_length, feature_dim), opcional) — Los tensores correspondientes a las características de audio de entrada. Las características de audio se pueden obtener utilizando Pop2PianoFeatureExtractor. Consulte Pop2PianoFeatureExtractor.call() para más detalles (Pop2PianoProcessor utiliza Pop2PianoFeatureExtractor para procesar los audios).
• decoder_inputs_embeds (torch.Tensor de forma (batch_size, target_sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar decoder_input_ids puede optar por pasar directamente una representación incrustada. Si past_key_values se usa, opcionalmente solo la última decoder_inputs_embeds debe ser introducida (ver past_key_values). Esto es útil si se desea tener más control sobre cómo convertir decoder_input_ids índices en vectores asociados que la matriz de búsqueda de incrustaciones interna del modelo.

  Si decoder_input_ids y decoder_inputs_embeds no están configurados, decoder_inputs_embeds toma el valor de inputs_embeds.

• labels (torch.LongTensor de forma (batch_size,), opcional) — Etiquetas para calcular la pérdida de clasificación/regresión de secuencia. Los índices deben estar en [-100, 0, ..., config.vocab_size - 1]. Todas las etiquetas establecidas en -100 se ignoran (se enmascaran); la pérdida solo se calcula para etiquetas en [0, ..., config.vocab_size]
• use_cache (bool, opcional) — Si se establece en True, se devuelven los estados de clave-valor de past_key_values y pueden usarse para acelerar la decodificación (ver past_key_values).

Parámetros

• input_features (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Esta es la versión con características del audio generada por Pop2PianoFeatureExtractor.
• attention_mask — Para la generación por lotes input_features se rellenan para tener la misma forma en todos los ejemplos. attention_mask ayuda a determinar qué áreas se rellenaron y cuáles no.
  • 1 para los tokens que no están rellenos,
  • 0 para los tokens que están rellenados.
• composer (str, opcional, valor predeterminado "composer1") — Este valor se pasa a Pop2PianoConcatEmbeddingToMel para generar diferentes embeddings para cada "composer". Asegúrese de que el valor de composer esté presente en composer_to_feature_token en generation_config. Para un ejemplo, consulte https://huggingface.co/sweetcocoa/pop2piano/blob/main/generation_config.json .
• generation_config (~generation.GenerationConfig, opcional) — La configuración de generación que se utilizará como parametrización base para la llamada de generación. Los **kwargs pasados a generate que coincidan con los atributos de generation_config los sobrescribirán. Si no se proporciona generation_config, se utilizará la predeterminada, que tiene la siguiente prioridad de carga: 1) desde el archivo de modelo generation_config.json, si existe; 2) desde la configuración del modelo. Tenga en cuenta que los parámetros no especificados heredarán los valores predeterminados de GenerationConfig, cuya documentación debe consultarse para parametrizar la generación.
• kwargs — Parametrización ad hoc de generate_config y/o kwargs adicionales específicos del modelo que se reenviarán a la función forward del modelo. Si el modelo es un modelo encoder-decoder, los kwargs específicos del encoder no deben tener prefijo y los kwargs específicos del decoder deben tener el prefijo decoder_.

Parámetros

• notes (numpy.ndarray de forma [batch_size, max_sequence_length, 4] o list de pretty_midi.Note objetos) — Esto representa las notas MIDI.

  Si notes es un numpy.ndarray:

  • Cada secuencia debe tener 4 valores: onset idx, offset idx, pitch y velocity. Si notes es una list que contiene objetos pretty_midi.Note:
  • Cada secuencia debe tener 4 atributos: start, end, pitch y velocity.
• padding (bool, str o PaddingStrategy, opcional, el valor predeterminado es False) — Activa y controla el padding. Acepta los siguientes valores:
  • True o 'longest': Rellena hasta la secuencia más larga del lote (o no aplica relleno si solo se proporciona una secuencia).
  • 'max_length': Rellena hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento.
  • False o 'do_not_pad' (predeterminado): Sin relleno (es decir, puede generar un lote con secuencias de diferentes longitudes).
• truncation (bool, str o TruncationStrategy, opcional, por defecto False) — Activa y controla la truncación. Acepta los siguientes valores:
  • True o 'longest_first': Trunca hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto truncará token a token, eliminando un token de la secuencia más larga de la pareja si se proporciona una pareja de secuencias (o un lote de parejas).
  • 'only_first': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la primera secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • 'only_second': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la segunda secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • False o 'do_not_truncate' (predeterminado): sin truncamiento (es decir, se puede generar un lote con longitudes de secuencia mayores que el tamaño máximo de entrada admisible por el modelo).
• max_length (int, opcional) — Controla la longitud máxima que utilizará uno de los parámetros de truncamiento/relleno. Si se deja sin establecer o se establece en None, se utilizará la longitud máxima predefinida del modelo si uno de los parámetros de truncamiento/relleno requiere una longitud máxima. Si el modelo no tiene una longitud de entrada máxima específica (como XLNet), el truncamiento/relleno a una longitud máxima se desactivará.
• pad_to_multiple_of (int, opcional) — Si se establece, se rellenará la secuencia hasta un múltiplo del valor proporcionado. Esto es especialmente útil para habilitar el uso de Tensor Cores en hardware de NVIDIA con capacidad de cálculo >= 7.5 (Volta).
• return_attention_mask (bool, opcional) — Si se debe devolver la máscara de atención. Si se deja en el valor predeterminado, se devolverá la máscara de atención según el valor predeterminado del tokenizador específico, definido por el return_outputs atributo.

  ¿Qué son las máscaras de atención?

• return_tensors (str o TensorType, opcional) — Si se establece, devolverá tensores en lugar de una lista de enteros de Python. Los valores aceptables son:
  • 'pt': Devuelve objetos torch.Tensor de PyTorch.
  • 'np': Devuelve objetos Numpy np.ndarray.
• verbose (bool, opcional, valor predeterminado True) — Si se imprime más información y advertencias.

Parámetros

• audio (Union[numpy.ndarray, list[float], list[numpy.ndarray]], opcional) — El audio o lote de audios que se va a preparar. Cada audio puede ser un array de NumPy o un tensor de PyTorch. En el caso de un array de NumPy/tensor de PyTorch, cada audio debe tener la forma (C, T), donde C es el número de canales y T es la longitud de la muestra del audio.
• sampling_rate (int o list[int], opcional) — La tasa de muestreo del audio de entrada en Hz. Debe coincidir con la tasa de muestreo utilizada por el extractor de características. Si no se proporciona, se utilizará la tasa de muestreo predeterminada de la configuración del procesador.
• steps_per_beat (int, opcional, valor predeterminado 2) — El número de pasos de tiempo por compás musical. Este parámetro controla la resolución temporal de la representación musical. Un valor más alto proporciona una granularidad temporal más fina, pero aumenta la longitud de la secuencia. Se utiliza al procesar audio para extraer características musicales.
• resample (bool, opcional, valor predeterminado True) — Filtro de remuestreo a utilizar si se cambia el tamaño de la imagen. Puede ser uno de los valores de la enumeración PILImageResampling. Solo tiene efecto si do_resize está establecido en True.
• notes (list o TensorType, opcional) — Notas musicales preextraídas en formato MIDI. Cuando se proporciona, el procesador omite la extracción de características de audio y procesa directamente las notas a través del tokenizador. Cada nota debe representarse como una lista o tensor que contenga información de tono, velocidad y temporización.
• padding (bool, str o PaddingStrategy, opcional, por defecto False) — Activa y controla el padding. Acepta los siguientes valores:
  • True o 'longest': Rellena hasta la secuencia más larga del lote (o no aplica relleno si solo se proporciona una secuencia).
  • 'max_length': Rellena hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento.
  • False o 'do_not_pad' (predeterminado): Sin relleno (es decir, puede generar un lote con secuencias de diferentes longitudes).
• truncation (bool, str o TruncationStrategy, opcional) — Activa y controla la truncación. Acepta los siguientes valores:
  • True o 'longest_first': Trunca hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto truncará token a token, eliminando un token de la secuencia más larga de la pareja si se proporciona una pareja de secuencias (o un lote de parejas).
  • 'only_first': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la primera secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • 'only_second': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la segunda secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • False o 'do_not_truncate' (predeterminado): sin truncamiento (es decir, se puede generar un lote con longitudes de secuencia mayores que el tamaño máximo de entrada admisible por el modelo).
• max_length (int, opcional) — Controla la longitud máxima que se utilizará mediante uno de los parámetros de truncamiento/relleno.

  Si se deja sin definir o se establece en None, se utilizará la longitud máxima predefinida del modelo si uno de los parámetros de truncamiento/relleno lo requiere. Si el modelo no tiene una longitud máxima de entrada específica (como XLNet), el truncamiento/relleno a una longitud máxima se desactivará.

• pad_to_multiple_of (int, opcional) — Si se establece, se rellenará la secuencia hasta un múltiplo del valor proporcionado. Requiere que padding esté activado. Esto es especialmente útil para habilitar el uso de Tensor Cores en hardware de NVIDIA con capacidad de cálculo >= 7.5 (Volta).
• verbose (bool, opcional, valor predeterminado True) — Si se imprime más información y advertencias.
• return_tensors (str o TensorType, opcional) — Si se establece, devolverá tensores de un marco de trabajo específico. Los valores aceptables son:
  • 'pt': Devuelve objetos torch.Tensor de PyTorch.
  • 'np': Devuelve objetos np.ndarray de NumPy.