# Pocket TTS ses belirteçleyicisi ## Genel Bakış [Pocket TTS](https://huggingface.co/kyutai/pocket-tts) ses tokenleyicisi: [Mimi](./mimi)'nin mimarisine (her iki tarafta SEANet konvolüsyonları ve küçük bir nedensel transformer) sahip, artıksal vektör kuantizatörü [Continuous Audio Language Models](https://huggingface.co/papers/2509.06926)'daki VAE-GAN ile değiştirilen, sürekli 32 boyutlu bir darboğaz içeren bir codec. 24 kHz sesleri 12.5 Hz'de latentlere ve geriye dönüştürür. Kodlayıcısı ve çözücüleri tek başına yüklenebilir ([PocketTTSAudioTokenizerEncoderModel](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderModel), [PocketTTSAudioTokenizerDecoderModel](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderModel)). [PocketTTSProcessor](/docs/transformers/main/tr/model_doc/pocket_tts#transformers.PocketTTSProcessor)'un `audio_tokenizer`'ıdır ve tüm Pocket TTS checkpoint'leri tarafından paylaşıldır: işlemci, ses istemlerini bununla kodlar ve üretilen latentleri çözer. Bu model [Eustache Le Bihan](https://huggingface.co/eustlb) tarafından katkıda bulunmuştur. Orijinal kod [kyutai-labs/pocket-tts](https://github.com/kyutai-labs/pocket-tts)'tir. ## Kullanım ```python from datasets import Audio, load_dataset from transformers import AutoFeatureExtractor, AutoModel model = AutoModel.from_pretrained("eustlb/pocket-tts-audio-tokenizer", device_map="auto") feature_extractor = AutoFeatureExtractor.from_pretrained("eustlb/pocket-tts-audio-tokenizer") dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation") dataset = dataset.cast_column("audio", Audio(sampling_rate=24000)) inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=24000, return_tensors="pt").to(model.device) latents = model.encode(**inputs).latents audio_values = model.decode(latents).audio_values ``` ## PocketTTSAudioTokenizerConfig[[transformers.PocketTTSAudioTokenizerConfig]] #### transformers.PocketTTSAudioTokenizerConfig[[transformers.PocketTTSAudioTokenizerConfig]] ```python transformers.PocketTTSAudioTokenizerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, sampling_rate: int = 24000, audio_channels: int = 1, hidden_size: int = 512, num_filters: int = 64, num_residual_layers: int = 1, upsampling_ratios: list[int] | None = None, kernel_size: int = 7, last_kernel_size: int = 3, residual_kernel_size: int = 3, dilation_growth_rate: int = 2, use_causal_conv: bool = True, pad_mode: str = 'constant', compress: int = 2, trim_right_ratio: float = 1.0, use_conv_shortcut: bool = False, upsample_groups: int = 512, num_hidden_layers: int = 2, intermediate_size: int = 2048, num_attention_heads: int = 8, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'gelu_pytorch_tanh', max_position_embeddings: int = 8000, initializer_range: float = 0.02, norm_eps: float = 1e-05, use_cache: bool = False, use_streaming: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, sliding_window: int = 250, attention_dropout: float | int = 0.0, layer_scale_initial_scale: float = 0.01, attention_bias: bool = False, latent_stride: int = 16, latent_dim: int = 32) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/configuration_pocket_tts_audio_tokenizer.py#L38) **Parametreler:** sampling_rate (`int`, *isteğe bağlı*, varsayılan `24000`) : Ses dosyalarının dijitalleştirileceği örneklem hızı, hertz (Hz) cinsinden ifade edilir. audio_channels (`int`, *isteğe bağlı*, varsayılan 1) : Ses verisindeki kanal sayısı; yayınlanan kontrol noktaları ve bu uygulama mono'dur. hidden_size (`int`, *isteğe bağlı*, varsayılan `512`) : Gizli temsillerin boyutu. num_filters (`int`, *opsiyonel*, varsayılan 64) : Kodlayıcının ilk `PocketTTSAudioTokenizerConv1d` katmanındaki konvolüsyon çekirdeklerinin sayısı. num_residual_layers (`int`, *isteğe bağlı*, varsayılan 1) : Kalıntı katman sayısı. upsampling_ratios (`list[int]`, *isteğe bağlı*) : Çözücünün transpoze konvolüsyonlarının çekirdek boyutu ve adım oranları; kodlayıcı bunları ters sırada kullanır. Belirtilmezse, varsayılan değer `[6, 5, 4]`'tür. kernel_size (`int`, *isteğe bağlı*, varsayılan `7`) : Konvolüsyon çekirdeğinin boyutu. last_kernel_size (`int`, *isteğe bağlı*, varsayılan 3) : Son konvolüsyon katmanının çekirdek boyutu. residual_kernel_size (`int`, *isteğe bağlı*, varsayılan 3) : Kalıntı katmanları için çekirdek boyutu. dilation_growth_rate (`int`, *isteğe bağlı*, varsayılan 2) : Her katmanda dilasyonun ne kadar artırılacağı. use_causal_conv (`bool`, *isteğe bağlı*, varsayılan `True`) : Tamamen nedensel konvolüsyonun kullanılıp kullanılmayacağı. pad_mode (`str`, *isteğe bağlı*, varsayılan `"constant"`) : Konvolüsyonlar için dolgu modu. compress (`int`, *isteğe bağlı*, varsayılan 2) : Kalıntı dallarındaki azaltılmış boyut. trim_right_ratio (`float`, *opsiyonel*, varsayılan 1.0) : `use_causal_conv = True` yapılandırması altında transpoze konvolüsyonun sağ tarafında kırpma için oran. 1.0'a eşitse, tüm kırpmanın sağda yapıldığı anlamına gelir. use_conv_shortcut (`bool`, *isteğe bağlı*, varsayılan `False`) : SEANet artımsal bloklarının atlamalı bağlantısı olarak bir konvolüsyon kullanılıp kullanılmayacağını belirtir; yayınlanan kontrol noktaları bunu kullanmaz. upsample_groups (`int`, *opsiyonel*, varsayılan 512) : Latentleri SEANet hızına yükseltmek için kullanılan transpoze konvolüsyonun grup sayısı. num_hidden_layers (`int`, *isteğe bağlı*, varsayılan `2`) : Transformer decoder'ındaki gizli katman sayısı. intermediate_size (`int`, *isteğe bağlı*, varsayılan `2048`) : MLP temsillerinin boyutu. num_attention_heads (`int`, *isteğe bağlı*, varsayılan `8`) : Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı. num_key_value_heads (`int`, *isteğe bağlı*, varsayılan `8`) : Grouped Query Attention'ı uygulamak için kullanılması gereken key_value başlarının sayısıdır. `num_key_value_heads=num_attention_heads` ise model Multi Head Attention (MHA) kullanır, `num_key_value_heads=1` ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için [bu makaleye](https://huggingface.co/papers/2305.13245) göz atın. Belirtilmezse, varsayılan olarak `num_attention_heads` kullanılır. head_dim (`int`, *isteğe bağlı*) : Dikkat başı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır hidden_act (`str`, *isteğe bağlı*, varsayılan `gelu_pytorch_tanh`) : Dekoderdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, `"gelu"`, `"relu"`, `"silu"` vb. max_position_embeddings (`int`, *isteğe bağlı*, varsayılan `8000`) : Bu modelin kullanılabileceği en büyük dizi uzunluğu. initializer_range (`float`, *opsiyonel*, varsayılan `0.02`) : Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması. norm_eps (`float`, *opsiyonel*, varsayılan `1e-05`) : Katman normalizasyonu katmanları tarafından kullanılan epsilon. use_cache (`bool`, *isteğe bağlı*, varsayılan `False`) : Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceğini belirtir. Yalnızca `config.is_decoder=True` olduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir. use_streaming (`bool`, *isteğe bağlı*, varsayılan `False`) : Kodlayıcının varsayılan olarak akış (stream) kullanıp kullanmadığı: Bu durumda, sonraki çağrıya aktarılacak dolgu (padding) önbelleğini ve anahtar-değer (key-value) önbelleğini döndürür. rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *isteğe bağlı*) : RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, `rope_theta` için bir değer içermeli ve daha uzun `max_position_embeddings` ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan parametreleri isteğe bağlı olarak içermelidir. sliding_window (`int`, *isteğe bağlı*, varsayılan `250`) : Kayan pencere dikkat penceresi boyutu. `None` ise kayan pencere uygulanmaz. attention_dropout (`Union[float, int]`, *isteğe bağlı*, varsayılan `0.0`) : Dikkat olasılıkları için dropout oranı. layer_scale_initial_scale (`float`, *opsiyonel*, varsayılan `0.01`) : Kendi dikkat (self-attention) katmanlarında kullanılacak ölçek. Baz modeller için 0.1, büyük modeller için 1e-6. Katman ölçeklemeyi devre dışı bırakmak için 0 olarak ayarlayın. attention_bias (`bool`, *isteğe bağlı*, varsayılan `False`) : Kendi kendine dikkat (self-attention) sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında sapma (bias) kullanılıp kullanılmayacağı. latent_stride (`int`, *opsiyonel*, varsayılan 16) : Her latent çerçeve başına SEANet çerçeve sayısı: SEANet çıktısını latentlere indirgeyen kodlayıcının konvolüsyonunun ve onları geri yükselten çözücünün ters konvolüsyonunun adımı. Bir latent çerçeve, `prod(upsampling_ratios) * latent_stride` ses örneğini kapsar (`frame_size`, yayınlanan checkpoint'ler için 1920). latent_dim (`int`, *opsiyonel*, varsayılan 32) : Sürekli latentlerin boyutu. Mimi'nin artık vektör kuantizleyicisi bu darboğazla değiştirilir: kodlayıcının örnekleme azaltma konvolüsyonu `latent_dim` kanalını üretir ve kodlayıcı bunları örnekleme artırma işleminden önce `hidden_size` değerine geri yansıtır. Bu, bir PocketTTSAudioTokenizerModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pocket Tts Audio Tokenizer modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılanlarla bir yapılandırma örneklendiğinde, [eustlb/pocket-tts-audio-tokenizer](https://huggingface.co/eustlb/pocket-tts-audio-tokenizer) ile benzer bir yapılandırma elde edilir. Yapılandırma nesneleri [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) sınıfından türetilir ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) belgesini okuyun. Örnek: ```python >>> from transformers import PocketTTSAudioTokenizerConfig, PocketTTSAudioTokenizerModel >>> # a full codec, and its decoder alone >>> model = PocketTTSAudioTokenizerModel(PocketTTSAudioTokenizerConfig()) >>> decoder_only = PocketTTSAudioTokenizerModel(PocketTTSAudioTokenizerConfig(encoder_config=None)) ``` ## PocketTTSAudioTokenizerEncoderConfig[[transformers.PocketTTSAudioTokenizerEncoderConfig]] #### transformers.PocketTTSAudioTokenizerEncoderConfig[[transformers.PocketTTSAudioTokenizerEncoderConfig]] ```python transformers.PocketTTSAudioTokenizerEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, sampling_rate: int = 24000, audio_channels: int = 1, hidden_size: int = 512, num_filters: int = 64, num_residual_layers: int = 1, upsampling_ratios: list[int] | None = None, kernel_size: int = 7, last_kernel_size: int = 3, residual_kernel_size: int = 3, dilation_growth_rate: int = 2, use_causal_conv: bool = True, pad_mode: str = 'constant', compress: int = 2, trim_right_ratio: float = 1.0, use_conv_shortcut: bool = False, upsample_groups: int = 512, num_hidden_layers: int = 2, intermediate_size: int = 2048, num_attention_heads: int = 8, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'gelu_pytorch_tanh', max_position_embeddings: int = 8000, initializer_range: float = 0.02, norm_eps: float = 1e-05, use_cache: bool = False, use_streaming: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, sliding_window: int = 250, attention_dropout: float | int = 0.0, layer_scale_initial_scale: float = 0.01, attention_bias: bool = False, latent_stride: int = 16, latent_dim: int = 32) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/configuration_pocket_tts_audio_tokenizer.py#L214) PocketTTSAudioTokenizer'ın kodlayıcı yarısının (SEANet kodlayıcı, kodlayıcı transformer ve örnekleme azaltma) yapılandırması. [PocketTTSAudioTokenizerConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig) ile her alanı paylaşır (argümanlar için belgelendirmesine bakın), bu nedenle tam bir PocketTTSAudioTokenizer kontrol noktasından doğrudan yüklenebilir. ## PocketTTSAudioTokenizerDecoderConfig[[transformers.PocketTTSAudioTokenizerDecoderConfig]] #### transformers.PocketTTSAudioTokenizerDecoderConfig[[transformers.PocketTTSAudioTokenizerDecoderConfig]] ```python transformers.PocketTTSAudioTokenizerDecoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, sampling_rate: int = 24000, audio_channels: int = 1, hidden_size: int = 512, num_filters: int = 64, num_residual_layers: int = 1, upsampling_ratios: list[int] | None = None, kernel_size: int = 7, last_kernel_size: int = 3, residual_kernel_size: int = 3, dilation_growth_rate: int = 2, use_causal_conv: bool = True, pad_mode: str = 'constant', compress: int = 2, trim_right_ratio: float = 1.0, use_conv_shortcut: bool = False, upsample_groups: int = 512, num_hidden_layers: int = 2, intermediate_size: int = 2048, num_attention_heads: int = 8, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'gelu_pytorch_tanh', max_position_embeddings: int = 8000, initializer_range: float = 0.02, norm_eps: float = 1e-05, use_cache: bool = False, use_streaming: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, sliding_window: int = 250, attention_dropout: float | int = 0.0, layer_scale_initial_scale: float = 0.01, attention_bias: bool = False, latent_stride: int = 16, latent_dim: int = 32) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/configuration_pocket_tts_audio_tokenizer.py#L242) PocketTTSAudioTokenizer'ın decoder yarısının (upsampling, decoder transformer ve SEANet decoder) yapılandırması. [PocketTTSAudioTokenizerConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig) ile her alanı paylaşır (argümanlar için belgelerini inceleyin), bu nedenle tam bir PocketTTSAudioTokenizer checkpoint'inden doğrudan yüklenebilir. ## PocketTTSAudioTokenizerModel[[transformers.PocketTTSAudioTokenizerModel]] #### transformers.PocketTTSAudioTokenizerModel[[transformers.PocketTTSAudioTokenizerModel]] ```python transformers.PocketTTSAudioTokenizerModel(config: PocketTTSAudioTokenizerConfig) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1179) **Parametreler:** config ([PocketTTSAudioTokenizerConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine bakın. Pocket TTS ses tokenizörü: 12,5 Hz'de sürekli 32 boyutlu bir gizli katmana sahip Mimi mimarili bir codec (Sürekli Ses Dil Modellerinin VAE-GAN'ı), 24 kHz ses verisini gizli katmanlara dönüştürüp geri getiren yapı. Bu model [PreTrainedModel](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın. Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun. #### encode[[transformers.PocketTTSAudioTokenizerModel.encode]] ```python encode(input_values: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, encoder_past_key_values: transformers.cache_utils.Cache | None = None, padding_cache: transformers.models.pocket_tts_audio_tokenizer.modeling_pocket_tts_audio_tokenizer.PocketTTSAudioTokenizerConv1dPaddingCache | None = None, use_streaming: bool | None = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1189) **Parametreler:** input_values (`torch.Tensor`, şekli `(batch_size, audio_channels, num_samples)`) : [EncodecFeatureExtractor](/docs/transformers/main/tr/model_doc/encodec#transformers.EncodecFeatureExtractor) tarafından döndürülen ses dalgası formu; orijinalinde olduğu gibi, `config.frame_size` örneğinin katına sıfır dolgusu yapılır. padding_mask (`torch.Tensor`, şekli `(batch_size, num_samples)`, *isteğe bağlı*) : Dolgu (`0`) yerine ses örneklerinin (`1`) maskesi, `latents_mask` bunun üzerinden hesaplanır. encoder_past_key_values (`Cache`, *isteğe bağlı*) : Akış sırasında önceki çağrı tarafından döndürülen, kodlayıcı dönüştürücünün anahtar-değer önbelleği. padding_cache (`PocketTTSAudioTokenizerConv1dPaddingCache`, *isteğe bağlı*) : Akış sırasında önceki çağrı tarafından döndürülen, kodlayıcının nedensel konvolüsyonlarının dolgu önbelleği. use_streaming (`bool`, *isteğe bağlı*) : Akış modunda kodlanıp kodlanmayacağını ve sonraki çağrıya aktarılacak önbelleklerin döndürülüp döndürülmeyeceğini belirtir. `(batch_size, num_frames, latent_dim)` biçiminde sürekli latentlere ses kodlar: [PocketTTSAudioTokenizerEncoderModel.forward()](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderModel.forward) latentleri, kareler önce. #### decode[[transformers.PocketTTSAudioTokenizerModel.decode]] ```python decode(latents: Tensor, decoder_past_key_values: transformers.cache_utils.Cache | None = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1244) **Parametreler:** latents (`torch.Tensor`, şekli `(batch_size, num_frames, latent_dim)`) : Çözümlenecek sürekli latentler, her kare `config.frame_size` ses örneğine karşılık gelir. decoder_past_key_values (`Cache`, *isteğe bağlı*) : Parça parça çözümleme sırasında önceki çağrı tarafından döndürülen, decoder transformer'ın anahtar-değer önbelleği. Sürekli latentleri sese dönüştürür: latentler `hidden_size`'e projekte edilir, ardından [PocketTTSAudioTokenizerDecoderModel.forward()](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderModel.forward) tarafından çözümlenir. #### forward[[transformers.PocketTTSAudioTokenizerModel.forward]] ```python forward(input_values: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1272) **Parametreler:** input_values (`torch.Tensor`, şekli `(batch_size, audio_channels, num_samples)`) : [EncodecFeatureExtractor](/docs/transformers/main/tr/model_doc/encodec#transformers.EncodecFeatureExtractor) tarafından döndürülen ses dalgası. padding_mask (`torch.Tensor`, şekli `(batch_size, num_samples)`, *isteğe bağlı*) : Ses örneklerinin (`1`) dolgu (`0`) ile karşılaştırıldığında maskesi. **Dönüş:** `PocketTTSAudioTokenizerOutput` veya `tuple(torch.Tensor)` `PocketTTSAudioTokenizerOutput` veya bir `torch.Tensor` demeti (eğer `return_dict=False` geçirildiyse veya `config.return_dict=False` ise), yapılandırma ([PocketTTSAudioTokenizerConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur. [PocketTTSAudioTokenizerModel](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerModel) forward metodu, `__call__` özel metodunu geçersiz kılar. İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar. - **latents** (`torch.Tensor`, şekli `(batch_size, num_frames, latent_dim)`) -- Sesin sürekli latentleri. - **latents_mask** (`torch.LongTensor`, şekli `(batch_size, num_frames)`, *isteğe bağlı*) -- Dolgu (`0`) yerine ses örneklerinden (`1`) hesaplanan gizli karelerin maskesi. - **audio_values** (`torch.Tensor`, şekli `(batch_size, audio_channels, num_samples)`) -- Latentlerden yeniden oluşturulan ses dalgası. - **hidden_states** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_hidden_states=True` olduğunda döndürülür) -- Her katmanın çıktısında ve girdisinde encoder transformer'ın gizli durumları. - **attentions** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_attentions=True` olduğunda döndürülür) -- Her encoder transformer katmanının dikkat ağırlıkları. ## PocketTTSAudioTokenizerEncoderModel[[transformers.PocketTTSAudioTokenizerEncoderModel]] #### transformers.PocketTTSAudioTokenizerEncoderModel[[transformers.PocketTTSAudioTokenizerEncoderModel]] ```python transformers.PocketTTSAudioTokenizerEncoderModel(config: PocketTTSAudioTokenizerEncoderConfig) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L879) **Parametreler:** config ([PocketTTSAudioTokenizerEncoderConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine bakın. PocketTTSAudioTokenizer'ın kodlayıcı yarısı: SEANet kodlayıcı, kodlayıcı transformer ve örneklem azaltma; sesin sürekli gizli değişkenlere dönüştürülmesi. Bu model [PreTrainedModel](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın. Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun. #### forward[[transformers.PocketTTSAudioTokenizerEncoderModel.forward]] ```python forward(input_values: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, padding_cache: transformers.models.pocket_tts_audio_tokenizer.modeling_pocket_tts_audio_tokenizer.PocketTTSAudioTokenizerConv1dPaddingCache | None = None, use_streaming: bool | None = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L940) **Parametreler:** input_values (`torch.Tensor`, şekli `(batch_size, channels, sequence_length)`) : Girdi ses dalgasının float değerleri. padding_mask (`torch.Tensor`, şekli `(batch_size, channels, sequence_length)`, *isteğe bağlı*) : Dolgu nedeniyle yok sayılacak girdileri belirtir; öğeler *maske uygulanmamış* için 1 veya *maske uygulanmış* için 0'dır. past_key_values (`Cache`, *isteğe bağlı*) : Akış kodlamasını hızlandırmak için kullanılan, encoder transformer'ın önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler). padding_cache (`PocketTTSAudioTokenizerConv1dPaddingCache`, *isteğe bağlı*) : Akış kodlamada kullanılan nedensel konvolüsyonların dolgu önbelleği. use_streaming (`bool`, *isteğe bağlı*) : Akış modunda kodlanıp kodlanmayacağını ve sonraki çağrıya aktarılacak önbelleklerin döndürülüp döndürülmeyeceğini belirtir. Girdi ses dalgacığını `(batch_size, latent_dim, frames)` biçiminde sürekli latentlere kodlar. -- **Dönüş:** `PocketTTSAudioTokenizerEncoderModelOutput` veya `tuple(torch.Tensor)` `PocketTTSAudioTokenizerEncoderModelOutput` veya bir `torch.Tensor` demeti (eğer `return_dict=False` geçirildiyse veya `config.return_dict=False` ise), yapılandırma ([PocketTTSAudioTokenizerConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur. [PocketTTSAudioTokenizerEncoderModel](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderModel) forward metodu, `__call__` özel metodunu geçersiz kılar. İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar. - **latents** (`torch.Tensor`, şekli `(batch_size, latent_dim, frames)`) -- Sesin sürekli latantları, her `config.frame_size` ses örneğine bir kare. - **past_key_values** (`Cache`, *isteğe bağlı*) -- Akış sırasında döndürülen, kodlayıcı dönüştürücünün önceden hesaplanmış gizli durumları (kendi dikkat bloklarındaki anahtarlar ve değerler). - **padding_cache** (`PocketTTSAudioTokenizerConv1dPaddingCache`, *opsiyonel*) -- PocketTTSAudioTokenizerConv1d nedensel konvolüsyonları için, önbellek dolgusu aracılığıyla akışı desteklemek amacıyla kullanılan dolgu önbelleği. - **hidden_states** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_hidden_states=True` olduğunda döndürülür) -- Her katmanın çıktısında ve girdisinde encoder transformer'ın gizli durumları. - **attentions** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_attentions=True` olduğunda döndürülür) -- Her encoder transformer katmanının dikkat ağırlıkları. ## PocketTTSAudioTokenizerDecoderModel[[transformers.PocketTTSAudioTokenizerDecoderModel]] #### transformers.PocketTTSAudioTokenizerDecoderModel[[transformers.PocketTTSAudioTokenizerDecoderModel]] ```python transformers.PocketTTSAudioTokenizerDecoderModel(config: PocketTTSAudioTokenizerDecoderConfig) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1109) **Parametreler:** config ([PocketTTSAudioTokenizerDecoderConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine göz atın. PocketTTSAudioTokenizer'ın decoder yarısı: sürekli latentlerden ses verisine dönüşüm için upsampling, decoder transformer ve SEANet decoder. Bu model [PreTrainedModel](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın. Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun. #### forward[[transformers.PocketTTSAudioTokenizerDecoderModel.forward]] ```python forward(latents: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1136) **Parametreler:** latents (`torch.Tensor`, şekli `(batch_size, hidden_size, frames)`) : [PocketTTSAudioTokenizerModel.decode()](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerModel.decode) tarafından hesaplanan, çözümlenecek sürekli latentler. padding_mask (`torch.Tensor`, şekli `(batch_size, channels, sequence_length)`, *isteğe bağlı*) : Dolgu nedeniyle yok sayılacak girdileri belirtir; öğeler *maske uygulanmamış* için 1 veya *maske uygulanmış* için 0'dır. past_key_values (`Cache`, *isteğe bağlı*) : Akış çözümlemesini hızlandırmak için kullanılan, decoder transformer'ın önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler). Verilen kareleri bir çıkış ses dalgası biçiminde çözer. Not: Çıktı, -- input. Bu durumda, sonundaki gereksiz adımlar kırpılabilir. -- **Dönüş:** `PocketTTSAudioTokenizerDecoderOutput` veya `tuple(torch.Tensor)` `PocketTTSAudioTokenizerDecoderOutput` veya bir `torch.Tensor` demeti (eğer `return_dict=False` geçirildiyse veya `config.return_dict=False` ise), yapılandırma ([PocketTTSAudioTokenizerConfig](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur. [PocketTTSAudioTokenizerDecoderModel](/docs/transformers/main/tr/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderModel) forward metodu, `__call__` özel metodunu geçersiz kılar. İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar. - **audio_values** (`torch.Tensor`, şekli `(batch_size, audio_channels, num_samples)`, *isteğe bağlı*) -- PocketTTSAudioTokenizer'ın decoder kısmı kullanılarak elde edilen çözümlenmiş ses değerleri. - **decoder_past_key_values** (`Cache`, *isteğe bağlı*) -- Ardışık decoder transformer çözümlemesini hızlandırmak için kullanılabilen, önceden hesaplanmış gizli durumlar (self-attention bloklarındaki anahtarlar ve değerler). Bu genellikle, `use_cache=True` veya `config.use_cache=True` olduğunda, çözümlemenin önceki bir aşamasında modelin döndürdüğü `past_key_values` değerlerinden oluşur. Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir. `past_key_values` kullanılıyorsa, kullanıcı yalnızca son `audio_values` veya `audio_codes` (bu modele geçmiş anahtar değer durumları verilmemiş olanlar) girebilir. - **hidden_states** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_hidden_states=True` olduğunda döndürülür) -- Çıktıdaki her katman ve girdisinin decoder transformer gizli durumları. - **attentions** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_attentions=True` olduğunda döndürülür) -- Her decoder transformer katmanının dikkat ağırlıkları.