# Gradium Phonon TTS

## Tổng quan

Gradium Phonon TTS là dòng mô hình chuyển văn bản thành giọng nói chạy trên thiết bị của [Gradium](https://gradium.ai), được huấn luyện theo công thức của [Pocket TTS](./pocket_tts): một transformer nhân quả đọc lời nhắc giọng nói và văn bản, sau đó phát ra một latent âm thanh 32 chiều liên tục mỗi bước ở tần số 12.5 Hz thông qua đầu flow một bước, và một đầu kết thúc giọng nói quyết định khi nào câu nói kết thúc. Các latent này được giải mã thành âm thanh 24 kHz bởi [Pocket TTS audio tokenizer](./pocket_tts_audio_tokenizer) do bộ xử lý giữ, cụ thể là [PocketTTSProcessor](/docs/transformers/v5.23.0/vi/model_doc/pocket_tts#transformers.PocketTTSProcessor) của Pocket TTS.

Khác với Pocket TTS ở cách điều kiện hóa giọng nói: prompt giọng nói được tạo từ các latent 512 chiều của một codec người nói riêng biệt, và một vector người nói đã được học sẽ được thêm vào mỗi vị trí latent của âm thanh. Codec người nói không được phát hành, do đó các giọng nói được cung cấp dưới dạng latent đã tính toán sẵn (tệp `default-voice.safetensors` của mỗi checkpoint, và danh mục [gradium/phonon-voices](https://huggingface.co/gradium/phonon-voices)) và bộ mã hóa âm thanh chỉ là một bộ giải mã: không thể nhân bản giọng nói từ một bản ghi âm.

| Checkpoint | Tham số | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| [gradium/phonon-31m-en](https://huggingface.co/gradium/phonon-31m-en) | 31M | Tiếng Anh | Apache 2.0 |
| [gradium/phonon-40m-en](https://huggingface.co/gradium/phonon-40m-en) | 40M | Tiếng Anh | CC BY-NC 4.0 |
| [gradium/phonon-40m-fr](https://huggingface.co/gradium/phonon-40m-fr) | 40M | Pháp | CC BY-NC 4.0 |
| [gradium/phonon-40m-de](https://huggingface.co/gradium/phonon-40m-de) | 40M | Tiếng Đức | CC BY-NC 4.0 |
| [gradium/phonon-40m-es](https://huggingface.co/gradium/phonon-40m-es) | 40M | Tây Ban Nha | CC BY-NC 4.0 |
| [gradium/phonon-40m-pt](https://huggingface.co/gradium/phonon-40m-pt) | 40M | Tiếng Bồ Đào Nha | CC BY-NC 4.0 |
| [gradium/phonon-40m-multilingual](https://huggingface.co/gradium/phonon-40m-multilingual) | 40M | Tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Bồ Đào Nha | CC BY-NC 4.0 |

Tất cả đều được nạp theo cách tương tự: việc chuyển đổi checkpoint có nghĩa là thay đổi repo id.

Mô hình này được đóng góp bởi [Eustache Le Bihan](https://huggingface.co/eustlb). Mã gốc là [gradium-ai/xn-ptts](https://github.com/gradium-ai/xn-ptts).

## Mẹo sử dụng

- Chuẩn bị đầu vào bằng [apply_chat_template()](/docs/transformers/v5.23.0/vi/main_classes/processors#transformers.ProcessorMixin.apply_chat_template): một thông điệp `user` cho mỗi văn bản, một mục `{"type": "audio"}` trống tại vị trí chứa giọng nói, các latent của giọng nói trong `processor_kwargs={"audio_prompt_latents": [...]}`, và `add_generation_prompt=True`.
- Tokenizer không viết ra các con số, số lượng, ký hiệu hoặc địa chỉ, xem [Chuẩn hóa văn bản](#text-normalization).
- `generate` trả về `audio_latents` và `audio_latents_mask`; giải mã chúng bằng [PocketTTSProcessor.decode()](/docs/transformers/v5.23.0/vi/model_doc/pocket_tts#transformers.PocketTTSProcessor.decode).
- Tạo mẫu theo cách mà runtime của Gradium thực hiện: `temperature` 0.3 (độ biến thiên của nhiễu khởi đầu của luồng), và nó dừng ngay sau khi logit kết thúc giọng nói vượt qua `eos_threshold`. `do_sample=False` khởi tạo luồng từ nhiễu bằng không.
- Mô hình được nạp ở bf16, kiểu dữ liệu mà trọng số của nó được lưu trữ; truyền `dtype=torch.float32` trên CPU để khớp với thời gian chạy của Gradium ở đó.
- Tách văn bản dài bằng [PocketTTSProcessor.split_text()](/docs/transformers/v5.23.0/vi/model_doc/pocket_tts#transformers.PocketTTSProcessor.split_text), mỗi chunk chứa một cuộc hội thoại.

## Cách sử dụng

### Giọng nói

Một giọng nói là một tensor của các latent `(num_frames, 512)`. Mỗi checkpoint đi kèm một giọng nói (`default-voice.safetensors`), và [gradium/phonon-voices](https://huggingface.co/gradium/phonon-voices) có thêm khoảng một trăm giọng nói khác, bằng mọi ngôn ngữ, mỗi giọng nói được đặt theo ID giọng nói của nó (`voices.jsonl` liệt kê tên, ngôn ngữ và mô tả của chúng). Bất kỳ giọng nói nào cũng hoạt động với bất kỳ checkpoint nào.

```python
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")

def load_voice(voice_id):
    """A voice of gradium/phonon-voices, as latents of shape (num_frames, 512)."""
    path = hf_hub_download("gradium/phonon-voices", f"voices/{voice_id}.safetensors")
    return load_file(path)["speaker_wavs"][0].T.float()

# Easton (en-us); the checkpoint's own voice: hf_hub_download(model_id, "default-voice.safetensors")
voice = load_voice("LMDIYE0Oa377Qh6Z")
# an empty `audio` item marks the voice
conversation = [
    {"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Hello from Phonon."}]}
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio(audio, "phonon.wav")
```

### Các lô và văn bản dài

Xử lý hàng loạt nhiều văn bản, mỗi văn bản có giọng đọc riêng, với văn bản dài được chia thành các phần:

```python
text = (
    "Phonon is a small text-to-speech model that runs on your device. "
    "Long texts are split into sentences, and each chunk is one conversation of the batch."
)
chunks = processor.split_text(text)
texts = chunks + ["And this one is said by another voice."]
voices = [load_voice("LMDIYE0Oa377Qh6Z")] * len(chunks) + [load_voice("NbpkqMVS3CJeq2j8")]
conversations = [
    [{"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": text}]}] for text in texts
]
inputs = processor.apply_chat_template(
    conversations,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": voices},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio([torch.cat(audio[: len(chunks)]), audio[-1]], ["long.wav", "other.wav"])
```

### Chuẩn hóa văn bản

Tokenizer chuẩn hóa những gì không phụ thuộc vào ngôn ngữ, giống như runtime của Gradium:

| Văn bản | Tokenizer |
|---|---|
| `“Hello” — it’s here…` | `"Hello" it's here.` |
| `hello (world); see you 🚀` | `Hello, world, see you.` |

Nó không viết ra các con số, số lượng, ký hiệu hoặc địa chỉ, vì những yếu tố này phụ thuộc vào ngôn ngữ:

| Văn bản | Tokenizer | Trình chạy thời gian thực của Gradium |
|---|---|---|
| `It costs $1,234.56.` | `It costs $1,234.56.` | `It costs 1 thousand 234 dollars and 56 cents.` |
| `Write to jean@gradium.ai` | `Write to jean@gradium.ai.` | `Write to jean at gradium dot A-I.` |
| `It is 21°C` | `It is 21°C.` | `It is 21 degrees Celsius.` |

Đối với những trường hợp đó, hãy sử dụng chuẩn hóa văn bản của runtime Gradium, [ptts](https://github.com/gradium-ai/xn-ptts), hoặc viết chúng ra.

## GradiumPhononTTSConfig[[transformers.GradiumPhononTTSConfig]]

#### transformers.GradiumPhononTTSConfig[[transformers.GradiumPhononTTSConfig]]

```python
transformers.GradiumPhononTTSConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, flow_head_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vocab_size: int = 4001, hidden_size: int = 768, num_hidden_layers: int = 6, num_attention_heads: int = 12, num_key_value_heads: int | None = None, head_dim: int | None = None, intermediate_size: int = 3072, hidden_act: str = 'gelu', layer_norm_eps: float = 1e-05, attention_bias: bool = False, attention_dropout: float = 0.0, max_position_embeddings: int = 8192, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, latent_dim: int = 32, pad_token_id: int = 3, bos_token_id: int | None = None, eos_token_id: int | None = None, audio_prompt_token_id: int = 5, audio_latent_token_id: int = 6, audio_bos_token_id: int = 4, frame_rate: float = 12.5, initializer_range: float = 0.02, use_cache: bool = True, eos_loss_weight: float = 0.1, flow_loss_num_samples: int = 4, lsd_distill_probability: float = 0.25, lsd_diagonal_weight: float = 0.75, lsd_time_logit_mean: float = 0.4, lsd_time_logit_std: float = 1.0, latent_stats_ema_steps: int = 1000, latent_stats_ema_decay: float = 0.999, audio_prompt_dim: int = 512, num_speakers: int = 1, num_speakers_vocab_size: int = 32, num_speakers_embedding_dim: int = 16, duration_delta: float = 0.0, duration_delta_embedding_dim: int = 128, duration_delta_scale: float = 1000.0, duration_delta_max_period: float = 10000.0)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/configuration_gradium_phonon_tts.py#L82)

**Tham số:**

flow_head_config (`Union[GradiumPhononTTSFlowHeadConfig, dict]`, *tùy chọn*) : Cấu hình của flow head lấy mẫu mỗi latent từ trạng thái ẩn của backbone.

vocab_size (`int`, *tùy chọn*, mặc định là `4001`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`.

hidden_size (`int`, *optional*, mặc định là `768`) : Kích thước của các biểu diễn ẩn.

num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `6`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

num_attention_heads (`int`, *tùy chọn*, mặc định là `12`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

num_key_value_heads (`int`, *optional*) : Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu `num_key_value_heads=num_attention_heads`, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu `num_key_value_heads=1` mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại GQA sẽ được sử dụng. Khi chuyển đổi một checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem [bài báo này](https://huggingface.co/papers/2305.13245). Nếu không được chỉ định, giá trị mặc định sẽ là `num_attention_heads`.

head_dim (`int`, *optional*) : Kích thước chiều của đầu chú ý. Nếu là None, giá trị mặc định sẽ là hidden_size // num_attention_heads

intermediate_size (`int`, *tuỳ chọn*, mặc định là `3072`) : Kích thước của các biểu diễn MLP.

hidden_act (`str`, *tùy chọn*, mặc định là `gelu`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

layer_norm_eps (`float`, *optional*, mặc định là 1e-05) : Epsilon của các layer normalization trong backbone.

attention_bias (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.

attention_dropout (`float`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

max_position_embeddings (`int`, *tuỳ chọn*, mặc định là `8192`) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho `rope_theta` và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với `max_position_embeddings` dài hơn.

latent_dim (`int`, *tuỳ chọn*, mặc định là 32) : Kích thước của các latent âm thanh mà backbone nhận vào đầu vào (`audio_latents`); bằng `latent_dim` của flow head và audio tokenizer.

pad_token_id (`int`, *tuỳ chọn*, mặc định là `3`) : Id của token được sử dụng để đệm (padding) trong từ vựng.

bos_token_id (`int`, *tùy chọn*) : Id của token được sử dụng cho đầu luồng trong bảng từ vựng.

eos_token_id (`int`, *tuỳ chọn*) : Id của token được sử dụng cho dấu kết thúc luồng trong từ vựng.

audio_prompt_token_id (`int`, *tuỳ chọn*, mặc định là 5) : id của token placeholder cho các khung voice-prompt trong `input_ids` (`<|audio_prompt|>`).

audio_latent_token_id (`int`, *tuỳ chọn*, mặc định là 6) : id của token thay thế cho các vị trí latent của âm thanh trong `input_ids` (`<|audio_latent|>`).

audio_bos_token_id (`int`, *optional*, mặc định là 4) : Token id của vị trí âm thanh đầu tiên, đóng lại prompt: nó chứa latent BOS đã học, từ đó khung đầu tiên được tạo ra (`<|audio_bos|>`).

frame_rate (`float`, *optional*, mặc định là 12.5) : Số lượng audio latents trên mỗi giây âm thanh: `generate` suy ra ngân sách khung hình mặc định từ giá trị này.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

use_cache (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu `config.is_decoder=True` hoặc khi mô hình là mô hình sinh chỉ có decoder.

eos_loss_weight (`float`, *tuỳ chọn*, mặc định là 0.1) : Trọng số của loss kết thúc giọng nói trong loss huấn luyện.

flow_loss_num_samples (`int`, *optional*, mặc định là 4) : Số lần lấy mẫu nhiễu cho mỗi khung hình đích trong tổn thất dòng chảy.

lsd_distill_probability (`float`, *optional*, mặc định là 0.25) : Xác suất, tại mỗi bước huấn luyện, để tính toán thành phần tự phân phối (self-distillation) của tổn thất LSD (được tái trọng số hóa để giữ nguyên tổn thất kỳ vọng); giá trị 1 sẽ tính toán nó ở mọi bước.

lsd_diagonal_weight (`float`, *optional*, mặc định là 0.75) : Trọng số của số hạng đường chéo (dòng tức thời) của tổn thất LSD; số hạng tự chưng cất sẽ gán trọng số cho phần còn lại.

lsd_time_logit_mean (`float`, *optional*, mặc định là 0.4) : Trung bình của phân phối logit-normal của các thời điểm dòng chảy được rút ra bởi tổn thất LSD.

lsd_time_logit_std (`float`, *optional*, mặc định là 1.0) : Độ lệch chuẩn của phân phối logit-normal của các thời điểm luồng được rút ra bởi tổn thất LSD.

latent_stats_ema_steps (`int`, *optional*, mặc định là 1000) : Số bước huấn luyện đầu tiên mà trong đó `latent_mean` và `latent_std` tuân theo trung bình trượt mũ (exponential moving average) của các latent đích; 0 giữ chúng ở trạng thái đóng băng.

latent_stats_ema_decay (`float`, *tuỳ chọn*, mặc định là 0.999) : Hệ số suy giảm của trung bình trượt đó.

audio_prompt_dim (`int`, *optional*, mặc định là 512) : Kích thước của các latent voice-prompt (`audio_prompt_latents`), tức là các latent chưa lượng tử hóa của speaker codec của Gradium (một bộ mã hóa Mimi, không phải của bộ mã hóa âm thanh), mà backbone sẽ chiếu lên `hidden_size`.

num_speakers (`int`, *optional*, mặc định là 1) : Giá trị của điều kiện `num_speakers`: hàng của bảng tra cứu của nó được cộng vào mọi vị trí ẩn của âm thanh.

num_speakers_vocab_size (`int`, *tuỳ chọn*, mặc định là 32) : Số dòng của bảng tra cứu `num_speakers`.

num_speakers_embedding_dim (`int`, *tuỳ chọn*, mặc định là 16) : Độ rộng của bảng tra `num_speakers`, được chiếu lên `hidden_size`.

duration_delta (`float`, *optional*, mặc định là 0.0) : Giá trị của điều kiện `duration_delta`, được nhúng dạng sin và cộng vào mọi vị trí latent của âm thanh.

duration_delta_embedding_dim (`int`, *tuỳ chọn*, mặc định là 128) : Kích thước của embedding sinusoidal của `duration_delta`, được chiếu sang `hidden_size`.

duration_delta_scale (`float`, *tuỳ chọn*, mặc định là 1000.0) : Hệ số được áp dụng cho `duration_delta` trước khi thực hiện nhúng hình sin (sinusoidal embedding).

duration_delta_max_period (`float`, *optional*, mặc định là 10000.0) : Chu kỳ tối đa của nhúng hình sin của `duration_delta`.

Đây là lớp cấu hình để lưu trữ cấu hình của một GradiumPhononTTSModel. Nó được sử dụng để khởi tạo một mô hình Gradium Phonon Tts theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [gradium/phonon-31m-en](https://huggingface.co/gradium/phonon-31m-en)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## GradiumPhononTTSFlowHeadConfig[[transformers.GradiumPhononTTSFlowHeadConfig]]

#### transformers.GradiumPhononTTSFlowHeadConfig[[transformers.GradiumPhononTTSFlowHeadConfig]]

```python
transformers.GradiumPhononTTSFlowHeadConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 512, num_hidden_layers: int = 6, latent_dim: int = 32, condition_dim: int = 768, frequency_embedding_size: int = 256, hidden_act: str = 'silu', layer_norm_eps: float = 1e-06, rms_norm_eps: float = 1e-05, max_period: float = 10000.0, flow_type: typing.Literal['lsd', 'drifting'] = 'lsd', loss_weighting_hidden_size: int = 32, loss_weighting_num_layers: int = 3)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/configuration_gradium_phonon_tts.py#L33)

**Tham số:**

hidden_size (`int`, *tuỳ chọn*, mặc định là `512`) : Kích thước của các biểu diễn ẩn.

num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `6`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

latent_dim (`int`, *optional*, mặc định là 32) : Kích thước của các latent âm thanh liên tục mà head dự đoán (kích thước latent của audio tokenizer).

condition_dim (`int`, *optional*, mặc định là 768) : Kích thước của trạng thái ẩn của backbone mà head được điều kiện trên đó (kích thước ẩn `hidden_size` của backbone).

frequency_embedding_size (`int`, *tuỳ chọn*, mặc định là 256) : Kích thước của nhúng hình sin của thời điểm luồng.

hidden_act (`str`, *tùy chọn*, mặc định là `silu`) : Hàm kích hoạt phi tuyến tính (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

layer_norm_eps (`float`, *tuỳ chọn*, mặc định là 1e-06) : Epsilon của các lớp chuẩn hóa (layer normalization) bên trong các khối dư (residual blocks) và lớp cuối cùng.

rms_norm_eps (`float`, *optional*, mặc định là 1e-05) : Epsilon của phép chuẩn hóa đóng các nhúng thời gian.

max_period (`float`, *optional*, mặc định là 10000.0) : Chu kỳ tối đa của nhúng thời gian hình sin, được checkpoint lưu dưới dạng `freqs`.

flow_type (`str`, *tùy chọn*, mặc định là `"lsd"`) : Mục tiêu mà đầu (head) được huấn luyện với, quyết định cách nó được điều kiện hóa và lấy mẫu. `"lsd"` (tự chưng cất Lagrangian): được điều kiện hóa theo thời điểm bắt đầu và kết thúc của một bước flow, lấy mẫu bằng các bước Euler từ nhiễu Gaussian. `"drifting"`: không có điều kiện hóa theo thời gian, đầu ánh xạ nhiễu sang latent trong một lần gọi.

loss_weighting_hidden_size (`int`, *tuỳ chọn*, mặc định là 32) : Độ rộng của MLP học trọng số bất định của các số hạng tổn thất LSD từ thời gian dòng chảy của chúng (chỉ dùng cho huấn luyện).

loss_weighting_num_layers (`int`, *tuỳ chọn*, mặc định là 3) : Số lượng lớp ẩn của MLP đó.

Đây là lớp cấu hình để lưu trữ cấu hình của một GradiumPhononTTSModel. Nó được sử dụng để khởi tạo một mô hình Gradium Phonon Tts theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [gradium/phonon-31m-en](https://huggingface.co/gradium/phonon-31m-en)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## GradiumPhononTTSModel[[transformers.GradiumPhononTTSModel]]

#### transformers.GradiumPhononTTSModel[[transformers.GradiumPhononTTSModel]]

```python
transformers.GradiumPhononTTSModel(config: GradiumPhononTTSConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L393)

**Tham số:**

config ([GradiumPhononTTSConfig](/docs/transformers/v5.23.0/vi/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Trụ cột TTS Gradium Phonon: một transformer nhân quả trên một luồng duy nhất được tạo thành từ prompt giọng nói (các ẩn của codec người nói), các token văn bản và các ẩn âm thanh, trả về các trạng thái ẩn đã được chuẩn hóa.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.GradiumPhononTTSModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, audio_prompt_latents: typing.Optional[torch.Tensor] = None, audio_prompt_latents_mask: typing.Optional[torch.Tensor] = None, audio_latents: typing.Optional[torch.Tensor] = None, audio_latents_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L417)

**Tham số:**

input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

audio_prompt_latents (`torch.Tensor` có shape `(batch_size, num_prompt_frames, latent_dim)`, *tùy chọn*) : Latents của voice-prompt từ audio tokenizer (được mã hóa bởi processor, hoặc từ `voices/` của một checkpoint), được right-pad đến voice dài nhất trong batch, và phân tán vào các vị trí `audio_prompt_token_id`.

audio_prompt_latents_mask (`torch.Tensor` có shape `(batch_size, num_prompt_frames)`, *tùy chọn*) : Mặt nạ của các khung âm thanh (`1`) so với padding (`0`) trong `audio_prompt_latents`.

audio_latents (`torch.Tensor` có shape `(batch_size, num_latents, latent_dim)`, *tùy chọn*) : Các audio latents đã chuẩn hóa, được phân tán vào các vị trí `audio_latent_token_id`. Vị trí `audio_bos_token_id` nằm trước chúng, đóng vai trò kết thúc prompt và là nơi khung đầu tiên được tạo ra, luôn nhận latent BOS đã học.

audio_latents_mask (`torch.Tensor` có shape `(batch_size, num_latents)`, *tùy chọn*) : Mask của các latents trong mỗi hàng (`1`) so với padding (`0`) trong `audio_latents`, khi các hàng chứa số lượng vị trí latent khác nhau (đào tạo).

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

position_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các embedding vị trí. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

**Trả về:** [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc `tuple(torch.Tensor)`

Một [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([GradiumPhononTTSConfig](/docs/transformers/v5.23.0/vi/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig)) và đầu vào.

Phương thức forward của [GradiumPhononTTSModel](/docs/transformers/v5.23.0/vi/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  Nếu `past_key_values` được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape `(batch_size, 1, hidden_size)` được xuất ra.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

## GradiumPhononTTSForConditionalGeneration[[transformers.GradiumPhononTTSForConditionalGeneration]]

#### transformers.GradiumPhononTTSForConditionalGeneration[[transformers.GradiumPhononTTSForConditionalGeneration]]

```python
transformers.GradiumPhononTTSForConditionalGeneration(config: GradiumPhononTTSConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L693)

**Tham số:**

config ([GradiumPhononTTSConfig](/docs/transformers/v5.23.0/vi/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình text-to-speech Gradium Phonon TTS: phần lõi (backbone), đầu flow (flow head) lấy mẫu một ẩn âm thanh (audio latent) mỗi bước và đầu kết thúc giọng nói (end-of-speech head). Nó tạo ra các ẩn của bộ mã hóa âm thanh (audio tokenizer), sau đó bộ xử lý (processor) giải mã chúng thành âm thanh 24 kHz.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.GradiumPhononTTSForConditionalGeneration.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, audio_prompt_latents: typing.Optional[torch.Tensor] = None, audio_prompt_latents_mask: typing.Optional[torch.Tensor] = None, audio_latents: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, labels_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L725)

**Tham số:**

input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

audio_prompt_latents (`torch.Tensor` có shape `(batch_size, num_prompt_frames, latent_dim)`, *tùy chọn*) : Các latent của voice-prompt từ audio tokenizer, được right-padded và phân tán vào các vị trí `audio_prompt_token_id`.

audio_prompt_latents_mask (`torch.Tensor` có shape `(batch_size, num_prompt_frames)`, *tùy chọn*) : Mặt nạ của các khung âm thanh (`1`) so với padding (`0`) trong `audio_prompt_latents`.

audio_latents (`torch.Tensor` có shape `(batch_size, num_latents, latent_dim)`, *tùy chọn*) : Các audio latents đã chuẩn hóa, được phân tán vào các vị trí `audio_latent_token_id`.

labels (`torch.Tensor` có shape `(batch_size, num_frames, latent_dim)`, *tùy chọn*) : Target latents của audio tokenizer (training), được right-padded. Prompt của mỗi dòng kết thúc bằng vị trí `audio_bos_token_id` tiếp theo là một vị trí `audio_latent_token_id` cho mỗi frame: mô hình đưa các target đã chuẩn hóa (teacher forcing), áp dụng flow loss lên outputs của BOS và tất cả các frame trừ frame cuối, những frame này dự đoán các frame, và áp dụng end-of-speech loss lên tất cả chúng, trong đó frame cuối là end of speech.

labels_mask (`torch.Tensor` có shape `(batch_size, num_frames)`, *tùy chọn*) : Mask của các khung hình đích (`1`) so với padding (`0`) trong `labels` của mỗi hàng.

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

position_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các embedding vị trí. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

**Trả về:** `GradiumPhononTTSOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `GradiumPhononTTSOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([GradiumPhononTTSConfig](/docs/transformers/v5.23.0/vi/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig)) và đầu vào.

Phương thức forward của [GradiumPhononTTSForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSForConditionalGeneration) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `()`, *optional*, được trả về khi truyền `labels`) -- Loss huấn luyện: loss luồng LSD của các latents đích cộng với `config.eos_loss_weight` nhân với loss end-of-speech.
- **logits** (`torch.Tensor` có shape `(batch_size, sequence_length, 1)`) -- Logits kết thúc giọng nói, một giá trị cho mỗi vị trí.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Trạng thái ẩn đã chuẩn hóa của backbone, đóng vai trò điều kiện cho flow head.

Ví dụ:

```python
>>> from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

>>> model = GradiumPhononTTSForConditionalGeneration.from_pretrained("gradium/phonon-31m-en")

>>> processor = AutoProcessor.from_pretrained("gradium/phonon-31m-en")
>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")

>>> # generate speech
>>> speech = model(inputs["input_ids"])
```

#### generate[[transformers.GradiumPhononTTSForConditionalGeneration.generate]]

```python
generate(inputs: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pocket_tts/generation_pocket_tts.py#L122)

**Tham số:**

inputs (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : `input_ids` được chuẩn bị bởi [PocketTTSProcessor](/docs/transformers/v5.23.0/vi/model_doc/pocket_tts#transformers.PocketTTSProcessor). Cũng có thể được truyền dưới dạng `input_ids=`.

kwargs (`dict[str, Any]`, *tùy chọn*) : `attention_mask`, prompt giọng nói (`audio_prompt_latents` và `audio_prompt_latents_mask`, hoặc cache của tiền tố giọng nói dưới dạng `past_key_values`, các giọng nói có sẵn, với prompt chỉ gồm văn bản), `frames_after_eos` từ bộ xử lý, các tham số sinh (`do_sample`, `temperature`, `max_new_tokens`, ...), và `num_flow_steps`, `eos_threshold` cùng `min_frames_before_eos` đặc thù của Pocket TTS, mặc định lấy từ cấu hình sinh.

**Trả về:**

[PocketTTSGenerateOutput](/docs/transformers/v5.23.0/vi/model_doc/pocket_tts#transformers.models.pocket_tts.generation_pocket_tts.PocketTTSGenerateOutput) khi `return_dict_in_generate=True` (cấu hình sinh của các checkpoint): `audio_latents` đã được đệm và `audio_latents_mask` tương ứng, được [PocketTTSProcessor.decode()](/docs/transformers/v5.23.0/vi/model_doc/pocket_tts#transformers.PocketTTSProcessor.decode) giải mã như một lô. Ngược lại, danh sách các latent đã sinh, mỗi mẫu là một tensor `(num_frames, latent_dim)`, mỗi tensor được giải mã riêng lẻ.

Tạo giọng nói. Phương thức này ghi đè [generate()](/docs/transformers/v5.23.0/vi/main_classes/text_generation#transformers.GenerationMixin.generate) để mặc định `max_new_tokens` thành ngân sách khung của thời gian chạy gốc, `ceil((num_text_tokens / 3 + 2) * frame_rate)` cho văn bản dài nhất trong lô. Mọi thứ khác đều đi qua các hook tạo thông thường.

