# TRL - Transformers Reinforcement Learning

O TRL é uma biblioteca de pilha completa em que fornecemos um conjunto de ferramentas para treinar modelos de linguagem transformer com métodos como Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling, entre outros. A biblioteca é integrada ao 🤗 [transformers](https://github.com/huggingface/transformers).

## 🎉 Novidades

**⚡ AsyncGRPOTrainer agora está estável:** [AsyncGRPOTrainer](/docs/trl/v1.18.2/pt/async_grpo_trainer#trl.AsyncGRPOTrainer) passa para a API estável. Ele executa o GRPO muito mais rápido ao desacoplar a geração do treinamento: um servidor vLLM transmite os rollouts enquanto o trainer atualiza o modelo.

## Taxonomia

Abaixo está uma visão geral dos treinadores do TRL, organizados por maturidade e tipo de método.

#### Métodos online

- [`AsyncGRPOTrainer`](async_grpo_trainer)
- [`GRPOTrainer`](grpo_trainer)
- [`RLOOTrainer`](rloo_trainer)

#### Modelagem de recompensa

- [`RewardTrainer`](reward_trainer)

#### Métodos offline

- [`SFTTrainer`](sft_trainer)
- [`DPOTrainer`](dpo_trainer)
- [`KTOTrainer`](kto_trainer)

#### Destilação de conhecimento

- [`DistillationTrainer`](distillation_trainer)

### Experimental

#### Métodos online

- [`A2POTrainer`](a2po_trainer)
- [`GMPOTrainer`](gmpo)
- [`OnlineDPOTrainer`](online_dpo_trainer)

#### Métodos offline

- [BEMA para Modelo de Referência](bema_for_reference_model)
- [`CPOTrainer`](cpo_trainer)
- [`ORPOTrainer`](orpo_trainer)

#### Destilação de conhecimento

- [`AsyncDistillationTrainer`](async_distillation_trainer)
- [`GKDTrainer`](gkd_trainer)
- [`GOLDTrainer`](gold_trainer)
- [`IWOPDTrainer`](iw_opd_trainer)
- [`SDFTTrainer`](sdft_trainer)
- [`SDPOTrainer`](sdpo_trainer)

Você também pode explorar modelos, conjuntos de dados e demonstrações relacionados ao TRL na [organização TRL no Hugging Face](https://huggingface.co/trl-lib).

## Aprender

Aprenda pós-treinamento com TRL e outras bibliotecas no 🤗 [smol course](https://github.com/huggingface/smol-course).

## Conteúdos

A documentação é organizada nas seguintes seções:

- **Começando**: guia de instalação e introdução rápida.
- **Guias conceituais**: formatos de conjunto de dados, perguntas frequentes sobre treinamento e compreensão de logs.
- **Guias passo a passo**: reduzir o uso de memória, acelerar o treinamento, distribuir o treinamento, etc.
- **Integrações**: DeepSpeed, PEFT, etc.
- **Exemplos**: visão geral de exemplos, tutoriais da comunidade, etc.
- **API**: treinadores, utilitários, etc.

## Posts de blog

  
    
      
      Publicado em 27 de maio de 2026 Enviando um Trilhão de Parâmetros com um Bucket do Hub: Sincronização de Pesos Delta no TRL
    
    
      
      Publicado em 31 de março de 2026 TRL v1: Biblioteca de Pós-Treino que se mantém quando o campo invalida suas próprias premissas
    
    
      
      Publicado em 10 de março de 2026 Keep the Tokens Flowing: Lições de 16 bibliotecas de RL de código aberto
    
    
      
      Publicado em 9 de março de 2026 Ulysses Sequence Parallelism: Treinamento com contextos de milhões de tokens
    
    
      
      Publicado em 23 de outubro de 2025 Construindo o Ecossistema de Agentes Abertos Juntos: Apresentando o OpenEnv
    
    
      
      Publicado em 7 de agosto de 2025 Alinhamento de Modelos de Visão e Linguagem no TRL ⚡️
    
    
      
      Publicado em 3 de junho de 2025 Nenhuma GPU deixada para trás: Desbloqueando a eficiência com vLLM co-localizado no TRL
    
    
      
      Publicado em 25 de maio de 2025 🐯 Liger GRPO encontra TRL
    
    
      
      Publicado em 28 de janeiro de 2025 Open-R1: uma reprodução totalmente aberta do DeepSeek-R1
    
    
      
      Publicado em 10 de julho de 2024 Otimização de Preferência para Modelos de Visão e Linguagem com TRL
    
    
      
      Publicado em 12 de junho de 2024 Colocando RL de volta no RLHF
    
    
      
      Publicado em 10 de janeiro de 2024 Acelere o fine-tuning de LLMs em 2x com Unsloth e 🤗 TRL
    
    
      
      Publicado em 29 de setembro de 2023 Ajuste fino de modelos Stable Diffusion com DDPO via TRL
    
    
      
      Publicado em 8 de agosto de 2023 Fine-tune Llama 2 com DPO
    
    
      
      Publicado em 5 de abril de 2023 StackLLaMA: Um guia prático para treinar LLaMA com RLHF
   
    
      
      Publicado em 9 de março de 2023 Fine-tuning de LLMs de 20B com RLHF em uma GPU de consumo de 24GB
    
    
      
      Publicado em 9 de dezembro de 2022 Ilustrando o Aprendizado por Reforço a partir de Feedback Humano
    
  

## Palestras

  
    
      
      Palestra proferida em 30 de outubro de 2025 Fine tuning com TRL
    
  

