gutoportelaa/qwen2.5-1.5b-dompi-teresina-v3

Qwen2.5-1.5B — DAPT DOM-PI Teresina v3 (objetivo corrigido)

Resposta alternativa à Questão 1: pré-treino continuado de parâmetros plenos sobre o subcorpus curado de Teresina (tier A+B, ~9,3 M tokens) com o objetivo de treino corrigido. Ganho de −12,9% PPL no held-out de Teresina (6,91 → 6,02; token-acc 58,8% → 60,8%). A resposta canônica (dataset completo) é gutoportelaa/qwen2.5-1.5b-dompi-fullft-unificado.

Contexto — Questão 1 (Pré-treino Continuado / DAPT)

Pré-treino continuado de Qwen/Qwen2.5-1.5B sobre o DOM-PI (Diário Oficial dos Municípios do Piauí). Resultados no held-out, com o objetivo de treino corrigido:

Implementação	Corpus	held-out PPL	Δ vs baseline
Baseline Qwen2.5-1.5B	—	10,03 (unif) / 6,91 (Teresina)	—
Full FT — dataset COMPLETO (v2)	DOM-PI unificado	8,90	−11,3% ✓
Full FT Teresina v3	Teresina curado	6,02	−12,9% ✓
QLoRA — dataset completo (v2)	DOM-PI unificado	9,88	−1,4%

Em ambos os corpora, o Full FT de parâmetros plenos supera o PEFT (QLoRA) na adaptação de domínio — como a teoria de DAPT prevê.

O bug que invertia a conclusão (duplo deslocamento)

As primeiras rodadas treinaram com um duplo shift de rótulos: o dataset pré-deslocava os labels (block[1:]) e o modelo HuggingFace também desloca internamente, fazendo o treino otimizar "prever o token 2 posições à frente". Isso inflava a loss de treino para ~11 e dava resultados degradados (full FT unificado parecia +121%, e o QLoRA "vencia" com +4,4%). Corrigido o alinhamento (input_ids == labels), o full FT unificado foi de +121% → −11,3% e passou a superar o PEFT — invertendo a conclusão obtida sob o bug.

Exemplo de inferência (completar portaria)

Prompt: "PORTARIA Nº 130… O PREFEITO MUNICIPAL DE COCAL… RESOLVE: Art. 1º"

• Bug (full FT unificado): "…limpeza urbana e coletares resídeos domiciliares… Coletes Resídeos R$ 70,00" — gramática/OCR degradados.
• Corrigido (full FT unificado v2): "O Diário Oficial dos Municípios do Piauí (DOMP) é um periódico oficial produzido pela Secretaria Municipal… publicado diariamente…" — fluente e no domínio.

Avaliação como gerador G2 no sistema de RAG (Questão 5).