Transformers documentation
MADLAD-400
이 모델은 2023-09-09에 HF papers에 게시되었으며, 2023-11-28에 Hugging Face Transformers에 기여되었습니다.
MADLAD-400
개요
MADLAD-400 모델은 MADLAD-400: A Multilingual And Document-Level Large Audited Dataset 논문에서 공개되었습니다.
해당 논문의 초록은 다음과 같습니다:
CommonCrawl을 기반으로 한 419개 언어를 아우르는 3T 토큰 규모의 수동 감사된 일반 도메인 단일 언어 데이터셋인 MADLAD-400을 소개합니다. MADLAD-400의 자체 감사 과정에서 드러난 한계점과 데이터 감사가 데이터셋 생성 과정에서 차지한 역할을 논의합니다. 이후 공개된 데이터를 활용하여 450개 이상의 언어를 다루는 2,500억 토큰으로 107억 파라미터의 다국어 기계 번역 모델을 학습하고 공개했으며, 이 모델이 훨씬 더 큰 모델들과 경쟁력이 있음을 확인하고 다양한 도메인에서의 결과를 보고합니다. 또한 80억 파라미터의 언어 모델을 학습하고 few-shot 번역에 대한 결과를 평가했습니다. 베이스라인 모델 1을 연구 커뮤니티에 공개합니다.
이 모델은 Juarez Bochi에 의해 추가되었습니다. 원래 체크포인트는 여기에서 찾을 수 있습니다.
이것은 많은 저자원 언어를 지원하며, 훨씬 더 큰 모델들과 경쟁할 수 있는 기계 번역 모델입니다.
모델을 fine-tuning하지 않고 MADLAD-400 가중치를 바로 사용할 수 있습니다:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']Google은 다음 변형을 출시했습니다:
원본 체크포인트는 여기에서 찾을 수 있습니다.
Update on GitHub모든 API 참조, 코드 예제, 노트북에 대해서는 T5 문서 페이지를 참조하세요. MADLAD-400의 학습 및 평가에 대한 자세한 내용은 모델 카드를 참조하세요.