Эта модель была опубликована в HF papers 20.10.2022 и добавлена в Hugging Face Transformers 20.06.2023.

FLAN-T5

Обзор

FLAN-T5 был представлен в статье Scaling Instruction-Finetuned Language Models — это улучшенная версия T5, дообученная на смеси задач.

Можно напрямую использовать веса FLAN-T5 без дообучения модели:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']

FLAN-T5 включает в себя те же улучшения, что и T5 версии 1.1 (см. здесь для подробного описания улучшений модели).

Google выпустила следующие варианты:

• google/flan-t5-small

• google/flan-t5-base

• google/flan-t5-large

• google/flan-t5-xl

• google/flan-t5-xxl.

Оригинальные контрольные точки можно найти здесь.

См. страницу документации T5 для полного справочника API, примеров кода и ноутбуков. Дополнительные сведения об обучении и оценке FLAN-T5 приведены в карточке модели.