Hugging Face's logo

Transformers documentation

BARThez

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

이 모델은 2020-10-23에 HF papers에 게시되었으며, 2020-11-27에 Hugging Face Transformers에 기여되었습니다.

BARThez

BARThez는 프랑스어 작업을 위해 설계된 BART 모델입니다. 기존 프랑스어 BERT 모델과 달리 BARThez는 사전 학습된 인코더-디코더를 포함하여 텍스트 생성도 가능합니다. 이 모델은 프랑스 코퍼스에서 다국어 BART의 사전 학습을 계속하여 다국어 변형인 mBARThez로도 사용할 수 있습니다.

모든 원본 BARThez 체크포인트는 BARThez 컬렉션에서 찾을 수 있습니다.

이 모델은 moussakam이(가) 기여했습니다. 추가 사용 예제는 BART 문서를 참조하세요.

아래 예제는 Pipeline, AutoModel, 그리고 명령줄을 사용하여 <mask> 토큰을 예측하는 방법을 보여줍니다.

Pipeline
AutoModel
from transformers import pipeline


pipeline = pipeline(
    task="fill-mask",
    model="moussaKam/barthez",
    device=0
)
pipeline("Les plantes produisent <mask> grâce à un processus appelé photosynthèse.")

BarthezTokenizer

클래스 transformers.BarthezTokenizer

< >

( vocab: str | dict | list | None = Nonebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'add_prefix_space = True**kwargs )

매개변수

  • bos_token (str, 선택 사항, 기본값은 "<s>") — 사전 학습 시 사용된 시퀀스 시작 토큰입니다. 시퀀스 분류기 토큰으로 사용할 수 있습니다.

    특수 토큰을 사용하여 시퀀스를 구성할 때, 시퀀스의 시작에 사용되는 토큰은 이 토큰이 아닙니다. 사용되는 토큰은 cls_token입니다.

  • eos_token (str, 선택 사항, 기본값은 "</s>") — 시퀀스 종료 토큰입니다. 특수 토큰을 사용하여 시퀀스를 구성할 때, 시퀀스 종료에 사용되는 토큰은 이 토큰이 아닙니다. 시퀀스 종료에 사용되는 토큰은 sep_token입니다.

    특수 토큰을 사용하여 시퀀스를 구성할 때, 시퀀스 끝에는 이 토큰이 사용되지 않습니다. 사용되는 토큰은 sep_token입니다.

  • sep_token (str, 선택, 기본값 "</s>") — 여러 시퀀스로 시퀀스를 구성할 때 사용되는 구분 토큰입니다. 예를 들어 시퀀스 분류의 두 시퀀스나 질의응답의 텍스트와 질문 등에 사용됩니다. 특수 토큰으로 구성된 시퀀스의 마지막 토큰으로도 사용됩니다.
  • cls_token (str, 선택 사항, 기본값 "<s>") — 시퀀스 분류(토큰별 분류가 아닌 전체 시퀀스 분류)를 수행할 때 사용되는 분류기 토큰입니다. 특수 토큰을 사용하여 시퀀스를 구성할 경우 시퀀스의 첫 번째 토큰입니다.
  • unk_token (str, 선택 사항, 기본값 "<unk>") — 미지의 토큰입니다. 어휘에 없는 토큰은 ID로 변환할 수 없으므로, 대신 이 토큰으로 설정됩니다.
  • pad_token (str, 선택 사항, 기본값 "<pad>") — 패딩에 사용되는 토큰입니다. 예를 들어, 길이가 다른 시퀀스를 배치(batching)할 때 사용됩니다.
  • mask_token (str, 선택 사항, 기본값 "<mask>") — 값을 마스킹하는 데 사용되는 토큰입니다. 이는 masked language modeling으로 이 모델을 학습할 때 사용되는 토큰이며, 모델이 예측을 시도하는 대상이 되는 토큰입니다.
  • vocab_file (str, 선택) — 토크나이저를 인스턴스화하는 데 필요한 어휘를 포함하는 SentencePiece 파일(일반적으로 .spm 확장자를 가짐)
  • vocab (str, dict 또는 list, 선택 사항) — 사용자 정의 어휘 사전입니다. 제공되지 않으면 vocab_file에서 어휘를 로드합니다.
  • add_prefix_space (bool, 선택 사항, 기본값 True) — 입력 앞에 공백을 추가할지 여부입니다. 이를 통해 첫 번째 단어를 다른 단어와 동일하게 처리할 수 있습니다.

CamembertTokenizer 및 BartTokenizer에서 파생되었습니다. SentencePiece를 기반으로 하는 “fast” BARThez 토크나이저를 생성합니다.

이 토크나이저는 대부분의 주요 메서드를 포함하는 PreTrainedTokenizerFast를 상속합니다. 해당 메서드에 대한 자세한 내용은 이 상위 클래스를 참고하세요.

Update on GitHub

←BART BARTpho→