한국어 중심의 CharFormer (Tay et al., 2022) 및 ByT5 (Xue et al., 2021) 기반 모델로, ByT5 버전인 KEByT5 (small, base, large) 모델과 CharFormer 버전인 GBST-KEByT5 모델로 구성.
AI & ML interests
Pretrained Language Models for Korean, Cross-modal (or Vision-language) Pretrained Models, Machine Translation, AI-driven Dialogue Systems