문장수준 임베딩(ELMo)

문장수준 임베딩

구분	종류
1. 행렬분해	잠재의미분석(LSA)
2. 확률모형	잠재 디리클레 할당(LDA)
3. 뉴럴네트워크기반 모델	Doc2Vec
	ELMo
	GPT
	BERT

1. ELMo(Embeddings from Language Models)

전이학습(transfer learning): 이미 학습된 모델을 다른 딥러닝 모델의 입력값 또는 부분으로 재사용하는 기법을 일컫는다.

ELMo는 입력단어 시퀀스 다음에 어떤 단어가 올지 맞추는 과정에서 학습된다.