Universal-Sentence-Encoder-Large 를 이용한 자연어 문장 처리

Universal-Sentence-Encoder-Large 를 이용한 자연어 문장 처리

2019, Jan 22    

universal-sentence-encoder-large 란

  • Universal Sentence Encoder는 텍스트 분류, 의미론적 유사성, 클러스터링 및 기타 자연어 처리에 사용할 수있는 고차원 벡터텍스트를 인코딩합니다.
  • 이 모델은 문장, 구 또는 짧은 단락과 같이 단어 길이가 더 긴 텍스트에 대해 학습되고 최적화되었습니다.
  • 입력은 가변 길이의 영어 텍스트이고 출력은 512 차원 벡터입니다.
  • universal-sentence-encoder-large 모델은 Transformer 인코더로 학습되었습니다.
  • Universal Sentence Encoder는 단순히 단어가 아닌 시퀀스의 의미를 모델링 하였습니다.
  • 모듈의 크기는 약 800MB 이고 안번 로드하면 다음 부터 사용할 때에는 빠르게 사용할 수 있습니다.