Latest

불용어(stopword) ref: https://bkshin.tistory.com/entry/NLP-3-불용어Stop-word-제거 분석에 큰 의미가 없는 단어들. a, an, the와 같은 관사나 I, my 같은 대명사들이 해당된다. * spacy는 nlp객체의 token에서 is_stop(boolean)을 제공해준다. * nlkt는 불용어 사전을 제공해준다. import nltk nltk.download('stopwords') print('영어 불용어 갯수:',len(

Word Embedding 문장의 단어들을 벡터 공간 상의 점으로 표현하기 위해, 단어들을 벡터로 변환하는 방법. Word Embedding 자체가 딥러닝, 머신러닝 기술이다. 학습 데이터, 사전에 정의한 벡터 공간의 차원 수를 통해 학습을 진행한다. 학습이 완료되면 학습 데이터, 즉 특정 단어에 대한 최적의 벡터를 출력해준다. Word Embedding의 기본 아이디어 비슷한 의미를 가지는 단어들이

Bag-of-Words 딥러닝 이전에 단어를 숫자로 나타내는 기법. Bag-of-Words Representation 1. Constructing the vocabulary conatining unique words. 여러 문장에 걸쳐 중복되게 사용된 단어라도 Vocabulary에서는 한번만 표현된다. 2. Encoding unique words to one-hot vectors. Vocabulary에 존재하는 단어들을 일종의 categorical data로 볼 수 있어서 one-hot vecotr로 표기해보는 것. 가령, Vocabulary에 8개의 단어가 있다면

NLP(Natural language processing) NLU와 NLG로 나뉜다. * NLU(Natural language understanding): 언어에서 의도한 바를 이해하는 것 * NLG(Natural language generation): machine이 nl을 어떻게 생성할지 가르치는 영역. * Major conference: ACL, EMNLP, NAACL Low-level parsing 의미 추출을 위한 low level task들은 다음과 같다. Toeknization ref: https://bkshin.tistory.com/entry/NLP-2-텍스트-토큰화Text-Tokenization * Token: