sunghogigio

Sign in Subscribe

NLP

BLEU

일반적인 precision이나 recall을 계산하면 Seq2Seq에서는 모든 지표가 0에 가까울 것이다. 왜냐하면 step별로 비교하면 대부분 일치하지 않을 확률이 매우 높기 때문이다. 즉, 아래처럼 굉장히 유사한 문장의 지표가 0에 가깝게 나올 수도 있다. 그래서 이러한 맥락을 지표에 반영할 필요가 있다. Precision, Recall ** Precision(정밀도) ** * 예측한 결과에 대해서 corrected words가 몇개인지 나타낸다. * 예측한

Beam search

Greedy decoding 이전 포스팅의 attention이나 LSTM들은 특정 step에서 다음 단어를 예측할 때, 가장 확률이 높은 하나의 단어를 선택한다. 이러한 방법을 greedy decoding이라고 한다. 전체적인 맥락에서 예측하는 것이 아니라 근시안적으로 가장 좋은 방법을 택하기 때문이다. 예를 들면 아래와 같다. input: {어려운 프랑스어}, answer: he hit me with a pie 이러한 상황에서

Attention

Seq2Seq with attention Seq2Seq with LSTM Seq2Seq는 RNN의 구조 중 many to many에 해당한다. 즉, 입출력 모두 sequenece인 word 단위의 문장. 위 그림은 Dialog system(e.g., chat bot)이다. 입력 문장을 받아들이는 부분이 encoder, 출력 문장을 생성하는 부분이 decoder다. 채택한 RNN 모델은 LSTM이다. Encoder의 가장 마지막 단에서 출력된 hidden

LSTM, GRU

LSTM Long short-term memory. RNN이 가진 Long term dependency를 해결한 모델. 먼 time step의 정보를 잘 전달하기 위해 만들어졌다. hidden state를 마치 단기 기억 소자처럼 보고, 단기 기억 소자가 보다 긴 시간 동안 생존할 수 있도록 고안했기 때문에 붙여진 이름이라고 한다. 기존 RNN $h_t=f_w(x_t, h_

RNNs

RNN sequence data가 입출력으로 주어진 상태에서 t에서의 입력 $x_t$와 이전 hidden state인 $h_{t-1}$을 입력으로 받고 $h_t$를 출력하는 네트워크. 중요한 것은 매 time stamp마다 새로운 model이 등장하는 것이 아니라, 하나의 parameter set인 A가 모든 time stamp에 걸쳐서 사용된다. 왼쪽처럼 압축해서 표현한 것을 rolled diagram, 왼쪽처럼

NLP 전처리

불용어(stopword) ref: https://bkshin.tistory.com/entry/NLP-3-불용어Stop-word-제거 분석에 큰 의미가 없는 단어들. a, an, the와 같은 관사나 I, my 같은 대명사들이 해당된다. * spacy는 nlp객체의 token에서 is_stop(boolean)을 제공해준다. * nlkt는 불용어 사전을 제공해준다. import nltk nltk.download('stopwords') print('영어 불용어 갯수:',len(

Word Embedding

Word Embedding 문장의 단어들을 벡터 공간 상의 점으로 표현하기 위해, 단어들을 벡터로 변환하는 방법. Word Embedding 자체가 딥러닝, 머신러닝 기술이다. 학습 데이터, 사전에 정의한 벡터 공간의 차원 수를 통해 학습을 진행한다. 학습이 완료되면 학습 데이터, 즉 특정 단어에 대한 최적의 벡터를 출력해준다. Word Embedding의 기본 아이디어 비슷한 의미를 가지는 단어들이