Sungho Park

Sparse Embedding의 문제점  * Passage Embedding 중 Spare Embedding은 보통 90% 이상의 벡터값들이 0이다. * 차원의 수가 매우 크다. * compressed format으로 극복 가능 * 유사성을 고려하지 못한다. * 매우 유사한 단어라도, character가 달라지면 전혀 다른 차원으로 Embedding 된다. 또한 유사한 단어들의 차원이 유사하다는 정보를 표현할 방법이 없다. Dense

Passage Retrieval query에 맞는 문서(Passage)를 검색(Retrieval)하는 것.  Database * 실제로는 DBMS 활용할 수도 있다. * 여기서는 Wiki data Passage Retrieval with MRC Open-domain Question Answering: 대규모 문서에서 질문에 대한 답 찾기  Passage Retrieval과 MRC를 결합하면 Open-domain

Generation-based MRC context와 question을 보고 답변을 생성하는 task. Extraction-based MRC가 context의 token별로 정답 확률을 추출했다면, Genration-based는 이름처럼 Generation task다. 즉, Extraction-based MRC는 Generation-based MRC task로 변환이 가능하지만 역은 불가능하다. 평가 방법 Extraciton-based처럼 EM, F1 score를 쓸 수도 있지만 BLEU, ROUGE를 쓰는 것이 일반적이다. Overview