MRC

기존의 negative sampling query batch는 기존대로 유지한다. passage batch가 달라진다. 1개의 positive passage와 batch_size개의 negative passage로 총 batch_szie + 1 개의 데이터로 하나의 batch를 구성한다. Negative in-batch passage batch는 batch_size개만큼 구성한다. 기존 방식과는 다르게 따로 negative sampling을 하지 않는다. positive 관계인 query와 passage들을 한 쌍으로 같이 넣어주기만한다. 1.

Definition of Bias Bias는 지양대상이 아니다. 하지만 일부 bias로 인해 모델의 성능에 악영향을 끼치는 경우가 있고, 이러한 bias issue는 해결해야 한다. * ML/DL * inductive bias(ref) * 학습 시에는 만나보지 않았던 상황에 대하여 정확한 예측을 하기 위해 사용하는 추가적인 가정 (additional assumptions) * 사전 지식을 주입하기 위해 특정 형태의 함수를 선호하는 것

Open Domain Question Answering(ODQA) 앞선 MRC와는 다르게 웹 전체, 혹은 위키피디아 전체와 같이 광범위한 Domain에서 Passage retrieval을 수행해야 한다. input, output format은 동일하다.   * Context가 따로 주어지지 않는다. * World Knowledge에 기반해서 QA 진행 * Modern

Passage retrieal and Similarity Search  Passage와 query를 encoding해서 vector space로 보냈다면 아래의 방법들 중 하나를 수행한다. * nearest neighborhood search * inner dot production에서 highest dot product 결과만 search 위와 같이 similarity serach를 진행할 때, Passage의 수가 늘어난다면 query에 대해서 가장 similarity가 높은

Sparse Embedding의 문제점  * Passage Embedding 중 Spare Embedding은 보통 90% 이상의 벡터값들이 0이다. * 차원의 수가 매우 크다. * compressed format으로 극복 가능 * 유사성을 고려하지 못한다. * 매우 유사한 단어라도, character가 달라지면 전혀 다른 차원으로 Embedding 된다. 또한 유사한 단어들의 차원이 유사하다는 정보를 표현할 방법이 없다. Dense

Passage Retrieval query에 맞는 문서(Passage)를 검색(Retrieval)하는 것.  Database * 실제로는 DBMS 활용할 수도 있다. * 여기서는 Wiki data Passage Retrieval with MRC Open-domain Question Answering: 대규모 문서에서 질문에 대한 답 찾기  Passage Retrieval과 MRC를 결합하면 Open-domain