Latest

Phrase Retrieval in ODQA Current limitation of Retriever-Reader ODQA * Error propagation * Reader가 아무리 뛰어나도 Retreiver가 제대로 된 context를 전달하지 못한다면 전체 프로세스의 성능이 떨어진다. * Query-dependent encdoing * query에 따라 answer span의 encoding이 달라진다. * e.g., BERT retriever를 사용할 때 query와 context를 concat해서 모델의 결과를 얻기 때문에 query가 달라지면 * context와 concat된 embedding의

기존의 negative sampling query batch는 기존대로 유지한다. passage batch가 달라진다. 1개의 positive passage와 batch_size개의 negative passage로 총 batch_szie + 1 개의 데이터로 하나의 batch를 구성한다. Negative in-batch passage batch는 batch_size개만큼 구성한다. 기존 방식과는 다르게 따로 negative sampling을 하지 않는다. positive 관계인 query와 passage들을 한 쌍으로 같이 넣어주기만한다. 1.

Definition of Bias Bias는 지양대상이 아니다. 하지만 일부 bias로 인해 모델의 성능에 악영향을 끼치는 경우가 있고, 이러한 bias issue는 해결해야 한다. * ML/DL * inductive bias(ref) * 학습 시에는 만나보지 않았던 상황에 대하여 정확한 예측을 하기 위해 사용하는 추가적인 가정 (additional assumptions) * 사전 지식을 주입하기 위해 특정 형태의 함수를 선호하는 것

Open Domain Question Answering(ODQA) 앞선 MRC와는 다르게 웹 전체, 혹은 위키피디아 전체와 같이 광범위한 Domain에서 Passage retrieval을 수행해야 한다. input, output format은 동일하다.   * Context가 따로 주어지지 않는다. * World Knowledge에 기반해서 QA 진행 * Modern