Passage Retrieval

Passage Retrieval

Recuperare documenti (passage) che corrispondono a una query. 

Database

• In pratica si potrebbe usare un DBMS.
• Qui usiamo dati di Wikipedia.

Passage Retrieval con MRC

Open-domain Question Answering: trovare risposte a domande da un grande insieme di documenti.


Combinando passage retrieval con MRC si ottiene l’open-domain question answering.

• Passage Retrieval
  • Fornisce al modello MRC i contesti in cui probabilmente si trova la risposta.
• MRC
  • Ricava la risposta dal contesto dato.

Panoramica

 Il passage retrieval cerca basandosi sull’embedding space.

• Si fanno l’embedding di query e passage nell’embedding space.
  • I passage vengono pre-embedded in batch per efficienza.
• Si calcolano i punteggi di similarita tra embedding di query e passage.
  • Calcolo della distanza vettoriale; distanza minore = piu simile.
  • Calcolo del prodotto interno; valore maggiore = piu simile.
• Si restituiscono i passage ordinati per similarita con la query.

Passage Embedding

Come il word embedding, i passage vengono embedded per vettorizzarli.  La similarita viene calcolata tramite prodotto interno o distanza tra vettori nell’embedding space, come in qualsiasi embedding space tipico.

Sparse Embedding

Sparse: l’opposto di dense. Pochissimi numeri non-zero presenti.

Un esempio rappresentativo e BoW (Bag of Words). Ogni parola costituisce una dimensione, quindi quando si fa l’embedding di un documento servono tante dimensioni quante il vocabolario. La maggior parte dei valori sara inevitabilmente 0, con pochissime voci non-zero.

In BoW, aumentando n nell’n-gram le combinazioni possibili crescono esponenzialmente. Percio di solito si usano solo bigram (2-gram), occasionalmente trigram.

Term Value

• Binario: solo se un termine appare nel documento o no.
• Term frequency: quante volte un termine appare.
  • es. TF-IDF

Caratteristiche dello Sparse Embedding

• Dimensione del vettore di embedding = numero di termini
  • Cresce all’aumentare di n nell’n-gram.
• Utile quando serve rilevare con precisione la sovrapposizione di termini.
  • es. determinare se un termine e contenuto in un documento durante la ricerca.
• Non puo confrontare parole semanticamente simili ma diverse.
  • Per niente!

TF-IDF

Term Frequency - Inverse Document Frequency

• TF (Term Frequency): quante volte una parola appare.
  • Si calcola raw count / num words e si normalizza.
  • Si usa anche la log normalization.
• IDF (Inverse Document Frequency): la quantita di informazione fornita da una parola.
• Parole che appaiono spesso: si giudica che forniscano poca informazione.
• Parole che appaiono raramente: si giudica che forniscano molta informazione.

IDF  $DF(t)$: il numero di documenti in cui appare il termine t.

• A differenza di TF, dipende solo dal termine.
• Meno documenti contengono il termine t, piu alto diventa IDF(t).

TF-IDF $TF-IDF = TF(t,d) \times IDF(t)$

• Gli articoli avranno TF-IDF basso.
  • TF potrebbe essere alto, ma IDF converge a 0.
• I nomi propri rari avranno TF-IDF alto.
  • Anche se TF e basso, IDF e molto piu alto.

Calcolo del TF-IDF

Si puo calcolare per ogni termine singolarmente, oppure moltiplicare le tabelle tra loro. 

Le righe rappresentano singoli documenti. Le colonne rappresentano il vocabolario. In questo esempio, ogni documento contiene un solo elemento del vocabolario, quindi tutti i valori sono 0 o 1. I valori della tabella sono direttamente i valori TF.


Valori IDF calcolati per ogni termine. Dato che IDF dipende solo dal termine, i valori sono uguali indipendentemente dal documento.

TF-IDF e semplicemente TF per IDF, quindi la moltiplicazione element-wise delle due tabelle da il TF-IDF completo.


Utilizzo del TF-IDF

Puo essere usato per ottenere la similarita tra query e passage nel passage retrieval.

1. Tokenizzare la query.
2. Escludere i token non presenti nel vocabolario.
3. Trattare la query come un documento e calcolare il TF-IDF.
4. Calcolare i punteggi di similarita con i TF-IDF dei passage pre-calcolati.
5. Selezionare il passage con il punteggio piu alto.


BM25

Basato su TF-IDF. Considera anche la lunghezza del documento.

• Limita il valore TF.
• Da piu peso ai documenti piu corti della media quando un termine corrisponde.
• Un algoritmo ancora molto usato nei motori di ricerca, sistemi di raccomandazione, ecc.