Matrice, Vettore

Matrix

Le mie conoscenze matematiche dal primo anno di analisi e algebra lineare si sono in gran parte perse. Le rinfresco qui insieme alla notazione numpy.

Annotation

scalar calculation

In numpy, + e - funzionano direttamente.

scalar product

Hadamard Product: prodotto elemento per elemento di vettori della stessa forma. X · Y

1
X * Y

Norm

 Distanza dall’origine al vettore. L1 norm = somma dei valori assoluti delle variazioni L2 norm = distanza euclidea

Angolo tra vettori

 Usando il teorema del coseno, si puo calcolare l’angolo tra due vettori.

1
def angle(x, y):
2
    v = np.inner(x, y) / (l2_norm(x) * l2_norm(y))
3
    theta = np.arccos(v)
4
    return theta

multiplication

XY

1
X @ Y

Tramite la moltiplicazione matriciale, una matrice puo essere intesa come un operatore nello spazio vettoriale. Perche la moltiplicazione matriciale puo mandare un vettore in uno spazio di dimensione diversa. Si puo usare per estrazione di pattern e compressione dati.

inner product



inner in numpy

np.inner calcola il prodotto interno tra vettori. Per esprimere il prodotto interno dei vettori in forma matriciale, si usa tipicamente la trasposta. 

1
np.inner(X, Y)

Matrice inversa

1
np.linalg.inv(X)

Pseudo-inversa, matrice di Moore-Penrose

• A differenza dell’inversa regolare, il numero di righe e colonne non deve coincidere.
• Svolge comunque un ruolo simile all’inversa.  n = righe, m = colonne

1
np.linalg.pinv(X)

Risoluzione di sistemi di equazioni


Regressione lineare


Considerando la distribuzione dei dati, fare una regressione lineare come sistema di equazioni non e possibile. Quindi, trovare una soluzione che minimizzi la norma L2 di y e l’approccio generale.

1
# using sklearn for linear regression
2
from sklearn.linear_model import LinearRegression
3
model = LinearRegression()
4
model.fit(X, y)
5
y_test = model.predict(x_test)
6

7
# Moore-Penrose inverse matrix
8
X_ = np.array([np.append(x, [1]) for x in X]) # aggiunta intercetta y
9
beta = np.linalg.pinv(X_) @ y
10
y_test = np.append(x_test) @ beta

sklearn stima automaticamente l’intercetta y nella regressione lineare. Quando si fa regressione lineare tramite l’inversa di Moore-Penrose, bisogna aggiungere manualmente l’intercetta y per costruire X.