ML Lecture 15: Unsupervised Learning - Neighbor Embedding

跟 Linear Dimension Reduction 做的事一樣，都是降維，只是這裡做的是非線性降維

Manifold Learning

資料分布可能是低維的分佈，只是他被扭曲並塞到高維空間裡面，這種現象就稱為Manifold

如下圖，一個二維的資料分布被摺疊成S行，塞進三維空間中。或者是地圖，一個二維平面被塞進三圍球體中

對於這種分佈來說，只有在距離很近的情況下，歐式幾何距離才會成立。不過降維之後，做歐式距離才可以成立。這對於之後做clustering 或 supervise learning都是有幫助的

Locally Linear Embedding (LLE)

假設點在空間中的分佈如圖，有一個點xi與他的鄰居xj，找到xi與xj的關係wij

假設每一個xi都可以用他的k個鄰居做linear combination後得到。

因此，wij就是拿xj去組合成xi的linear combination的weight

$$ x^i=w_{ij}x^j $$

希望可以找一組wij，這組wij對所有xi的鄰居(xj)做weighted sum時，可以跟xi越接近越好

也就是minimize這項：

$$ \sum_i \bigg\rvert \bigg\rvert x^i - \sum j w{ij}x^j\bigg\rvert \bigg\rvert _2 $$