ML Lecture 12: Semi-supervised

Supervised learning：training data中 一筆data對應一筆label

Semi-supervised Learning：同時有 labeled 與 unlabeled data, 通常 unlabeled >> labeled

$$ \text{Supervised learning: }\{ (x^r,\hat y ^r)\}^{R}_{r=1} $$

$$ \text{Semi-supervised learning: }\{ (x^r,\hat y ^r)\}^{R}{r=1}, \{x^u\}^{R+U}{u=R} $$

• Transductive learning: unlabeled data 就是 testing set 的 data（不要用label就好）
• Inductive learning: 不考慮 testing data，大部分時候或是實際應用時可能根本沒有testing set

我們從來不缺data，我們缺的是有label的data，所以使用unlabeled data是有價值且必要的

Generative Model

這邊要把 Semi-supervised Learning 應用在 Generative Model 上，先快速review一下 Supervised Generative Model：

1. 有一堆training data，知道他們分別屬於C₁ 與 C₂ ，可以估測出prior probability P(C₁) P(C₂) 與likelihood P(x|C₁)
2. 假設 P(x|C₁) 是從一個高斯分佈 μ ∑ 中sample出來的
3. 有了prior probability與μ ∑ ，就可以估測出posterior probability與decision boundary