ML Lecture 1: Regression - Case Study

機器學習中的regression問題就是找一輸出為scalar的function

機器學習三步驟

一、先找到一個model

model 就是一個 function set, 裡面包含無數function, 例如model: f(x)=ax+b, 根據參數的不同, 這個set裡面可以有無數function 例如 y=9x+1, y=4x+3, y=140x-12, ...

二、使用Loss function來評估每個function好壞

一開始隨機挑選參數，例如y=4x+3

training data 帶進去可以得到一個預測的y

training data 本身也有一個實際的y (用y-hat, ŷ 表示)

Loss function 就是用來算這個input function的預測值，會與實際值會差多少

$$ \sum_{}{}{(實際值-預測值)^2} $$

因此，把這個function丟到loss function內即可得到loss

Loss function 是一個 function 的 function (輸入為一個function)

Loss function 可以有很多的形式，基本上就是把所有training data的實際值減掉用特定function的預測值），例如常見的 root mean square error (RMSE)

$$ \text{RMSE} = \sqrt{\sum_{i=1}^{n}{\frac{(\hat{y}_i - y_i)^2}{n}}} $$

舉例來說 假設一function f(x)為：