Anomaly Detection (1/7)

Anomaly

Anomaly Detection（異常偵測）：讓機器知道「我不知道」這件事

希望訓練一個anomaly detector，input一筆資料

• 如果他跟training set像：回報為正常
• 如果他跟training set不像：回報為異常

Anomaly 又可以稱為 outlier, novelty, exception，總之就是機器沒看過的東西

至於什麼叫做異常？取決於training data

Application

Fraud Detection

• Training data： 正常刷卡行為
• Anomaly：短時間內大量高金額消費

Network Intrusion Detection

• Training data： 正常連線
• Anomaly：攻擊行為

Binary Classification?

簡單來說，我們可以收集兩群資料，然後訓練一個binary classifier

• 正常資料 $\{x^1, x^2,\cdots,x^N\}$

• 異常資料 $\{\tilde{x}^1,\tilde{x}^2,\cdots,\tilde{x}^N\}$

不過這不切實際，因為只要不是正常資料，通通都是異常資料，我們無法窮舉所有非正常資料的資料，且我們也很難收集到異常資料

因此異常偵測不能簡單的用binary classifier來做

這裡把問題分成三類：

• training data有label：希望做分類的時候，多一個class叫做unknown，如果機器遇到沒有看過的資料，就分給unknown (open-set recognition)
• training data無label，資料乾淨（所有資料都是正常資料）
• training data無label，資料不乾淨（資料裡面混雜了一些異常資料）