我們做calssification問題時,希望機器告訴我們答案的同時,也告訴我們理由(explanation)
Explanation可以分兩種,這邊舉例給一張圖,機器告訴我們這是一隻貓:
Local explanation: 為什麼這張圖屬於貓?
Global explanation: 你覺得貓長怎樣?
用機器來協助判斷履歷
具體能力?還是性別?
用機器來協助判斷犯人是否可以假釋
具體事證?還是膚色?
金融相關的決策常常依法需要提供理由
為什麼拒絕了這個人的貸款?
模型診斷:到底機器學到了甚麼
不能只看正確率嗎?正確率高不代表模型好嗎?想想神馬漢斯的故事,正確率很高,但實際上什麼都沒有學到
Explainable ML ≠ 完全瞭解一個模型,甚至,完全瞭解一個模型未必是必要的
Explainable ML 存在的目的其實是,讓人覺得有道理,讓人滿意而已
$$ \text{Object } x \rightarrow \text{ Components: } \{ x_1 , \dots,x_n,\cdots,x_N \} $$