ML Lecture 19: Transfer Learning

Introduction

Transfer learning指的是假如手上有一些跟task沒有直接相關的data，能不能用這些不相關的data來做事情

不相關有幾種可能，例如domain一樣、task不一樣，或是domain不一樣、task一樣

舉例來說，要做貓狗辨識，直接相關的data有貓狗的image

不直接相關的可能有：

• 相同domain（動物照片）不同task（象虎辨識）
• 不同domain（卡通圖片）相同task（貓狗便是）

Why Transfer Learning

某些領域的data可能很少，但跟他類似卻不直接相關的領域的data可能很多

我們希望可以利用這些不直接相關的data來幫助我們

例如：

• 要訓練台語辨識，台語data很少，但中英文data很多 (yt隨便爬就一堆)
• 要訓練醫療影像，專業的image很少，但非專業的image很多
• 要分析特定領域文章，可以用各種文章來輔助

Transfer Learning Overview

可以把data分兩種：

• Target data：與task直接相關，又可細分為labeled與unlabeled
• Source data：與task不直接相關，也可細分為labeled與unlabeled

其中直不直接是由我們定義的

通常做transfer learning時會假設target data很少，source data很多