ML Lecture 11: Why Deep?

Deep vs. shallow

如果單純把NN變得更deep，讓performance更好，這其實不意外，因為越deep的NN代表參數越多，structure越複雜。所以要跟shallow NN比較的話，要把shallow NN的neuron數拉到跟deep NN差不多才公平。

比較結果如上表，可以發現：

• 5×2k vs 1×3772：使用相似的neuron數時，多層比單層好
• 7×2k vs 1×4634：同上
• 1×4634 vs 1×16k：同樣只有一層，就算開了一堆neuron，error rate也只有降低一點點
• 1×2k vs 1×16k：同樣一層的情況，多neuron確實會比少neuron還好
• 2×2k vs 1×16k：2×2k的neuron比1×16k少，但performance卻比較好

總結，多層比單層好，即便多層的neuron比單層還少。但為什麼？

Modularization

其實我們在做DL，就是在做模組化（Modularization）這件事

Modularization：把一個大的function分為幾部分(sub function)