Recursive Network

Recursive Network 是 Recurrent Network 的更general的版本，或是說 Recurrent Network 是Recursive Network 的一個subset

Application: Sentiment Analysis

Sentiment Analysis：input 一個word seq，機器要決定這個seq的Sentiment (正面、負面、中性)

• 使用 Recurrent network:
  1. input h⁰ 與 x₁
  2. 通過 f 得到 h¹
  3. input h¹ 與 x²
  4. 通過 f 得到 h² ...
  5. 整個seq讀完，最後時間點的output丟到 g (DNN)

• 使用 Recursive network:

  要先知道input的x之間有什麼關係，再來設計網路，例如

  1. x¹ 與 x² 丟到 f 裡面得到 h¹
  2. x³ 與 x⁴ 丟到 f 裡面得到 h²
  3. h¹ h² 丟到 f 裡面得到 h³
  4. h³ 丟到 g (DNN)

  為了讓 f 前後可以相接，h 與 x 維度要一樣

Recursive Model

一樣用語氣判斷為例

首先我們要先知道與句的結構，例如 not very good 這句話的結構如圖：

very good先組合再一起，再接上not

所以我們的 Recursive Model 就要用同樣的結構

Recursive Neural Tensor Network

這邊先介紹 Recursive Neural Tensor Network

1. 先把 not very good 用word embedding表示

   

2. 把very good 丟掉一個 function f 裡面，這個function非常複雜，可能要是一個NN

   例如 一個字前面加not，語氣就要相反。一個字前面加very，語氣就要加強

   

3. 根據句構一層一層丟到 f 裡面，最後的output丟到另一個function g，這個g可能也是一個NN(DNN) ，最終輸出為自己定義的語氣vector（例如這裡有5維，分別為 非常正面、正面、中性、負面、非常負面），使用reference跟output的差距，訓練 f 與 g