[筆記] 機器學習 神經網路 ( Neural Network ) - 表層結構

為什麼使用神經網路

• 在特徵量多的情況下，在非線性回歸算法裡，會產生很多的特徵項，這並不是一個解決複雜非線性問題的好辦法

• 假設我們要分類 50 * 50 像素的灰階圖片 :

  • 此特徵量 n = 2500 ( RBG 的話就是 n = 7500 )
  • 那麼 xᵢ * xⱼ 的所有條件就有 2500 * 2500 / 2 ≈ 300 萬
  • 這樣的計算成本太高了

• 而神經網路是個能輕鬆解決非線性問題的算法

• 神經網路最初產生的目的是模擬人類的大腦，早期不盛行的原因是，當時硬體無法支撐如此龐大的運算

神經網路模型的運作

神經網路的模型

• 在前面輸入特徵 x₀ ~ xₙ
• x₀ 是一個偏置單元 ( bias unit )，始終為 1
• 最後的輸出則是我們假設函數的結果
• 在神經網路中最基本我們使用跟分類中相同的邏輯函數 ，有時會稱為激勵函數 ( sigmoid activation function )，之後也會有其他種的函數，例如 : TanH、ReLU
• theta 有時也被稱為權重 ( weights )

• Layer 1 為 input layer
• Layer 2 為 hidden layer，在 input layer 和 output layer 之間的都是
• Layer 3 為 output layer

aᵢ⁽ʲ⁾ 為在 Layer j 中的 activation unit i
Θ⁽ʲ⁾ 為控制 Layer j 到 Layer j + 1 的權重矩陣

• Θ⁽ʲ⁾ 的維度 ( dimension ) 為 sⱼ₊₁ * (sⱼ + 1)
• sⱼ 為在 Layer j 中的 unit 個數

神經網路的計算過程

• 假設 x = a⁽¹⁾
• a⁽ʲ⁾ = g(z⁽ʲ⁾)，例如 : a⁽²⁾ = g(z⁽²⁾)
• z⁽ʲ⁾ = Θ⁽ʲ⁻¹⁾a⁽ʲ⁻¹⁾，例如 : z⁽²⁾ = Θ⁽¹⁾a⁽¹⁾
• hΘ(x) = a⁽ʲ⁾ = g(z⁽ʲ⁾)，此 Layer j 為 output layer

神經網路的應用

運算 OR

• hΘ(x) = g(-10 + 20x₁ + 20x₂)

1. x₁ = 0 and x₂ = 0 then g(−10) ≈ 0
2. x₁ = 0 and x₂ = 1 then g(10) ≈ 1
3. x₁ = 1 and x₂ = 0 then g(10) ≈ 1
4. x₁ = 1 and x₂ = 1 then g(30) ≈ 1

• g() 為邏輯函數 ( sigmoid function )

進階運算 XNOR

• AND : Θ⁽¹⁾ = [-30 20 20]
• NOR : Θ⁽¹⁾ = [10 -20 -20]
• OR : Θ⁽¹⁾ = [-10 20 20]

將三個結合後 :

• 

• 

• 

1. a⁽²⁾ = g(Θ⁽¹⁾x)
2. a⁽³⁾ = g(Θ⁽²⁾a⁽²⁾)
3. hΘ(x) = a⁽³⁾

多類別分類運算

• 在多類別分類時，並不是 y = 1、y = 2、y = 3、y = 4…這樣分類
• 而是有多個輸出來個別表示是否為此分類

• 假設這次有 4 種分類，那輸出的所有種類如上

• 神經網路的模型可以這樣設置

function [all_theta] = oneVsAll(X, y, num_labels, lambda)

m = size(X, 1);
n = size(X, 2);

all_theta = zeros(num_labels, n + 1);

X = [ones(m, 1) X]; %加入 x₀

initial_theta = zeros(n + 1, 1);

options = optimset('GradObj', 'on', 'MaxIter', 50);

for c = 1:num_labels

  [theta] = fmincg (@(t)(lrCostFunction(t, X, (y == c), lambda)), initial_theta, options);
  all_theta(c, :) = theta';

end

end

• 在 Octave 上的多類別分類器函式

function p = predictOneVsAll(all_theta, X)

m = size(X, 1);
num_labels = size(all_theta, 1);
p = zeros(size(X, 1), 1);

X = [ones(m, 1) X];  

predict = sigmoid(X * all_theta');
[predict_max, index_max] = max(predict, [], 2);
p = index_max;

end

• 在 Octave 上的預測計算函式

function p = predict(Theta1, Theta2, X)

m = size(X, 1);
num_labels = size(Theta2, 1);
p = zeros(size(X, 1), 1);

X = [ones(m, 1) X];

z2 = X * Theta1';
a2 = sigmoid(z2);

a2 = [ones(size(a2, 1), 1) a2]; %加入 a₀⁽²⁾

z3 = a2 * Theta2'
a3 = sigmoid(z3)

[a3_max, index_max] = max(a3, [], 2);
p = index_max;

end

• 在 Octave 上的預測計算函式 ( 多層神經網路 )

tags: 筆記 機器學習 神經網路