Back propagation

[menuju akhir]


1. Standar Backpropagation [kembali]

Arsitektur jaringan :

Fungsi Aktivasi Biner :
Fungsi Aktivasi Bipolar :


Pelatihan standar :

  • Fase I : Propagasi Maju
  • Fase II : Propagasi Mundur
  • Fase III : Perubahan Bobot 

Algoritma Pelatihan:

 Contoh :

Gunakan backpropagation dengan sebuah layer tersembunyi (dengan 3 unit) untuk mengenali fungsi logiko XOR dengan 2 masukan x1 dan x2. Buatlah iterassi untuk menghitung bobot jaringan untuk pola pertaa (x1 = 1, x2 = 1 dan t = 0). Gunakan laju pemahaman α= 0.2


Penyelesaian :


  • Hitung Keluaran Unit Tersembunyi
z_netj = vjo + Σxi vji

z_net1 = -0.3 + 1 (0.2) + 1 (0.3) = 0.2

z_net2 = 0.3 + 1 (0.3) + 1 (0.1) = 0.7

z_net3 = 0.3 + 1 (-0.1) + 1 (-0.1) = 0.1

zj = f(z_netj) = 1/(1+e^-z_netj)

z1 = 1/(1+e^-0.2) = 0.55

z2 = 1/(1+e^-0.7) = 0.67

z3 = 1/(1+e^-0.1) = 0.52

  • Hitung  Keluaran Unit yk
y_netk = wko + Σ zj wkj

y_netk = y_net = w1o + Σ zj w1j = -0.1 + 0.55 (0.5) + 0.67 (-0.3) + 0.52 (-0.4) = -0.24

y = f(y_net) = 1/(1+e^-y_net) = 1/(1+e^0.24) = 0.44

  • Hitung faktor δ di Unit Keluaran yk
δ = (tk - yk) f '(y_netk) = (tk - yk) yk (1 - yk)

 δk = δ = (t - y) y (1 - y) =  (0 – 0.44) (0.44) (1 – 0.44) = -0.11

Suku perubahan bobot wkj (dengan α = 0.2) : 

∆wkj = α δk zj = α δ  zj      ; j=0, 1,...,3

 ∆w10 = 0.2 (-0.11) (1) = -0.02

 ∆w11 = 0.2 (-0.11) (0.55) = -0.01

 ∆w12 = 0.2 (-0.11) (0.67) = -0.01

 ∆w13 = 0.2 (-0.11) (0.52) = -0.01

 

  • Hitung Penjumlahan Kesalahan dari Unit Tersembunyi (=δ)
δ_netj = Σ δk wkj  = δ_netj = δ w1j

δ_net1 = (-0.11) (0.5) = -0.05

δ_net2 = (-0.11) (-0.3) = 0.03

δ_net3 = (-0.11) (-0.4) = 0.04

Faktor kesalahan δ di unit tersembunyi :
δj = δ_netj f ' (z_netj) = δ_netj zj (1-zj)

δ1 = -0.05 (0.55) (1 - 0.55) = -0.01

δ2 = 0.03 (0.67) (1 - 0.67) = 0.01

δ3 = 0.04 (0.52) (1 - 0.52) = 0.01

Suku perubahan bobot ke unit tersembunyi Δvji = α δj xi   (j = 1, 2, 3; i = 0, 1, 2)

  •  Hitung Semua Perubahan Bobot
wkj(baru) = wkj (lama) + ∆wkj    (k = 1, j = 0, 1, ..., 3)

w11(baru) = 0.5 – 0.01 = 0.49

w12(baru) = -0.3 – 0.01 = -0.31

w13(baru) = -0.4 – 0.01 = -0.41

w10(baru) = -0.1 – 0.02 = -0.12

Perubahan bobot unit tersembunyi :
vji (baru) = vji (lama) + ∆vji        (j = 1, 2, 3 ; i = 0, 1, 2)


2. Optimalitas Arsitektur Backpropagation [kembali]

Pemilihan Bobot Bias

Misal :

n = jumlah unit masukan

p = jumlah unit tersembunyi

β = faktor skala = 0.7 n√p

Algoritma inisialisasi Nguyen Widrow adalah sebagai berikut :

a. Inisialisasi semua bobot (vji (lama)) dengan bilangan acak dalam interval [-0.5, 0.5]

b. Hitung ||vj|| = √(vj1^2 + vj2^2 + ... + vjn^2)

c. Bobot yang dipakai sebagai inisialisasi = vji = (β vji(lama)) / ||vj|| 

d. Bias yang dipakai sebagai inisialisasi = vj0 = bilangan acak antara - β dan β

Contoh 7.2 :

Buatlah bobot awal ke unit tersembunyi contoh 7.1 menggunakan modifikasi bobot Nguyen Widrow

Penyelesaian : 


Jumlah Unit Tersembunyi

 Penambahan jumlah layar tersembunyi kadangkala membuat pelatihan lebih mudah. Dalam propagasi maju, keluaran harus dihitung untuk tiap layar, dimulai dari layar tersembunyi paling bawah (terdekat dengan masukan). Sebaliknya, dalam propagasi mundur, faktor δ perlu dihitung untuk tiap layar tersembunyi, dimulai dari layar keluaran.

Jumlah Pola Pelatihan

 Jumlah pola yang dibutuhkan dipengaruhi oleh banyaknya bobot dalam jaringan serta tingkat akurasi yang diharapkan. Aturan kasarnya dapat ditentukan berdasarkan rumusan :

 Jumlah pola = Jumlah bobot / tingkat akurasi

 Untuk jaringan dengan 80 bobot dan tingkat akurasi 0.1, maka 800 pola masukan diharapkan akan mampu mengenali dengan benar 90 % pola diantaranya.

Lama Iterasi

 Jaringan dapat dilatih terus menerus hingga semua pola pelatihan dikenali dengan benar. Akan tetapi hal itu tidak menjamin jaringan akan mampu mengenali pola pengujian dengan tepat. Jadi tidaklah bermanfaat untuk meneruskan iterasi hingga semua kesalahan pola pelatihan = 0

 Selama kesalahan ini menurun, pelatihan terus dijalankan. Akan tetapi jika kesalahannya sudah meningkat, pelatihan tidak ada gunanya untuk diteruskan lagi.


3. Variasi Backpropagation [kembali]

    a. Momentum

  Dengan penambahan momentum, bobot baru pada waktu ke (t+1) didasarkan atas bobot pada waktu t dan (t-1). Disini harus ditambahkan 2 variabel baru yang mencatat besarnya momentum untuk 2 iterasi terakhir. Jika μ adalah konstanta (0≤ μ ≤ 1) yang menyatakan parameter momentum maka bobot baru dihitung berdasarkan persamaan :

wkj(t+1) = wkj(t) + α δk zj + μ (wkj(t) - wkj(t-1))

dan,

vji(t+1) = vji(t) + α δj zi + μ (vji(t) - vji(t-1))

Contoh 7.3

Perhatikan kembali iterasi pola pertama fungsi logika XOR dengan Backpropagation pada contoh 7.1. Lakukan iterasi untuk pola kedua (x1 = 1, x2 = 0, dan t = 1) dengan menggunakan suku momentum (μ = 0.5) 

Penyelesaian :

Hasil iterasi yang diperoleh dari pola pertama

  • Hitung Keluaran Unit Tersembunyi (zj)
z_netj = vjo + Σxi vji

z_net1 = -0.3 + 1 (0.2) + 0 (0.3) = -0.1

z_net2 = 0.3 + 1 (0.3) + 0 (0.1) = 0.6

z_net3 = 0.3 + 1 (-0.1) + 0 (-0.1) = 0.2

zj = f(z_netj) = 1/(1+e^-z_netj)

z1 = 1/(1+e^-0.1) = 0.48

z2 = 1/(1+e^-0.6) = 0.65

z3 = 1/(1+e^-0.2) = 0.55
  • Hitung  Keluaran Unit yk
y_netk = wko + Σ zj wkj

y_netk = y_net = w1o + Σ zj w1j = = -0.12 + 0.48 (0.49) + 0.65 (-0.31) + 0.55 (-0.41) = -0.31

y = f(y_net) = 1/(1+e^-y_net) = 1/(1+e^0.31) = 0.42

  • Hitung faktor δ di Unit Keluaran yk
δ = (tk - yk) f '(y_netk) = (tk - yk) yk (1 - yk)

 δk = δ = (t - y) y (1 - y) =  (1 – 0.42) (0.42) (1 – 0.42) = 0.14

Suku perubahan bobot wkj (dengan α = 0.2) : 

∆wkj = α δk zj = α δ  zj      ; j=0, 1,...,3

 ∆w10 =  0.2 (0.14) (1) = 0.03

 ∆w11 = 0.2 (0.14) (0.48) = 0.01

 ∆w12 = 0.2 (0.14) (0.65) = 0.02

 ∆w13 =0.2 (0.14) (0.55) = 0.02

 

  • Hitung Penjumlahan Kesalahan dari Unit Tersembunyi (=δ)
δ_netj = Σ δk wkj  = δ_netj = δ w1j

δ_net1 = (0.14) (0.49) = 0.07

δ_net2 = (0.14) (-0.31) = -0.04

δ_net3 = (0.14) (-0.41) = -0.06

Faktor kesalahan δ di unit tersembunyi :
δj = δ_netj f ' (z_netj) = δ_netj zj (1-zj)

δ1 = 0.07 (0.48) (1 - 0.48) = 0.02

δ2 = -0.04 (0.65) (1 - 0.65) = -0.01

δ3 =-0.06 (0.55) (1 - 0.55) = -0.01

Suku perubahan bobot unit tersembunyi :
vji (baru) = vji (lama) + ∆vji        (j = 1, 2, 3 ; i = 0, 1, 2)


  • Hitung semua perubahan bobot
wkj(t+1) = wkj(t) + α δk zj + μ (wkj(t) - wkj(t-1))        (k=1; j=0, 1, ..., 3)

w11 (baru) = 0.49 + 0.01 + 0.5 (0.49 – 0.5) = 0.495

w12 (baru) = -0.31 + 0.02 + 0.5 (-0.31 – (-0.3)) = -0.295

w13 (baru) = -0.41 + 0.02 + 0.5 (-0.41 – (-0.4)) = -0.395

w10 (baru) = -0.12 + 0.03 + 0.5 (-0.12 – (-0.1)) = -0.1

Perubahan bobot unit tersembunyi :

vji(t+1) = vji(t) + α δj zi + μ (vji(t) - vji(t-1))         (j = 1, 2, 3; i = 0, 1, 2)

vji(t+1) = 0

Berarti vji tidak mengalami perubahan. vji baru hasil iterasi pola kedua sama dengan vji tabel 7.7

    b. Delta - Bar - Delta

        Perubahan bobot dalam aturan delta – bar – delta adalah sebagai berikut :

wkj(t+1) = wkj(t) + αkj(t+1)δk zj 

    c. Perubahan Bobot Berkelompok

  Untuk tiap pola yang dimasukkan, dilakukan langkah 4 – 7 standar Backpropagation. Nilai Δwkj dan Δvji untuk tiap pola dijumlahkan. Langkah 8 (perhitungan bobot baru) dilakukan berdasarkan hasil jumlahan Δwkj dan Δvji tersebut.

  Prosedur ini memberikan efek yang lebih halus dalam perubahan bobot. Dalam beberapa kasus, variasi perubahan ini akan meningkatkan kemungkinan konvergensi ke titik minimum lokal.

4. Aplikasi Backpropagation Dalam Peramalan[kembali]

Contoh 7.4

Diketahui data bulanan penjualan suatu produk makanan kaleng selama 2 tahun terakhir seperti tampak pada tabel 7.10. Buatlah model backpropagation untuk memperkirakan jumlah produk yang terjual bulan depan.

Penyelesaian :


Tidak ada komentar:

Posting Komentar

Langganan: Komentar (Atom)