Penjelasan Algoritma Backpropagation dan Feed Forward - Selamat siang teman-teman semuanya, kali ini semangat27.com akan berbagi penjelasan tentang algoritma backpropagation dan feed forward. Algoritma ini sering digunakan pada pembelajaran mesin (machine learning), lebih tepatnya pada jaringan saraf (neural network)
Serta pada setiap iterasinya jaringan akan memperbarui nilai-nilai bobot dan bias pada setiap neuron yang ada di jaringan. Hal ini bertujuan untuk memperoleh error yang seminimal pada output yang dihasilakan. Dengan adanya update bobot dan bias ini, bisa dikatakan bahwa Backpropagation memiliki tiga tahap.
Dari arsitektur yang telah disebutkan, dapat dikatakan bahwa backpropagation ini merupakan perkembangan dari jaringan layar tunggal (single layer network) yang pada proses pelatihannya hanya memiliki dua layer saja, yakni input layer dan output layer.
Input layer merupakan layer tempat sebuah input dimasukkan (inisialisasi input), dan dari layer ini dilakukan proses-proses selanjutnya. Hidden layer disini berfungsi untuk membantu proses, semakin banyak hidden layer yang digunakan maka semakin bagus dan semakin cepat pula didapat output yang diinginkan, tetapi waktu training akan semakin lama. Output layer adalah layer yang menampung hasil proses dari suatu neural network.
Sebagai gambaran bagaimana bentuk dari arsitektur Backpropagation ini, berikut terdapat contoh gambar yang merupakan jaringan multilayer (multilayer network) dengan sebuah hidden layer.
Gambar Arsiterktur Backpropagation
Penjelasan pada gambar :
• Pada gambar diatas, X merupakan lambang dari unit input, Z merupakan lambang dari hidden unit, Y merupakan lambang dari unit output dan I pada bagian kiri merupakan lambang dari bias.
• Sedangkan untuk v merupakan lambang Bobot yang ada diantara X dan Z dan w merupakan lambang bobot yang ada diantara Z dan Y.
1. Data dimasukkan ke input jaringan (feedforward)
2. Perhitungan dan propagasi balik dari error yang bersangkutan
3. Pembaharuan (adjustment) bobot dan bias.
Sama seperti yang telah dijelaskan sebelumnya diatas.
Dari tiga langkah tersebut jika dikaitkan dengan gambar diatas maka menjadi seperti dibawah ini
• Saat umpan maju (feedforward), sinyal input akan diterima oleh setiap Xi (unit input) dan selanjutkan sinyal tersebut akan disebarkan pada tiap Zj (hidden unit).
• Kemudian setiap Zj (hidden unit) yang telah menerima sinyal yang disebarkan oleh Xi (unit input) akan mulai menghitung aktivasinya dan selanjutnya akan mengirimkan sinyal Zj (hidden unit) ke setiap Yk (unit output).
• Selanjutnya untuk setiap Yk (unit output) juga akan mulai menghitung aktivasinya untuk dapat menghasilkan respons berdasarkan input yang telah diberikan jaringan.
• Pada proses pelatihan (training), setiap Yk (unit output) akan membandingkan aktivasinya tadi dengan nilai Tk (target/fakta) untuk dapat menentukan besar dari nilai errornya.
• Berdasarkan nilai error yang telah dihasilkan dari perbandingan antara aktivasi Yk (unit output) dengan nilai Tk (target/fakta) ini, dihitung faktor k. Faktor k ini digunakan untuk mendistribusikan error yang ada pada Yk (unit output) kembali ke layer sebelumnya, untuk memperbaharui bobot antara ouput layer dengan Zj hidden layer. (Backpropagation)
• Melalui cara yang sama, pada Zj (hidden unit) juga dihitung faktor j. Dimana faktor j akan digunakan untuk memperbarui bobot antara hidden layer dan input layer.
• Jadi setelah semua faktor ditentukan, bobot untuk semua layer diperbaharui.
Berbeda dengan Backpropagation yang merupakan umpan balik dimana update bobot harus secara terurut dengan menggunakan error dimulai dari ouput layer kembali ke hidden layer untuk update bobotnya kemudian baru menggunakannya untuk update bobot pada input layer.
Feed-forward ini biasa digunakan pada single layer network, yang merupakan jaringan yang paling sederhana yang hanya terdiri dari input layer dan output layer
Sumber :
elib.unikom.ac.id/download.php?id=105506
https://erwingemayel.wordpress.com/2015/09/09/single-layer-perceptron/
Backpropagation
Backpropagation merupakan Salah satu algoritma jaringan syaraf yang menggunakan metode pelatihan terawasi (supervised learning). Algoritma Backpropagation sendiri menjalankan 2 tahap komputasi diantaranya sebagai berikut- perhitungan maju (feedforward)
- dan perhitungan mundur (backward),
Serta pada setiap iterasinya jaringan akan memperbarui nilai-nilai bobot dan bias pada setiap neuron yang ada di jaringan. Hal ini bertujuan untuk memperoleh error yang seminimal pada output yang dihasilakan. Dengan adanya update bobot dan bias ini, bisa dikatakan bahwa Backpropagation memiliki tiga tahap.
Arsitektur Backpropagation
Algoritma Backpropagation digunakan pada jaringan multilayer (multilayer network) yang didalamnya mempunyai tiga jenis layer pada proses pelatihannya, tiga jenis layer tersebut adalah input layer, hidden layer dan output layer, untuk hidden layer jumlahnya bisa lebih dari satu layer.Dari arsitektur yang telah disebutkan, dapat dikatakan bahwa backpropagation ini merupakan perkembangan dari jaringan layar tunggal (single layer network) yang pada proses pelatihannya hanya memiliki dua layer saja, yakni input layer dan output layer.
Input layer merupakan layer tempat sebuah input dimasukkan (inisialisasi input), dan dari layer ini dilakukan proses-proses selanjutnya. Hidden layer disini berfungsi untuk membantu proses, semakin banyak hidden layer yang digunakan maka semakin bagus dan semakin cepat pula didapat output yang diinginkan, tetapi waktu training akan semakin lama. Output layer adalah layer yang menampung hasil proses dari suatu neural network.
Sebagai gambaran bagaimana bentuk dari arsitektur Backpropagation ini, berikut terdapat contoh gambar yang merupakan jaringan multilayer (multilayer network) dengan sebuah hidden layer.
Gambar Arsiterktur Backpropagation
Sumber : elib.unikom.ac.id/download.php?id=105506
Penjelasan pada gambar :
• Pada gambar diatas, X merupakan lambang dari unit input, Z merupakan lambang dari hidden unit, Y merupakan lambang dari unit output dan I pada bagian kiri merupakan lambang dari bias.
• Sedangkan untuk v merupakan lambang Bobot yang ada diantara X dan Z dan w merupakan lambang bobot yang ada diantara Z dan Y.
Penjelasan singkat Algoritma
Inti dari algoritma backpropagation ini merupakan pelatihan yang terdiri atas tiga langkah, yakni:1. Data dimasukkan ke input jaringan (feedforward)
2. Perhitungan dan propagasi balik dari error yang bersangkutan
3. Pembaharuan (adjustment) bobot dan bias.
Sama seperti yang telah dijelaskan sebelumnya diatas.
Dari tiga langkah tersebut jika dikaitkan dengan gambar diatas maka menjadi seperti dibawah ini
• Saat umpan maju (feedforward), sinyal input akan diterima oleh setiap Xi (unit input) dan selanjutkan sinyal tersebut akan disebarkan pada tiap Zj (hidden unit).
• Kemudian setiap Zj (hidden unit) yang telah menerima sinyal yang disebarkan oleh Xi (unit input) akan mulai menghitung aktivasinya dan selanjutnya akan mengirimkan sinyal Zj (hidden unit) ke setiap Yk (unit output).
• Selanjutnya untuk setiap Yk (unit output) juga akan mulai menghitung aktivasinya untuk dapat menghasilkan respons berdasarkan input yang telah diberikan jaringan.
• Pada proses pelatihan (training), setiap Yk (unit output) akan membandingkan aktivasinya tadi dengan nilai Tk (target/fakta) untuk dapat menentukan besar dari nilai errornya.
• Berdasarkan nilai error yang telah dihasilkan dari perbandingan antara aktivasi Yk (unit output) dengan nilai Tk (target/fakta) ini, dihitung faktor k. Faktor k ini digunakan untuk mendistribusikan error yang ada pada Yk (unit output) kembali ke layer sebelumnya, untuk memperbaharui bobot antara ouput layer dengan Zj hidden layer. (Backpropagation)
• Melalui cara yang sama, pada Zj (hidden unit) juga dihitung faktor j. Dimana faktor j akan digunakan untuk memperbarui bobot antara hidden layer dan input layer.
• Jadi setelah semua faktor ditentukan, bobot untuk semua layer diperbaharui.
Feed-forward
Adalah arsitektur yang merupakan bagian dari algoritma Backpropagation. Akan tetapi pada saat digunakan menjadi algoritma tersendiri, Feed-forward melakukan update bobot dengan menggunakan komponen error yang ada pada output layernya secara langsung.Berbeda dengan Backpropagation yang merupakan umpan balik dimana update bobot harus secara terurut dengan menggunakan error dimulai dari ouput layer kembali ke hidden layer untuk update bobotnya kemudian baru menggunakannya untuk update bobot pada input layer.
Feed-forward ini biasa digunakan pada single layer network, yang merupakan jaringan yang paling sederhana yang hanya terdiri dari input layer dan output layer
Gambar single layer
Sumber : https://erwingemayel.wordpress.com/2015/09/09/single-layer-perceptron/
Sumber :
elib.unikom.ac.id/download.php?id=105506
https://erwingemayel.wordpress.com/2015/09/09/single-layer-perceptron/
0 Komentar