Rabu, 03 Juli 2019

Matlab-Sistem Hibrid Meta Heuristik Particle Swarm Optimization dan Neural Network Backpropagation


Particle Swarm Optimization merupakan salah satu teknik heuristik untuk mencari solusi optimal dari fungsi objektif yang tidak ribet dengan meniru perilaku kawanan hewan, sedangkan NN Backpropagation dikenal handal dalam kasus klasifikasi dan dataset dalam ruang dimensi N yang bersifat non linear.

Hibrid kedua diatas tentu sangat menarik, semuanya handal dalam masing-masing kasus. Nah, penulis mencoba mendesain fungsi objektif yang bisa digunakan ke PSO dengan desain dari core engine NN. Perlu diketahui bahwa NN yang digunakan dalam tulisan ini terdiri dari 2 perhitungan yaitu forward dan backward.


Desain dari fungsi objektif PSO menjadi menarik, karena core engine NN harus ‘diinjeksi’ langsung kepada PSO dan harus ‘dibungkus’ rapi menjadi satu sehingga penulis harus membuat kode NN terlebih dahulu. Salah satu rujukan NN yaitu buku karangan Sri Kusuma Dewi.



Berikut kode finalnya.
%kode ini adalah teknik hibrid antara NN dan PSO
%NN dengan tipe backpropagation yang terdiri dari 2 langkah
%1. langkah maju atau forward
%2. langkah mundur atau backward
%NN menggunakan fungsi aktifasi sigmoid dan update bobot bias
%menggunakan fungsi turunan pertama sigmoid
%secara umum NN akan melakukan update bobot dan bias setiap melakukan
%iterasi hal ini punya kelemahan utama yaitu tidak adanya seleksi
%sehingga setiap ada iterasi, maka terjadi update bobot dan bias
%sedangkan PSO akan memperbaiki kelemahan ini yaitu
%update bobot dan bias menggunakan aturan PSO
%sehingga bobot dan bias hasil akhir menjadi optimal
%fungsi objektif PSO dibangun atas 2 langkah utama dari NN yaitu terdiri
%dari perhitungan maju dan mundur sehingga didapatkan error 
%error terkecil menjadi paramater PSO
%setelah didapatkan bobot dan bias dari PSO
%akan digunakan kembali sebagai input perhitungan NN yaitu 
%perhitungan maju untuk memprediksi hasil akhir
 
%kode ini bertujuan untuk update bobot dan bias 
clc;clear all;close all;
help demo_PSO_NN
 
disp('Kasus sederhana yang dipilih yaitu logika non lineaar Boolean XOR')
[X,target,lr]=inputtarget();
disp('Input dan target yaitu')
disp(table(X,target))
 
disp('NN standar akan melakukan pelatihan....')
epoch = 5000;
node_hidden = 3;
disp(['Jumlah epoch ' num2str(epoch)])
disp(['Nilai learning rate ' num2str(lr)])
disp(['Jumlah node hidden ' num2str(node_hidden)])
[jaringan] = latihjaringan(X,target,epoch, node_hidden,lr);
prediksi_nn = simulasijaringan(jaringan,X);
disp('NN selesai... ')
 
 
nvars = 13; 
lb = ones(1,13)*-100; %nilai lower bound
ub = ones(1,13)*+100; %nilai upper bound
 
disp('Proses pencarian oleh PSO.....')
disp(['Dengan jumlah partikel sebanyak 50 dan iterasi 10'])
options = optimoptions('particleswarm','SwarmSize',50,...
                'HybridFcn',@fmincon,'Display','iter','MaxStallIterations',10,...
                'FunctionTolerance',1e-3,'DisplayInterval',10);
 
[bobot_bias,fval,exitflag,output] = particleswarm(@objektif,nvars,lb,ub,options);
disp('PSO selesai....')
 
[wh,bh,wout,bout] = splitbobotbias(bobot_bias);
 
 
%fungsi ini dipanggil ulang untuk melakukan prediksi
%yaitu perhitungan maju-forward dari NN digunakan kembali
[prediksi_pso,hiddenlayer_activations] = perhitunganmaju(X,wh,bh,wout,bout);
 
disp('hasil prediksi PSO dan NN')
disp(table(target,prediksi_pso,prediksi_nn))
 
disp('Terlihat bahwa nilai dari PSO lebih mendekati target daripada NN')



kode ini adalah teknik hibrid antara NN dan PSO
 NN dengan tipe backpropagation yang terdiri dari 2 langkah
 1. langkah maju atau forward
 2. langkah mundur atau backward
 NN menggunakan fungsi aktifasi sigmoid dan update bobot bias
 menggunakan fungsi turunan pertama sigmoid
 secara umum NN akan melakukan update bobot dan bias setiap melakukan
 iterasi hal ini punya kelemahan utama yaitu tidak adanya seleksi
 sehingga setiap ada iterasi, maka terjadi update bobot dan bias
 sedangkan PSO akan memperbaiki kelemahan ini yaitu
 update bobot dan bias menggunakan aturan PSO
 sehingga bobot dan bias hasil akhir menjadi optimal
 fungsi objektif PSO dibangun atas 2 langkah utama dari NN yaitu terdiri
 dari perhitungan maju dan mundur sehingga didapatkan error 
 error terkecil menjadi paramater PSO
 setelah didapatkan bobot dan bias dari PSO
 akan digunakan kembali sebagai input perhitungan NN yaitu 
 perhitungan maju untuk memprediksi hasil akhir

Kasus sederhana yang dipilih yaitu logika non lineaar Boolean XOR
Input dan target yaitu
      X       target
    ______    ______

    1    1      0   
    1    0      1   
    0    1      1   
    0    0      0   

NN standar akan melakukan pelatihan....
Jumlah epoch 5000
Nilai learning rate 0.25
Jumlah node hidden 3
NN selesai... 
Proses pencarian oleh PSO.....
Dengan jumlah partikel sebanyak 50 dan iterasi 10

                                 Best            Mean     Stall
Iteration     f-count            f(x)            f(x)    Iterations
    0              50          0.1385          0.4868        0
   10             550        8.72e-56          0.3458        0
Optimization ended: relative change in the objective value 
over the last OPTIONS.MaxStallIterations iterations is less than OPTIONS.FunctionTolerance.
Switching to the hybrid optimization algorithm (FMINCON).
FMINCON ended.
PSO selesai....
hasil prediksi PSO dan NN
    target    prediksi_pso    prediksi_nn
    ______    ____________    ___________

      0        4.1762e-28      0.059254  
      1                 1       0.95451  
      1                 1       0.95461  
      0        4.1762e-28      0.039221  

Terlihat bahwa nilai dari PSO lebih mendekati target daripada NN


Kode diatas menggunakan Matlab agar lebih mudah dalam pengolahan array, adapun untuk bahasa lain seperti Python sedang penulis porting ulang, karena Python akan digunakan untuk mengolah dataset yang sangat besar menggunakan Hd5, serta menggunakan beragam library seperti numpy, matplotlib, pandas, dan opencv sehingga kendala lisensi dalam sebuah research bisa dikurangi.
Dapatkan buku kami
http://www.softscients.web.id/2018/11/buku-belajar-mudah-python-dengan.html
atau mengajukan pertanyaan ke
http://www.softscients.web.id/p/konsultasi.html




Tidak ada komentar: