Website Mata Kuliah Pengenalan Pola
Dosen: Dr. Agus Zainal Arifin
Email: agus.za (at) its-sby . edu
Kelas: A dan X
Kode: CI1423
Jurusan: Teknik Informatika, FTIF, ITS

NON LINEAR CLASSIFIER

• The Two Layer Perceptron
• Untuk permasalahan XOR,terlihat dua garis,menjadi satu garis
• Kemudian kelas B dialokasikan diluar dan class A yang didalamnya ini adalah desain two-phase
  • Fase1
    Dimana, Massing2 mereka akan direalisasikan oleh perceptrons.ouput dr perceptrons
    akan mengunakan Berdasarkhan posisi dari X.
  • Fase 2
    Menemukan position dari x w.r.t pada kedua garis
    berdasarkahn nilai y1, y2
• Computasi dr fase pertama menampilkan maping yg mentransformasikan masalah separable non linear menjadi separable linier Classification capabilities of the two-layer perceptron.
• ?Mapping ditampilkan melalui neuron layer pertama kedalam vertices dr unit lingkaran? e.g.,v
  (0, 0), (0, 1), (1, 0), (1, 1).
• Layer perceptrons, Ini mempuyai kemapuan untuk mengklasifikasikan vector menjadi klas berdasarkan gabunagn dr wilayah poly thedral. Ide ini sama dengan masalah XOR ,itu merealisasasikan satu frame pada ruang
• Overall merupakan Layer pertama dari network membentuk hyperplan,dan layer kedua membentuk wilayah dan ouput neutron membentuk klas, Mendisain perceptrons multilayer,Satu garis yang berhubungan digunakan untuk mengadopsi rational dan membangun sebuah struktur Yang mengklasifikasikan training pattern. Direction yg lain dgunakan untuk memilih struktur dan menghitung ukuran synaptic untuk mengoptimasikan nilai fungtion
• The Backpropagation Algorithm, Sebuah prosedur algoritma yg mengkomputasikan ukuran sypnatic secara interaktif jd fungsi kost yg diadopsi di fungsi biaya minimalis(optimasi).
  Jumlah yg besar dr optimasi prosedur,komputasi dr turunan yg diikutkhan
• Teorema Cover menunjukkan bahwa formulasi problem klasifikasi dalam dimensi yang lebih besar dapat membantu menemukan solusi.Digunakan untuk mengubah dari transformasi linear ke non-linear dengan memperbesar dimensinya.
• Teorema Cover menunjukkan kondisi multidimensi dapat ditransformasikan kedalam fitur baru yang telah dikelompokkan/dipisahkan. Dua kondisi yang mengkin ketika teorema ini diaplikasikan dan tidak dapat memperbesar dimensinya adalah :
  • Kondisi 1: transformation nonlinear.
  • Kondisi 2: dimensi fitur sudah terlalu besar.
• Radial Basis Function Networks,Model jaringan ini, neuron-neuron keluarannya adalah hasil kombinasi linier fungsi basis neuron-neuron pada lapisan tersembunyi. Fungsi basis yang umum digunakan adalah Gaussian.
• Perbedaan utama antara jaringan Multi Layer Perceptron (MLP) dengan jaringan berbasis fungsi radial yaitu penggunaan Gaussian pada hidden layer jaringan RBF, sedangkan jaringan MLP menggunakan fungsi sigmoid. Pada prinsipnya RBF adalah emulasi sifat jaringan biologi yang umumnya neuron yang paling aktif adalah neuron yang paling sensitif menerima sinyal masukan. Sehingga orientasi sensitivitas respon tersebut hanya terhadap beberapa daerah (local response) dalam wilayah masukan.
• Training RBF
  • Proses pelatihan RBF dilakukan untuk perbaikan penimbang yang menghubungkan unit-unit masukan dengan lapis tersembunyi dan unit-unit lapis tersembunyi dengan unit-unit keluaran. Lapis yang berbeda dari suatu RBF mengerjakan tugas yang berbeda dan oleh karenanya optimasi lapis tersembunyi dan lapis keluaran dari jaringan dipisahkan memakai teknik yang tidak sama. Perbedaan strategi pelatihan yang akan dijelaskan dalam merancang suatu RBF, tergantung pada bagaimana pusat-pusat RBF dari jaringan dispesifikasi.
  • Beberapa macam pendekatan untuk melakukan pelatihan adalah sebagai berikut:
    • Fixed Center : Pendekatan yang pertama dengan mengasumsikan fungsi-fungsi aktivasi dari unit-unit lapis tersembunyi adalah tetap/fixed. Secara khusus lokasi-lokasi dari pusat RBF dipilih secara random dari himpunan data pelatihan. untuk itu digunakan suatu fungsi Gauss yang sama sebagai standart deviasinya yang tepat dalam mengikuti penyebaran dari titik-titik pusatnya.
    • Training of the Center.
    • Combined Supervised and Unsupervised Learning : fungsi-fungsi radial-basis yang diijinkan untuk memindahkan lokasi-lokasi dari titik pusat yang terorganisasi mandiri, dimana penimbang-penimbang linier dari lapis keluaran dihitung menggunakan aturan supervised learning.
• RBFN adalah jaringan dan pelatihan hibrida yang mengkombinasi paradigma unsupervised-supervised dan skema supervised learning, (Moody dan Darken,lggg). Dimana sebagian dari penimbang ditentukan dengan supervised learning dan sebagian lain.diperoleh dari unsupervised learning. RBFN dilatih dengan aturan unsupervised pada lapis input, dan aturan supervised learning pada lapis keluaran.
• Perbedaan utama antara jaringan Multi Layer Perceptron (MLP) dengan jaringan berbasis fungsi radial yaitu penggunaan Gaussian pada lapisan tersembunyi jaringan RBF, sedangkan jaringan MLP menggunakan fungsi sigmoid. Pada prinsipnya RBF adalah emulasi sifat jaringan biologi yang umumnya neuron yang paling aktif adalah neuron yang paling sensitif menerima sinyal masukan
• Support Vector Machine (SVM) adalah metode learning machine yang bekerja atas prinsip Structural Risk Minimization (SRM) dengan tujuan menemukan hyperplane terbaik yang memisahkan dua buah class pada input space.
• SVM pada dasarnya bersifat biner yaitu hanya dapat memisahkan dua buah kelas yang berbeda, dan apabila dilakukan pembelajaran ulang dengan hanya menggunakan support vector saja akan memberikan hasil yang sama jika dilakukan pembelajaran ulang dengan seluruh data.
• Decision Trees
  • Decision tree termasuk dalam non linier classifier, ciri-ciri dari decision tree :
    • Space/ruang akan dipisah menjadi suatu bagian yang unik dengan berbagai macam cara.
    • Ketika terdapat vector fitur, maka sekumpulan keputusan akan memindahkan fitur-fitur tersebut, dan ini dilakukan sepanjang jalur-jalur node.
    • Sekumpulan decision/keputusan digunakan untuk fitur-fitur yang individual, dan querynya dilakukan di setiap node dengan fittur yang bertipe xi <= a, dimana a adalah nilai treshold (selama training)
  • Melatih individual classifier dengan menggunakan training data point yang berbeda. Pilih diantara beberpa kemungkinan:
    • Bootstrapping: ini merupakan teknik yang populer untuk menggabungkan classifier yang tidak stabil seperti decision trees.
    • Stacking: Melatih combiner dengan data point yang telah dikeluarkan dari satuan yang digunakan untuk melatih individual classifier.
    • Gunakan subspace yang berbeda untuk melatih individual classifiers: Berdasarkan pada metode, setiap individual classifier beroperasi pada fitur subspace yang berbeda. Oleh karena itu, gunakan fitur-fitur yang berbeda untuk setiap classifier
      

Contoh Paper 1

Contoh Paper 2