Website Mata Kuliah Pengenalan Pola
Dosen: Dr. Agus Zainal Arifin
Email: agus.za (at) its-sby . edu
Kelas: A dan X
Kode: CI1423
Jurusan: Teknik Informatika, FTIF, ITS

LINEAR CLASSIFIER

• Pada bab ini akan fokus pada pembahasan tentang Linear Classifier (Pengklasifikasian Linier). Keuntungan dari Linear Classifier ini adalah sederhana dan perhitungannya menarik (mudah). Mulai dengan berasumsi bahwa semua fitur vektor tersedia dalam class-class yang dapat diklasifikasikan dengan benar menggunakan Linear Classifier dan kita juga bisa membuat cara atau teknik perhitunngan dari hubungan fungsi linier.
• Fungsi Linear Discriminant dan Decision Hyperplane
  • Misalnya ada sebuah permasalahan dimana kita fokus pada dua class yaitu ω1, ω2 dan fungsi linier diskriminan.
  • Pertama adalah tentang Decision Hyperplane. Decision Hyperplane adalah decision hypersurfaces yang berada di dalam l-dimensi ruang fitur dan persamaan untuk decision hyperplane adalah sebagai berikut: g(x) = wt + w0 = 0 = w1 x1 + ...+ wl xl + w0
  • w0 adalah threshold
  • Dan apabila terdapat 2 titik x1, x2 dalam decision hyperplane, maka persamaan dari decision hyperplane
• Algoritma Perceptron
  • mengasumsikan persamaan hyperplane dengan mendefinisikan seperti berikut? w*T x = 0. Pada class-class Linearly Separable diasumsiklan bahwa setiap vektor w (w*)
    dimana Apabila w*T x > 0 maka x merupaka elemen dari class ω1, dan , Apabila w*T x < 0 maka x merupaka elemen dari class ω2.
  • Dari hasil penjelasan persamaan tersebut? di atas, ternyata persamaan tersebut juga mengcover permasalahan dari hyperplane not crossing the origin, yaitu w*T x + w*0 = 0, dimana ketika persamaan tersebut dimasukkan ke persamaan? sebelumnya yaitu w*T x = 0 dengan mendefinisikan secara jelas? (l + 1)-dimensi ruang vektornya.
• Langkah-langkah dasar yang digunakan untuk membuktikan persamaan di? atas diantaranya adalah sebagai berikut :
  • Mendefinisikan fungsi cost menjadi minimal.
  • Memilih algoritma untuk meminimalkan fungsi cost.
  • Nilai minimal untuk sebuah solusi
• Least Squares Methods merupakan salah satu metode yang digunakan dalam Linear Classifier. Metode Least Square ini digunakan pada kondisi tertentu. Kondisi tersebut adalah :
  • Jika class-class adalah linearly separable, hasil keluaran? perceptron + 1.
  • Jika class-class adalah BUKAN linearly separable, kita menghitung weights w1,w2,…,w0.
• Multi-class generalization adalah salah satu cara yang digunakan untuk mengklasifikasikan dengan benar semua vektor fitur dari kelas yang tersedia. Perlu diketahui bahwa klasifikasi linear ini adalah prinsip dasar dari Support Vector Machine. Maka, untuk generalisasi kelas-kelas yang berjumlah lebih dari satu, digunakanlah cara ini. Cara ini bertujuan untuk menghtiung fungsi pembeda linier M menurut MSE (Mean Square Error).
• MSE regression ini bertujuan untuk memberikan nilai y dengan estimasi nilai x. Misal, ketika kita diberikan sebuah fitur vektor x, tujuan kita adalah meng-estimasi nilai pada class label y dengan nilai? y = +-1.
• Bias-variance dilemma sering disebut juga bias variance trade-off. Model/bentuk dari bias variance dilemma ini terdiri dari :
  • Sebuah arsitektur
  • Parameter
• Support Vector Machines.
  • Prinsip dasar SVM adalah linear classifier, Berbeda dengan strategi neural network yang berusaha mencari hyperplane pemisah atar class, SVM berusaha menemukan hyperplane terbaik pada input space.
  • Hyperplane pemisah terbaik antara kedua kelas tersebut dapat ditemukan dengan mengukur margin hyperplane tersebut dan mencari titik maksimalnya.
  • Maka, dapat dikatakan bahwa margin adalah jarak antara hyperplane tersebut dengan patter terdekat dari masing-masing kelas. Pattern yang palling dekat ini disebut sebagai support vector.
  • Garis solid menunjukkan hyperplane terbaik, yaitu yang terletak tepat di tengah-tengah kedua kelas, dan titik-titik di dalamnya disebut sebagai support vector. Margin ini akan tepat membagi dua jarak yang sama dari tiap kelas.
• Kelebihan SVM :
  • Generalisasi didefinisikan sebagai kemampuan suatu metode (SVM, neural network, dsb.) untuk mengklasifikasikan suatu pattern, yang tidak termasuk data yang dipakai dalam fase pembelajaran metode itu. Vapnik menjelaskan bahwa generalization error dipengaruhi oleh dua faktor: error terhadap training set, dan satu faktor lagi yang dipengaruhi oleh dimensi VC (Vapnik-Chervokinensis). Adapun SVM selain meminimalkan error pada training-set, juga meminimalkan faktor kedua. Strategi ini disebut Structural Risk Minimization (SRM), dan dalam SVM diwujudkan dengan memilih hyperplane dengan margin terbesar.
  • Curse of dimensionality

Contoh Paper 1

Contoh Paper 2