Prof. Drs. T. Basaruddin, Ph.D.

Video ini membahas penerapan Metode Newton untuk optimisasi nonlinear dengan mencari titik minimum dari fungsi objektif F melalui sistem persamaan nonlinear grad F sama dengan 0. Penggunaan matriks hessian dan gradien diterapkan dalam metode ini, yang memerlukan iterasi untuk menghitung hessian, gradien, dan memperbarui nilai X. Meskipun metode ini efektif, langkah-langkah menghitung hessian dan menyelesaikan sistem persamaan linear dapat menjadi mahal, terutama dalam kasus dengan banyak variabel. Oleh karena itu, untuk persoalan dengan ribuan variabel, alternatif lain mungkin lebih cocok daripada Metode Newton.

Nah, sekarang kalau kita gunakan matrik hessian dan gradien sekaligus,

maka kita akan memanfaatkan ataupun menggunakan teknik yang tadi,

yang kemarin sudah kita pelajari, yang sebelumnya sudah kita pelajari yang kita sebut dengan metode Newton gitu ya.

Jadi, teknik yang pertama adalah metode Newton.

Jadi, kita akan mencari titik minimum dari fungsi objek F

dengan cara mencari solusi dari sistem pertama non-linear grad F sama dengan 0, ya.

Untuk itu, kita akan memanfaatkan hessian sebagai jakobiannya metode Newton,

Jadi, yang pertama, jadi tekniknya adalah kita perlu tebakan awal, 0,

kemudian kita cari hitung gradien F di titik X0, ini vektor gitu ya, ini namakan G gitu ya, G0.

Kemudian yang ketiga, hitung hessian di X0, ini namakan H0, kemudian kita akan selesaikan,

selesaikan HD sama dengan minus G0, dan baru kita update X yang baru, katakanlah X1,

Jadi, ini yang, dan ini kita akan putar, iterate ke sini, iterasi lagi.

Ini yang kita sebut dengan metode Newton untuk mencari solusi optimisasi tak berkendala

Nah, karena ini dengan mudah kita terapkan, sudah ada, kita sudah memiliki fungsi atau code Octave

untuk menyelesaikan sistem persamaan non-linear grad F,

maka tinggal dikasih satu tambahan fungsi baru adalah kalau inputnya adalah fungsi F,

fungsi objektif F dengan variable skalar dan bernilai real,

maka harus ada satu fungsi untuk mengenerate grad F ya.

Nah, kalau grad F-nya sudah dapat, grad F inilah yang akan menjadi input untuk Newton ya.

Jadi, grad, karena kita akan mencari grad F sama dengan 0 sebagai problemnya.

Jadi, kalau Anda ingat di pelajaran sebelumnya tentang metode Newton untuk sistem persamaan non-linear,

inputnya adalah fungsi F besar, F sama dengan 0, Fx sama dengan 0.

Sekarang, kita punya input adalah grad F yang sama dengan 0.

Tapi, input yang sebenarnya adalah fungsi F ini.

Jadi, kita harus buat satu fungsi baru menghitung grad dari F.

Oke, dan konsekuensinya kita sudah tahu juga di mana letak cost atau hotspotnya

Pada langkah ketiga, karena kita harus menghitung hessian.

Kemudian, menyelesaikan sistem persamaan linear HD sama dengan minus grad itu juga akan menjadi mahal.

Jadi, dua langkah ini akan menjadi bagian yang paling mahal dalam eksekusi metode Newton.

It's good atau secara teoritis untuk persoalan yang tidak terlalu besar masih visible untuk diselesaikan.

Tapi, kalau misalnya variabelnya banyak sekali, misalnya dalam konteks aplikasi di machine learning

di mana optimisasinya melibatkan ribuan atau ratusan ribu variabel,

maka metode Newton ini menjadi sama sekali tidak visible.

Jadi, kita akan mencari teknik lain selain dari metode Newton ini.

Nah, karena metode Newtonnya sudah dibahas, saya tidak akan membahas lebih jauh.

Tinggal dimanfaatkan saja teknik penyelesaian sistem persamaan non-linear Newton

untuk mencari solusi dari grad F sama dengan 0.