<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>neural network Archives - Structilmy</title>
	<atom:link href="https://structilmy.com/blog/tag/neural-network/feed/" rel="self" type="application/rss+xml" />
	<link>https://structilmy.com/tag/neural-network/</link>
	<description>Tutorial, Catatan, Dokumentasi</description>
	<lastBuildDate>Mon, 12 May 2025 06:56:49 +0000</lastBuildDate>
	<language>en-US</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.4</generator>

<image>
	<url>https://i0.wp.com/structilmy.com/wp-content/uploads/2019/01/cropped-favs.png?fit=32%2C32&#038;ssl=1</url>
	<title>neural network Archives - Structilmy</title>
	<link>https://structilmy.com/tag/neural-network/</link>
	<width>32</width>
	<height>32</height>
</image> 
<site xmlns="com-wordpress:feed-additions:1">165056026</site>	<item>
		<title>Batch, Epoch, Step. Istilah-istilah pada Gradient Descent</title>
		<link>https://structilmy.com/blog/2021/07/11/batch-epoch-step-istilah-istilah-pada-gradient-descent/</link>
					<comments>https://structilmy.com/blog/2021/07/11/batch-epoch-step-istilah-istilah-pada-gradient-descent/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Sun, 11 Jul 2021 01:57:10 +0000</pubDate>
				<category><![CDATA[Algorithm]]></category>
		<category><![CDATA[Deep Learning]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[neural network]]></category>
		<guid isPermaLink="false">https://structilmy.com/?p=2404</guid>

					<description><![CDATA[Ketiga istilah di atas sering muncul ketika kita sedang belajar atau implementasi model neural network, khususnya ketika membahas Gradient Descent. Batch, epoch, dan step, adalah sebagian istilah yang digunakan menjelaskan proses iterasi di Gradient Descent. Istilah-istilah itu tidak hanya ditemukan di buku teori, tetapi juga di dokumentasi-dokumentasi framework yang akan kita gunakan. Karenanya, sangat penting [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Ketiga istilah di atas sering muncul ketika kita sedang belajar atau implementasi model neural network, khususnya ketika membahas <a href="https://structilmy.com/2020/08/step-by-step-backpropagation-menggunakan-python/">Gradient Descent</a>. Batch, epoch, dan step, adalah sebagian istilah yang digunakan menjelaskan proses iterasi di Gradient Descent. Istilah-istilah itu tidak hanya ditemukan di buku teori, tetapi juga di dokumentasi-dokumentasi framework yang akan kita gunakan. Karenanya, sangat penting untuk bisa membedakannya dengan baik.</p>



<h2 class="wp-block-heading">Gradient Descent</h2>



<p class="wp-block-paragraph"><a href="https://structilmy.com/2019/07/contoh-perhitungan-algoritma-backpropagation/">Gradient descent</a> adalah algoritma optimasi yang digunakan untuk <strong>menemukan parameter yang menghasilkan nilai minimum pada suatu fungsi</strong>. Dalam kasus neural network, Gradient Descent digunakan untuk menemukan bobot model terbaik yang menghasilkan error minimum. Detail perhitungan gradient descent contohnya ada pada p<a href="https://structilmy.com/2019/07/contoh-perhitungan-algoritma-backpropagation/">artikel sebelumnya</a>, sedangkan implementasinya dapat di baca di <a href="https://structilmy.com/2020/08/step-by-step-backpropagation-menggunakan-python/">artikel berikut ini</a>.</p>



<p class="wp-block-paragraph">Secara umum, langkah yang dilakukan untuk mencerdaskan model neural network menggunakan gradient descent adalah sebagai berikut:</p>



<ol class="wp-block-list"><li><span class="has-inline-color has-black-color"></span><span class="has-inline-color has-luminous-vivid-orange-color">Sebuah input<em>-x<sub>i</sub> </em>masuk ke model neural network, lalu menghasilkan output / error <em>E</em><sub><em>i</em></sub></span><span class="has-inline-color has-black-color"> (forward propagation)</span></li><li><span class="has-inline-color has-vivid-purple-color">Gradient descent terhadap output / error <em>E</em> untuk mengupdate nilai bobot model <em>W</em></span> (backward propagation)</li><li>Lakukan kedua langkah di atas terhadap semua data berkali-kali hingga diperolah model terbaik.</li></ol>



<p class="wp-block-paragraph"><sup>Untuk kemudahan penjelasan, poin no. 1 di atas akan kami sebut sebagai <strong><span class="has-inline-color has-luminous-vivid-orange-color">Langkah 1</span></strong> (bold dengan warna orange) dan poin no. 2 akan kami sebut sebagai <strong><span class="has-inline-color has-vivid-purple-color">Langkah 2</span></strong> (bold dengan warna ungu)</sup></p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" fetchpriority="high" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-3.png?resize=514%2C114&#038;ssl=1" alt="" class="wp-image-2422" width="514" height="114" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-3.png?resize=1024%2C229&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-3.png?resize=300%2C67&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-3.png?resize=768%2C172&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-3.png?w=1187&amp;ssl=1 1187w" sizes="(max-width: 514px) 100vw, 514px" /></figure></div>



<p class="wp-block-paragraph">Langkah-langkah di atas masih cukup umum,<strong> <em>Jika ada lebih dari satu data langkahnya seperti apa?</em></strong> Dari sinilah akan muncul istilah-istilah di awal tadi. Misalkan kita memiliki 100 data latih, maka urutan yang dilakukan pada Gradient Descent adalah:</p>



<ol class="wp-block-list"><li>Lakukan <span class="has-inline-color has-luminous-vivid-orange-color"><strong>Langkah 1</strong></span> untuk setiap data (dari data latih ke 1 hingga 100), sehingga diperoleh 100 nilai eror <em>E<sub>i</sub></em></li><li>Dari 100 nilai error itu, kita hitung rata-ratanya untuk memperoleh sebuah nilai error <em>E </em></li><li>Lakukan <span class="has-inline-color has-vivid-purple-color"><strong>Langkah 2</strong></span> menggunakan <em>E</em> untuk mengupdate <em>W</em> (hanya 1x)</li></ol>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-2.png?resize=634%2C289&#038;ssl=1" alt="" class="wp-image-2421" width="634" height="289" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-2.png?resize=1024%2C467&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-2.png?resize=300%2C137&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-2.png?resize=768%2C351&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-2.png?resize=1536%2C701&amp;ssl=1 1536w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-2.png?w=1619&amp;ssl=1 1619w" sizes="(max-width: 634px) 100vw, 634px" /></figure></div>



<p class="wp-block-paragraph">Langkah diatas terjadi dalam satu epoch. Untuk mendapatkan model yang baik kita perlu mengulangi langkah di atas lebih dari satu kali (beberapa epoch).</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p><strong><span style="text-decoration: underline;">Definisi sebuah Epoch</span></strong>, adalah ketika kita telah menggunakan semua data latih pada proses pelatihan<span class="has-inline-color has-luminous-vivid-orange-color"></span>. Pada contoh di atas, kita sudah melalui sebuah epoch karena kita telah menggunakan 100 data latih yang kita miliki.</p><p>Pada contoh tersebut sebuah epoch terdiri dari 100 kali <span class="has-inline-color has-luminous-vivid-orange-color"><strong>Langkah 1</strong></span> dan 1 kali<span class="has-inline-color has-vivid-purple-color"> <strong>Langkah 2</strong></span>.</p></blockquote>



<span id="more-2404"></span>



<h2 class="wp-block-heading">Stochastic Gradient Descent </h2>



<p class="wp-block-paragraph">Ketika data latih yang kita miliki cukup besar, proses pelatihan menggunakan Gradient Descent bisa memakan waktu yang sangat lama. Jika diperhatikan, pada satu epoch hanya terjadi satu kali proses perbaikan model (<span class="has-inline-color has-vivid-purple-color"><strong>Langkah 2</strong></span>) dan itu pun menggunakan rata-rata error semua data. Bayangkan jika ada 1,000,000 data, maka rata-rata errornya hanya akan memberi<strong> sedikit informasi </strong>untuk perbaikan model. Sehingga butuh jumlah epoch yang sangat besar untuk bisa melatih modelnya.</p>



<p class="wp-block-paragraph">Pada Stochastic Gradient Descent (SGD), rumus perhitungannya tetap sama dengan Gradient Descent, yang membedakan adalah kapan <span class="has-inline-color has-vivid-purple-color"><strong>Langkah 2</strong></span> atau langkah perbaikan bobot model dilakukan. Pada SGD, <strong><span class="has-inline-color has-vivid-purple-color">Langkah 2</span></strong> tidak dilakukan hanya sekali tiap epoch setelah memproses semua data, melainkan <strong>dilakukan setiap satu atau sejumlah data</strong>.</p>



<p class="wp-block-paragraph">Misalnya kita memiliki 100 data latih, dan <strong>untuk setiap satu data</strong> dilakukan update bobot, maka ilustrasinya seperti di bawah ini. Satu data masuk, dihitung errornya, lalu dengan error tersebut model akan langsung d-update bobotnya.</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-5.png?resize=668%2C326&#038;ssl=1" alt="" class="wp-image-2424" width="668" height="326" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-5.png?resize=1024%2C500&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-5.png?resize=300%2C146&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-5.png?resize=768%2C375&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-5.png?resize=1536%2C750&amp;ssl=1 1536w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-5.png?w=1618&amp;ssl=1 1618w" sizes="(max-width: 668px) 100vw, 668px" /></figure></div>



<p class="wp-block-paragraph">Dan berikut ini ilustrasi jika dilakukan <strong>untuk setiap lima data</strong>. Untuk setiap lima data, dihitung rata-rata errornya, lalu menggunakan rata-rata error tersebut diupdate modelnya. Diulangi lagi untuk setiap lima data hingga data terakhir.</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-4.png?resize=736%2C376&#038;ssl=1" alt="Mini Batch SGD Illustration" class="wp-image-2423" width="736" height="376" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-4.png?resize=1024%2C524&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-4.png?resize=300%2C153&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-4.png?resize=768%2C393&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-4.png?resize=1536%2C785&amp;ssl=1 1536w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/07/image-4.png?w=1645&amp;ssl=1 1645w" sizes="auto, (max-width: 736px) 100vw, 736px" /></figure></div>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p><strong><span style="text-decoration: underline;">Definisi Batch</span></strong>, adalah sejumlah data atau subset data yang diproses menggunakan <span class="has-inline-color has-luminous-vivid-orange-color"><strong>Langkah 1</strong></span> sebelum akhirnya model diupdate menggunakan <strong><span class="has-inline-color has-vivid-purple-color">Langkah 2</span></strong>.</p><p><strong><span style="text-decoration: underline;">Batch Size</span></strong> adalah banyaknya data pada sebuah batch. Pada contoh di-atas diilustrasikan SGD dengan <strong>batch size bernilai 1</strong> dan <strong>batch size bernilai 5</strong>.</p></blockquote>



<p class="wp-block-paragraph">Dari ilustrasi di atas tampak jumlah <span class="has-inline-color has-vivid-purple-color"><strong>Langkah 2</strong></span> yang terjadi pada sebuah epoch menjadi berbeda: Pada ilustrasi SGD dengan batch size 1, <span class="has-inline-color has-vivid-purple-color"><strong>Langkah 2</strong></span> dilakukan setiap 1 data sehingga untuk satu epoch terjadi 100 kali <span class="has-inline-color has-vivid-purple-color"><strong>Langkah 2</strong></span>. Sedangkan pada ilustrasi SGD dengan batch size 5, langkah 2 dilakukan setiap 5 data, sehingga untuk 100 data, <span class="has-inline-color has-vivid-purple-color"><strong>Langkah 2</strong></span> dilakukan sebanyak 100/5  = 20 kali.</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p><strong><span style="text-decoration: underline;">Mini-Batch Gradient Descent</span></strong> adalah jenis SGD dengan batch size lebih dari 1, tetapi bukan keseluruhan data. Seperti contoh di atas, batch size bernilai 5. </p><p><strong><span style="text-decoration: underline;">Definisi Step</span>s</strong> sebenarnya definisi step ini berasal dari framework atau library yang biasanya kita pakai. Jadi silahkan cek kembali untuk memastikan. Tapi pada umumnya, orang-orang menggunakan istilah step untuk menunjukkan berapa kali <strong><span class="has-inline-color has-vivid-purple-color">Langkah 2</span></strong> dilakukan pada sebuah epoch. Misalnya pada contoh di atas, Mini-batch SGD dengan batch size 5 memiliki 20 steps.</p></blockquote>



<p class="wp-block-paragraph">Sebagai penutup, perbedaan jumlah update bobot / backward propagation / <strong><span class="has-inline-color has-vivid-purple-color">Langkah 2</span></strong> untuk setiap epoch sangat mempengarui proses pelatihan. Analoginya seperti kita sedang tanya alamat rumah di tengah kota, lalu kita menerima jawaban seperti ini:</p>



<ul class="wp-block-list"><li>Gradient Descent = &#8220;Rumahnya di Kota bagian Selatan&#8221; (jawaban terlalu umum)</li><li>Stochastic Gradient Descent = &#8220;Belok kiri di tikungan depan&#8221; (informasi detail tapi bisa jadi terlalu sedikit)</li><li>Mini-batch Gradient Descent = &#8220;Ke arah Timur dulu sampai ketemu masjid&#8221; (informasi pertengahan)</li></ul>



<h2 class="wp-block-heading">Penutup</h2>



<p class="wp-block-paragraph">Sebagai penutup, saya mau kasih pertanyaan untuk menguji pemahaman <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f600.png" alt="😀" class="wp-smiley" style="height: 1em; max-height: 1em;" /> Jika saya memiliki dataset berupa 500 sample citra, lalu saya latih menggunakan batch berukuran 5, selama 100 epoch, berapa banyak step yang terjadi selama pelatihan?</p>



<p class="wp-block-paragraph">Sekian, semoga bermanfaat!</p>



<hr class="wp-block-separator"/>



<p class="wp-block-paragraph"><sup>Photo by <a href="https://unsplash.com/@andreicastanha?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Andrei Castanha</a> on <a href="https://unsplash.com/s/photos/downhill?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></sup></p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2021/07/11/batch-epoch-step-istilah-istilah-pada-gradient-descent/feed/</wfw:commentRss>
			<slash:comments>2</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2404</post-id>	</item>
		<item>
		<title>Siamese Network: Neural network untuk menguji kemiripan</title>
		<link>https://structilmy.com/blog/2021/06/29/siamese-network-neural-network-untuk-menguji-kemiripan/</link>
					<comments>https://structilmy.com/blog/2021/06/29/siamese-network-neural-network-untuk-menguji-kemiripan/#respond</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Tue, 29 Jun 2021 02:28:45 +0000</pubDate>
				<category><![CDATA[Artificial Intelligence]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[neural network]]></category>
		<category><![CDATA[pytorch]]></category>
		<guid isPermaLink="false">https://structilmy.com/?p=2345</guid>

					<description><![CDATA[Bayangkan kita diminta membuat model machine learning yang akan digunakan untuk presensi mahasiswa menggunakan foto wajah. Universitas yang meminta dibuatkan model tersebut memiliki 10,000 mahasiswa. Jika kita mengasumsikan ini adalah permasalahan klasifikasi, apakah itu berarti ini adalah klasifikasi citra dengan jumlah kelas 10,000? Itu jauh lebih banyak daripada data benchmark yang biasa digunakan klasifikasi citra, [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Bayangkan kita diminta membuat model machine learning yang akan  digunakan untuk presensi mahasiswa menggunakan foto wajah. Universitas yang meminta dibuatkan model tersebut memiliki 10,000 mahasiswa. Jika kita mengasumsikan ini adalah permasalahan klasifikasi, apakah itu berarti ini adalah <strong>klasifikasi citra dengan jumlah kelas 10,000?</strong></p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-3.png?resize=438%2C193&#038;ssl=1" alt="" class="wp-image-2379" width="438" height="193" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-3.png?w=831&amp;ssl=1 831w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-3.png?resize=300%2C132&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-3.png?resize=768%2C338&amp;ssl=1 768w" sizes="auto, (max-width: 438px) 100vw, 438px" /><figcaption><sup>Klasifikasi dengan 10,000 class??</sup></figcaption></figure></div>



<p class="wp-block-paragraph">Itu jauh lebih banyak daripada data benchmark yang biasa digunakan klasifikasi citra, <a href="https://www.image-net.org/" target="_blank" rel="noreferrer noopener nofollow">Imagenet</a>, yang hanya 1000 kelas! Selain itu, tidak mudah juga untuk mendapatkan data per kelasnya. Apakah setiap mahasiswa harus difoto ratusan kali agar dapat data latih yang representatif? lalu bagaimana jika ada mahasiswa baru? nah, di sinilah Siamese Network bisa jadi salah satu solusinya.</p>



<h2 class="wp-block-heading">Siamese Network</h2>



<p class="wp-block-paragraph">Siamese network adalah jenis arsitektur neural network di mana <strong>menerima dua input</strong>, yang masing-masingnya masuk ke subnetwork <strong>yang sama</strong> lalu <strong>digabungkan </strong>untuk dihitung kemiripan antara dua input tersebut.</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image.png?resize=463%2C203&#038;ssl=1" alt="Siamese network" class="wp-image-2351" width="463" height="203" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image.png?resize=1024%2C451&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image.png?resize=300%2C132&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image.png?resize=768%2C338&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image.png?w=1094&amp;ssl=1 1094w" sizes="auto, (max-width: 463px) 100vw, 463px" /><figcaption><sup>Siamese Network untuk identifikasi wajah</sup></figcaption></figure></div>



<p class="wp-block-paragraph">Siamese network digunakan untuk menghitung kemiripan dua data. Kemiripan antara dua data di sini tergantung pada kasusnya, misal kemiripan wajah dari orang yang sama namun memiliki dua foto yang berbeda, atau kemiripan gaya berpakaian dari dua orang yang berbeda, dll. Model dilatih dengan menerima input pasangan data, dengan output yang dihasilkan bisa berupa biner (sama atau tidak) atau sebuah real value yang merepresentasikan tingkat tingkat kemiripan.</p>



<p class="wp-block-paragraph">Siamese network <strong>tidak menspesifikkan</strong> arsitektur pada bagian subnetwork, asalkan dua arsitektur yang digunakan adalah sama (bentuk dan bobotnya).  Kita bisa memakai konsep ini untuk beragam jenis data. Misalnya kita ingin mengecek kemiripan pertanyaan maka kita bisa menggunakan subnetwork berupa LSTM network, jika ingin mengecek kemiripan foto kita bisa gunakan CNN sebagai subnetworknya. Output dari subnetwork ini adalah vektor, dengan ukuran bebas (sebagai hyperparameter yang kita tentukan sendiri)</p>



<p class="wp-block-paragraph">Ada banyak metode yang bisa dilakukan di bagian penggabungan (Merge) hasil dari dua subnetwork. Beberapa yang pernah saya tahu:</p>



<ul class="wp-block-list"><li>Hitung selisih absolut antar vektor output subnetwork lalu masukkan vektor selisihnya ke sebuah neural net, </li><li>Concat atau gabungkan kedua output lalu masukkan vektor gabungannya ke sebuah neural net, </li></ul>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-4.png?resize=738%2C188&#038;ssl=1" alt="" class="wp-image-2391" width="738" height="188" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-4.png?resize=1024%2C261&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-4.png?resize=300%2C76&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-4.png?resize=768%2C195&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-4.png?resize=1536%2C391&amp;ssl=1 1536w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-4.png?w=1863&amp;ssl=1 1863w" sizes="auto, (max-width: 738px) 100vw, 738px" /></figure></div>



<span id="more-2345"></span>



<h2 class="wp-block-heading">Contoh Kasus </h2>



<p class="wp-block-paragraph">Siamese network cocok digunakan jika dataset memiliki banyak sekali class, tapi sampel tiap class sangat sedikit. Misalnya jika kita akan membuat sistem verifikasi wajah untuk presensi.</p>



<p class="wp-block-paragraph">Langkah pertama yang perlu kita lakukan adalah dengan membuat pasangan-pasangan dari data yang kita miliki. Sebagai ilustrasi anggap kita memiliki foto wajah 5 orang {A, B, C, D, E} dan masing-masing orang memiliki 3 foto {A1, A2, A3, B1, B2, &#8230;, E3} maka kita bisa buat pasangan seperti di bawah, dan memberi label &#8220;1&#8221; untuk yang artinya kedua foto menunjukkan orang yang sama, dan &#8220;0&#8221; untuk sebaliknya.</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-7.png?resize=549%2C206&#038;ssl=1" alt="" class="wp-image-2394" width="549" height="206" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-7.png?resize=1024%2C386&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-7.png?resize=300%2C113&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-7.png?resize=768%2C289&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-7.png?w=1197&amp;ssl=1 1197w" sizes="auto, (max-width: 549px) 100vw, 549px" /><figcaption><sup>Setiap sample di dataset terdiri dari dua citra wajah, lalu label bernilai 1 jika itu foto orang yang sama, dan 0 jika sebaliknya</sup></figcaption></figure></div>



<p class="wp-block-paragraph">Setelah itu model dilatih dengan data tersebut. Inputnya adalah sepasang foto dan outputnya akan diukur menggunakan label yang ada. </p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-8.png?resize=614%2C250&#038;ssl=1" alt="" class="wp-image-2395" width="614" height="250" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-8.png?resize=1024%2C417&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-8.png?resize=300%2C122&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-8.png?resize=768%2C313&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-8.png?resize=1536%2C626&amp;ssl=1 1536w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/06/image-8.png?w=1650&amp;ssl=1 1650w" sizes="auto, (max-width: 614px) 100vw, 614px" /></figure></div>



<p class="wp-block-paragraph">Setelah model terlatih, proses verifikasi foto ketika presensi bisa dilakukan dengan mencocokkan sampel yang baru ke foto yang ada di database kita. Jika model memberi output True, maka orang tersebut berhasil teridentifikasi.</p>



<h2 class="wp-block-heading">Implementasi di PyTorch</h2>



<p class="wp-block-paragraph">Implementasi arsitektur Siamese Network di <a href="https://structilmy.com/2020/02/implementasi-jaringan-saraf-tiruan-menggunakan-pytorch/">PyTorch </a>tidak terlalu sulit, tergantung seperti apa subnetwork yang digunakan dan cara penggabungan yang dipilih. </p>



<p class="wp-block-paragraph">Di bawah ini adalah contoh implementasi Class SiameseNetwork di PyTorch yang sederhana dengan linear layer biasa. Proses merge dilakukan dengan menghitung selisih absolut, lalu memasukkan ke neural net sederhana yang memberi output biner (True / False).</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">class SiameseNetwork(nn.Module):
    def __init__(self, h, input_size):
        super(SiameseNetwork, self).__init__()
        self.subnet = nn.Linear(input_size, h)
        self.mergenet = nn.Linear(h, 2)
    
    def forward(self, x1, x2):
        output1 = F.relu(self.subnet(x1))
        output2 = F.relu(self.subnet(x2))
        diff = torch.abs(output1 - output2)
        output = self.mergnet(diff)
        return output</pre>



<h2 class="wp-block-heading">Penutup</h2>



<p class="wp-block-paragraph">Sederhananya konsep siamese network di atas bukan berarti model ini adalah model yang &#8220;selalu sederhana&#8221;. Dalam implementasi ada beberapa hal yang kadang perlu ditambahkan untuk memperbaiki hasil Siamese Network. Salah satunya adalah pemakaian <a href="https://stats.stackexchange.com/questions/485124/why-contrastive-loss-for-siamese-network" target="_blank" rel="noreferrer noopener nofollow">Contrastive Loss</a>. Selain itu, di luar sana juga banyak cara berbeda implementasi proses Merge yang bisa dicoba. Artikel ini hanyalah pengantar Siamese Network.</p>



<p class="wp-block-paragraph">Selamat bereksplorasi, semoga bermanfaat!</p>



<hr class="wp-block-separator"/>



<p class="wp-block-paragraph"><sup>Photo by <a href="https://unsplash.com/@skyler_tv?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Skyler Smith</a> on <a href="https://unsplash.com/s/photos/symmetric?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></sup></p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2021/06/29/siamese-network-neural-network-untuk-menguji-kemiripan/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2345</post-id>	</item>
		<item>
		<title>Istilah penting di Neural Network dan Deep Learning (bagian 2)</title>
		<link>https://structilmy.com/blog/2020/12/26/istilah-penting-di-neural-network-dan-deep-learning-bagian-2/</link>
					<comments>https://structilmy.com/blog/2020/12/26/istilah-penting-di-neural-network-dan-deep-learning-bagian-2/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Sat, 26 Dec 2020 07:53:00 +0000</pubDate>
				<category><![CDATA[Deep Learning]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[neural network]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=2089</guid>

					<description><![CDATA[Artikel ini adalah kelanjutan dari artikel sebelumnya tentang istilah-istilah di neural network ataupun deep learning bagian kedua. Sama seperti artikel sebelumnya, artikel ini bertujuan untuk menjelaskan istilah-istilah penting di neural network. Error vs Akurasi Error dan akurasi adalah 2 metode pengukuran performa model machine learning. Model machine learning pada umumnya akan menggunakan fungsi error (atau [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Artikel ini adalah kelanjutan dari <a href="https://structilmy.com/2020/12/istilah-istilah-di-neural-network-ataupun-deep-learning-bagian-1/">artikel sebelumnya</a> tentang istilah-istilah di neural network ataupun deep learning bagian kedua. Sama seperti artikel sebelumnya, artikel ini bertujuan untuk menjelaskan istilah-istilah penting di neural network.</p>



<h2 class="wp-block-heading">Error vs Akurasi</h2>



<p class="wp-block-paragraph">Error dan akurasi adalah 2 metode pengukuran performa model machine learning. Model machine learning pada umumnya akan menggunakan fungsi error (atau sering disebut juga loss/cost function) sebagai acuan untuk memperbaiki modelnya (a.k.a belajar). Hampir kebanyakan model machine learning termasuk deep learning menggunakan algoritma optimasi untuk <strong>meminimalkan error</strong> yang dihasilkan. Artinya, semakin kecil error yang dihasilkan akan semakin baik.</p>



<figure class="wp-block-image size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/12/5.png?resize=537%2C358&#038;ssl=1" alt="" class="wp-image-2120" width="537" height="358" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/12/5.png?w=432&amp;ssl=1 432w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/12/5.png?resize=300%2C200&amp;ssl=1 300w" sizes="auto, (max-width: 537px) 100vw, 537px" /><figcaption>Pada proses training yang benar, grafik eror akan turun dan grafik akurasi akan naik</figcaption></figure>



<p class="wp-block-paragraph">Sedangkan akurasi adalah pengukuran yang lebih &#8220;mudah&#8221; dipahami manusia. Biasanya akurasi tidak digunakan untuk acuan model belajar melainkan hanya untuk membantu manusia memahami sebaik apa model yang telah dihasilkan. Misalnya jika diketahui ada model yang mampu mendeteksi suatu penyakit dengan akurasi 90%, maka kita langsung bisa paham artinya dalam 100 kali percobaan ada kemungkinan sekitar 10 percobaan akan gagal. Hal tersebut lebih mudah dipahami oleh manusia ketimbang kita bliang: suatu model memiliki error 0.002 ._. Dari definisi tersebut, dapat dilihat semakin tinggi nilai akurasi akan semakin baik.</p>



<p class="wp-block-paragraph">Juga perlu diketahui, ketika kita bilang &#8220;akurasi&#8221;, sebenarnya kita merujuk ke <a href="https://en.wikipedia.org/wiki/Accuracy_and_precision" rel="nofollow">suatu rumus yang spesifik</a>. Sedangkan istilah &#8220;error&#8221; adalah istilah <a href="https://en.wikipedia.org/wiki/Loss_function" target="_blank" rel="noreferrer noopener nofollow">yang lebih lebih umum</a>, rumusnya ada banyak, misalnya log-likelihood. Metode pengukuran lain yang mudah dipahami selain akurasi adalah F1-Score yang biasa digunakan untuk mengevaluasi model dengan data yang classnya tidak seimbang (imbalance)</p>



<p class="wp-block-paragraph">oh ya, saya juga dulu pernah bertanya di AI.SE tentang pemilihan model berdasar <a href="https://ai.stackexchange.com/q/10431/16565" target="_blank" rel="noreferrer noopener">akurasi atau error di sini </a></p>



<span id="more-2089"></span>



<h2 class="wp-block-heading">Hyperparameter Tuning</h2>



<p class="wp-block-paragraph">Pada <a href="https://structilmy.com/2020/12/istilah-istilah-di-neural-network-ataupun-deep-learning-bagian-1/">artikel sebelumnya</a> telah saya singgung makna dari hyperparameter. Hyperparameter tuning adalah proses untuk menemukan nilai hyperparameter. Tujuannya adalah untuk menemukan nilai hyperparameter yang dapat menghasilkan model dengan performa yang paling baik.</p>



<p class="wp-block-paragraph">Contoh yang paling mudah misalnya adalah menentukan nilai dari learning rate pada neural network. Ketika nilai learning rate terlalu kecil, model akan belajar sangat lambat, sedangkan learning rate yang besar bisa berakibat model kesulitan menemukan global optima. Nah, mencari angka yang tepat ini perlu proses eksperimen (baca: coba-coba), proses inilah yang disebut dengan hyperparameter tuning.</p>



<div class="wp-block-image"><figure class="alignright size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/12/3292500.3330701.key.jpg?resize=179%2C201&#038;ssl=1" alt="" class="wp-image-2126" width="179" height="201" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/12/3292500.3330701.key.jpg?w=655&amp;ssl=1 655w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/12/3292500.3330701.key.jpg?resize=267%2C300&amp;ssl=1 267w" sizes="auto, (max-width: 179px) 100vw, 179px" /></figure></div>



<p class="wp-block-paragraph">Dulu jaman saya skripsi-tesisan, proses coba-coba ini paling makan waktu paling banyak <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f641.png" alt="🙁" class="wp-smiley" style="height: 1em; max-height: 1em;" />  Tapi sekarang sudah banyak metode dan framework untuk melakukan hyperparameter tuning secara otomatis (hyperparameter optimization). Salah satunya, Optuna, sudah sempat saya bahas di <a href="https://structilmy.com/2020/06/parameter-tuning-model-secara-otomatis-dengan-optuna/">artikel ini</a>. Optuna akan menemukan nilai hyperparameter terbaik secara otomatis menggunakan pendekatan bayesian.</p>



<h2 class="wp-block-heading">Data Training, Validasi, dan Test</h2>



<p class="wp-block-paragraph">Untuk membedakan tiga jenis data tersebut saya sering menggunakan analogi seorang siswa yang sedang akan menghadapi ujian.</p>



<p class="wp-block-paragraph">Dari sudut pandang siswa, <strong>Data training</strong> adalah soal-soal latihan yang diajarkan di kelas. Bisa dilihat kapanpun untuk belajar, dan ketika kita melakukan kesalahan,  kita bisa langsung lihat jawaban benarnya seperti apa. Tentu saja hanya dengan mengerjakan soal-soal latihan, siswa akan dapat belajar, tetapi kita perlu menguji seberapa paham mahasiswa sebenarnya.</p>



<p class="wp-block-paragraph">Untuk itulah diperlukan <strong>data validasi</strong>, atau jika dianalogikan adalah soal-soal baru yang belum pernah dilihat siswa di kelas dan digunakan bukan untuk fase belajar tapi fase ujian. Data validasi seperti soal-soal ujian di mana mereka tidak bisa melihat jawabannya (sehingga tidak bisa digunakan untuk belajar) tapi hanya bisa lihat nilai ujiannya.</p>



<p class="wp-block-paragraph">Data tes dan data validasi hampir memiliki tujuan yang sama, yakni menguji kecerdasan model (atau siswa kalau di analogi kita). Bedanya, data validasi bisa digunakan berkali-kali, sedangkan <strong>data test</strong> harus dibatasi penggunaannya. Jika kembali ke analogi, maka bisa dibayangkan bahwa data validasi mirip dengan tryout persiapan Ujian Nasional:</p>



<ul class="wp-block-list"><li>Siswa bisa mengambil beberapa kali,</li><li>hanya bisa tahu nilainya (bukan kunci jawabannya) sehingga tidak bisa digunakan untuk belajar, dan</li><li>diharapkan bisa menggambarkan ujian nasional sebenarnya.</li></ul>



<p class="wp-block-paragraph">Sedangkan <strong>data test</strong> adalah ujian nasional sebenarnya, yang dalam analogi tersebut hanya bisa diambil 1x (terbatas). Pada penelitian-penelitian machine learning, biasanya data test hanya digunakan 1x. Angka performa yang dihasilkan ini yang ditampilkan pada laporan akhir. Selain itu, Biasanya data test juga sudah dipisah dari awal, sedangkan untuk data validasi bisa diperoleh dengan melakukan proses cross-validation agar model kita bisa benar-benar merasakan &#8220;try out&#8221; yang menyerupai data test.</p>



<p class="wp-block-paragraph">Dengan menggunakan ketiga data tesrsebut diharapkan kita bisa mendapat model yang berhasil meng-generalisir masalah, tidak mengalami overfitting.</p>



<h2 class="wp-block-heading">Referensi</h2>



<ul class="wp-block-list"><li>https://datascience.stackexchange.com/a/47268/21378 (tentang Train, Validation, Test)</li></ul>



<p class="wp-block-paragraph"></p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2020/12/26/istilah-penting-di-neural-network-dan-deep-learning-bagian-2/feed/</wfw:commentRss>
			<slash:comments>3</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2089</post-id>	</item>
		<item>
		<title>Istilah-Istilah di Neural Network ataupun  Deep Learning (bagian 1)</title>
		<link>https://structilmy.com/blog/2020/12/14/istilah-istilah-di-neural-network-ataupun-deep-learning-bagian-1/</link>
					<comments>https://structilmy.com/blog/2020/12/14/istilah-istilah-di-neural-network-ataupun-deep-learning-bagian-1/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Sun, 13 Dec 2020 17:16:48 +0000</pubDate>
				<category><![CDATA[Deep Learning]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[neural network]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=2078</guid>

					<description><![CDATA[Semester ini saya dapat kesempatan mengajar kelas Deep Learning di Program Studi S1 Informatika UII. Selama mengajari mahasiswa yang mayoritas masih awam dengan Deep Learning, bahkan Neural Network, saya merasakan ternyata banyak sekali istilah-istilah di Neural Network ataupun Deep Learning yang mungkin sulit untuk dipahami. Karenanya, artikel ini saya buat dengan harapan dapat membantu teman-teman [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Semester ini saya dapat kesempatan mengajar kelas Deep Learning di Program Studi S1 Informatika UII. Selama mengajari mahasiswa yang mayoritas masih awam dengan Deep Learning, bahkan Neural Network, saya merasakan ternyata banyak sekali istilah-istilah di Neural Network ataupun Deep Learning yang mungkin sulit untuk dipahami.</p>



<p class="wp-block-paragraph">Karenanya, artikel ini saya buat dengan harapan dapat membantu teman-teman yang sedang belajar <a href="https://structilmy.com/2019/09/sekilas-tentang-jaringan-saraf-tiruan-dan-deep-learning/">Neural Network</a> ataupun Deep Learning untuk memahami istilah-istilah tersebut. Jika ada istilah-istilah yang belum tersampaikan / kurang jelas / malah salah maknanya silakan tulis di komentar ya <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f642.png" alt="🙂" class="wp-smiley" style="height: 1em; max-height: 1em;" /></p>



<h2 class="wp-block-heading">AI vs Machine Learning vs Neural Network  vs Deep Learning</h2>



<p class="wp-block-paragraph">Kalau di kelas, saya menggambarkan diagram venn hubungan keempatnya seperti berikut ini.</p>



<figure class="wp-block-image size-large"><img data-recalc-dims="1" loading="lazy" decoding="async" width="766" height="438" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/11/Screenshot-from-2020-11-22-23-23-59.png?resize=766%2C438&#038;ssl=1" alt="" class="wp-image-2086" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/11/Screenshot-from-2020-11-22-23-23-59.png?w=766&amp;ssl=1 766w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/11/Screenshot-from-2020-11-22-23-23-59.png?resize=300%2C172&amp;ssl=1 300w" sizes="auto, (max-width: 766px) 100vw, 766px" /></figure>



<p class="wp-block-paragraph">John McCarthy, orang pertama yang memunculkan istilah <strong>Artificial Intelligence (AI)</strong> memberi definisi AI adalah &#8220;<em>Science and engineering of making intelligent machines&#8221;</em><sup>1</sup> atau saya sering mendefinisikan sendiri sebagai sekumpulan metode yang digunakan agar komputer dapat meniru atau bahkan melampaui kecerdasan manusia<sup>2</sup>.</p>



<p class="wp-block-paragraph">Nah, <strong>Machine Learning</strong> merupakan salah satu teknik di bidang AI untuk membuat mesin mampu belajar <strong>dari data</strong> tanpa perlu diprogram secara <strong>eksplisit</strong> oleh programmer.</p>



<p class="wp-block-paragraph">Suatu program yang memiliki banyak kondisi if-else (disebut rule-based), dapat meniru kecerdasan manusia (AI), namun bukan termasuk machine learning karena program tidak belajar memahami pola dari data, melainkan dengan ditulis secara eksplisit oleh programmer. Contoh program &#8220;cerdas&#8221; yang tidak belajar dari data adalah pintu yang otomatis bisa buka dan tutup sendiri. Pintu ini diprogram hanya membuka jika sensornya aktif dan menutup dalam waktu tertentu. Kita bisa saja pura-pura mendekati pintu, dan pintu akan terbuka karena dia hanya diberikan aturan sederhana tadi.</p>



<p class="wp-block-paragraph"><strong>Neural Network (NN) </strong>adalah salah satu algoritma machine learning. NN mencerdaskan mesin dengan membangun model matematika yang (berusaha) meniru bagaimana sel saraf bekerja. Pada NN bagian-bagian kecil (sel saraf) dirangkai untuk menciptakan arsitektur jaringan saraf yang sesuai untuk suatu masalah.</p>



<span id="more-2078"></span>



<p class="wp-block-paragraph"><strong>Deep Learning</strong> adalah salah satu metode machine learning yang menggunakan neural network dengan arsitektur yang kompleks. Ke-kompleks-an tersebut ditujukan agar mesin mampu belajar lebih baik dengan unsur campur tangan manusia yang seminimal mungkin (<em>end-to-end learning</em>). Misalnya,  mesin yang menggunakan deep learning, mampu memahami konsep garis, bentuk, tekstur, dan juga pengaruhnya hanya dengan melihat data-data citra tanpa bantuan / informasi tambahan dari manusia.</p>



<p class="wp-block-paragraph">Pendapat di atas adalah salah satu pendapat populer. Beberapa orang, contohnya <a href="http://pages.stat.wisc.edu/~sraschka/teaching/" target="_blank" rel="noreferrer noopener">Sebastian Raschka,</a> penulis buku Python Machine Learning, menggunakan diagram yang sedikit berbeda untuk menjelaskan hubungan istilah-istilah tersebut. Untuk penjelasan lebih lanjut, silakan cek websitenya.</p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/11/Screenshot-from-2020-11-22-23-30-39.png?resize=618%2C420&#038;ssl=1" alt="" class="wp-image-2087" width="618" height="420" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/11/Screenshot-from-2020-11-22-23-30-39.png?w=816&amp;ssl=1 816w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/11/Screenshot-from-2020-11-22-23-30-39.png?resize=300%2C204&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/11/Screenshot-from-2020-11-22-23-30-39.png?resize=768%2C522&amp;ssl=1 768w" sizes="auto, (max-width: 618px) 100vw, 618px" /></figure>
</div>


<h2 class="wp-block-heading">Multi Layer Perceptron</h2>



<p class="wp-block-paragraph">Istilah multi layer perceptron (MLP) memang sering digunakan dengan pemaknaan yang berbeda-beda. Kebanyakan orang menggunakan istilah MLP untuk arsitektur neural network yang sederhana (istilah lainnya adalah Vanilla Neural Network), di mana layer-layernya saling terhubung (jadi kadang juga disebut fully-connected) dan tidak memiliki banyak layer (seperti deep neural network). Pada definisi ini, <strong>perceptron </strong>adalah unit pehitungan sederhana yang terjadi pada neuron-neuron (buletan-buletan di ilustrasi). Detail perhitungannya bisa cek di <a href="https://structilmy.com/2019/09/sekilas-tentang-jaringan-saraf-tiruan-dan-deep-learning/">artikel yang lain</a>.</p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2019/08/mlp.png?resize=247%2C214" alt="" class="wp-image-1389" width="247" height="214" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2019/08/mlp.png?w=511&amp;ssl=1 511w, https://i0.wp.com/structilmy.com/wp-content/uploads/2019/08/mlp.png?resize=300%2C259&amp;ssl=1 300w" sizes="auto, (max-width: 247px) 100vw, 247px" /></figure>
</div>


<p class="wp-block-paragraph">Namun, istilah perceptron awalnya digunakan untuk jenis perhitungan yang lebih spesifik. Jadi begini, kita tahu pada neural network sederhana, proses perhitungan yang terjadi pada sebuah neuron, bisa disederhanakan menjadi 2 bagian:</p>



<ol class="wp-block-list">
<li>Perkalian input dengan bobot, lalu dijumlahkan</li>



<li>Fungsi aktivasi</li>
</ol>



<p class="wp-block-paragraph">Nah, berdasarkan sejarahnya istilah perceptron digunakan ketika fungsi aktivasi pada perhitungan tersebut menggunakan fungsi aktivasi yang berjenis treshold, seperti <a href="https://en.wikipedia.org/wiki/Heaviside_step_function">step function</a>. Ini yang saya maksud dengan &#8220;lebih spesifik&#8221;. Karena kalau berdasarkan definisi ini, neural network yang menggunakan fungsi aktivasi Sigmoid atau ReLU yang populer sekarang bukanlah multi layer perceptron.</p>



<h2 class="wp-block-heading">Backpropagation atau Gradient Descent?</h2>



<p class="wp-block-paragraph">Backpropagation adalah sebuah proses, sedangkan Gradient Descent adalah algoritma optimasi. Backpropagation adalah istilah yang digunakan ketika kita menggunakan gradient descent pada neural network.</p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1-1024x534.png?resize=357%2C186" alt="" class="wp-image-1757" width="357" height="186" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?resize=1024%2C534&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?resize=300%2C156&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?resize=768%2C400&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?w=1308&amp;ssl=1 1308w" sizes="auto, (max-width: 357px) 100vw, 357px" /></figure>
</div>


<p class="wp-block-paragraph">Gradient descent merupakan algoritma optimasi yang digunakan untuk mencari nilai minimal suatu <a href="https://machinelearningmastery.com/gradient-descent-for-machine-learning/" target="_blank" rel="noreferrer noopener">fungsi berdasarkan turunan pertama fungsi tersebut</a>. Proses menghitung turunan oleh gradient descent dapat menciptakan <a href="https://www.khanacademy.org/math/ap-calculus-ab/ab-differentiation-2-new/ab-3-1a/v/chain-rule-introduction" target="_blank" rel="noreferrer noopener">chain rule</a>. Nah, chain rule di neural network seakan-akan menunjukkan pergerakan ke arah layer input (bergerak mundur), hal tersebut memunculkan istilah backward propagation. Cek <a href="https://structilmy.com/2019/07/contoh-perhitungan-algoritma-backpropagation/">detail backpropagation</a> di <a href="https://structilmy.com/2020/08/step-by-step-backpropagation-menggunakan-python/">artikel kami yang lain</a>.</p>



<h2 class="wp-block-heading">Beda Hyperparameter dengan Parameter</h2>



<p class="wp-block-paragraph">Pada neural network, parameter adalah nilai-nilai yang menentukan performa model. Hyperparameter adalah parameter-parameter yang nilainya <strong>tidak berubah</strong> selama proses pelatihan dan ditentukan di awal proses.</p>



<p class="wp-block-paragraph">Dari penjelasan tersebut, tampak istilah &#8220;parameter&#8221; ini bisa dibilang lebih umum dibanding hyperparameter. Namun, ketika dipakai bersamaan, istilah &#8220;parameter&#8221; bisa jadi dimaksudkan untuk &#8220;lawan&#8221; dari hyperparameter, yakni nilai-nilai yang <strong>akan berubah</strong> selama proses pelatihan.</p>



<p class="wp-block-paragraph">Berdasarkan pengertian kedua, maka bisa saya beri contoh dari hyperparameter adalah:</p>



<ul class="wp-block-list">
<li>banyak neuron pada suatu layer,</li>



<li>banyak iterasi, </li>



<li>besaran learing rate.</li>
</ul>



<p class="wp-block-paragraph">Sedangkan contoh parameter adalah bobot dari neural network.</p>



<h2 class="wp-block-heading">Referensi</h2>



<ol class="wp-block-list">
<li>https://www.sciencedaily.com/terms/artificial_intelligence.htm </li>



<li>https://www.qualcomm.com/products/artificial-intelligence/what-is-ai-faq </li>



<li>https://datascience.stackexchange.com/questions/14187/what-is-the-difference-between-model-hyperparameters-and-model-parameters</li>



<li>https://stackoverflow.com/questions/37953585/what-is-the-difference-between-sgd-and-back-propagation</li>



<li>https://en.wikipedia.org/wiki/Multilayer_perceptron#Terminology</li>
</ol>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2020/12/14/istilah-istilah-di-neural-network-ataupun-deep-learning-bagian-1/feed/</wfw:commentRss>
			<slash:comments>5</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2078</post-id>	</item>
		<item>
		<title>Parameter Tuning Model Secara Otomatis dengan Optuna</title>
		<link>https://structilmy.com/blog/2020/06/25/parameter-tuning-model-secara-otomatis-dengan-optuna/</link>
					<comments>https://structilmy.com/blog/2020/06/25/parameter-tuning-model-secara-otomatis-dengan-optuna/#respond</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Thu, 25 Jun 2020 15:21:02 +0000</pubDate>
				<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[Tutorial]]></category>
		<category><![CDATA[neural network]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=1658</guid>

					<description><![CDATA[Apa itu Tuning Parameter Ketika kita membuat model machine learning, kita tidak akan terlepas dengan yang namanya parameter tuning, yakni proses menentukan nilai parameter-parameter model ktia. Hampir semua model machine learning punya beberapa parameter (atau variabel) yang harus kita definisikan terlebih dahulu nilainya sebelum proses training. Nilai yang kita berikan pada parameter-parameter tersebut nantinya akan [&#8230;]]]></description>
										<content:encoded><![CDATA[
<h2 class="wp-block-heading">Apa itu Tuning Parameter</h2>



<p class="wp-block-paragraph">Ketika kita membuat model machine learning, kita tidak akan terlepas dengan yang namanya parameter tuning, yakni proses menentukan nilai parameter-parameter model ktia. Hampir semua model machine learning punya beberapa parameter (atau variabel) yang harus kita definisikan terlebih dahulu nilainya sebelum proses training. Nilai yang kita berikan pada parameter-parameter tersebut nantinya akan menentukan proses pelatihan model kita.</p>



<p class="wp-block-paragraph">Sebagai contoh di <a rel="noreferrer noopener" href="https://structilmy.com/2019/09/sekilas-tentang-jaringan-saraf-tiruan-dan-deep-learning/" target="_blank">neural network</a>, kita harus menentukan parameter-parameter arsitektur kita, yang bisa meliputi: banyak hidden layer, banyak neuron di setiap layer, jenis fungsi aktivasi dan lain-lain. Penentuan angka-angka tersebut akan menentukan kualitas model kita. Misalkan, untuk tiga parameter yang disebutkan tadi kita menggunakan neural network dengan 2 layer, masing-masingnya 100 neuron, dan menggunakan fungsi aktivasi sigmoid. Itu berarti kita telah memilih nilai untuk tiga parameter yang disebutkan di atas dari <strong>banyak kemungkinan nilai</strong>. kenapa kok tidak 1 layer? atau 3 layer? kenapa tidak 50 neuron? atau 10 neuron? kenapa tidak pakai fungsi aktivasi lain? dan sebagainya.</p>



<p class="wp-block-paragraph">Tentu pemilihan parameter harusnya memiliki suatu &#8220;dasar&#8221;. Biasanya parameter-parameter tersebut dipilih setelah melalui beberapa eksperimen dan merupakan parameter yang menghasilkan model terbaik untuk kasus yang digunakan.</p>



<h2 class="wp-block-heading">Parameter Tuning model Neural Network</h2>



<p class="wp-block-paragraph">Pada contoh ini kita akan coba membuat model neural network sekaligus melakukan parameter tuning untuk kasus binary classification menggunakan data <a href="https://archive.ics.uci.edu/ml/datasets/Connectionist+Bench+(Sonar,+Mines+vs.+Rocks)">Sonar</a>. Data tersebut berisikan ~200 pola sinyal sonar yang mendeteksi antara batu (kode &#8220;R&#8221;) atau besi (kode &#8220;M&#8221;). Dataset yang telah di-<em>split</em> dapat <a href="https://drive.google.com/drive/folders/1ew0fyQHje-q_QrM8seAd2DVWoTf8_Dlc?usp=sharing">didownload di sini</a>, contoh code dapat dilihat <a href="https://colab.research.google.com/drive/1sAyAEWJtTpFRSXrb3UBAOuj-hVlLypnh?usp=sharing">di Google Colab di sini</a></p>



<p class="wp-block-paragraph">Langkah pertama, kita perlu load package dan dataset lalu ubah kode kelas &#8220;R&#8221;/&#8221;M&#8221; menjadi 1 dan 0.</p>



<span id="more-1658"></span>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">import pandas as pd
import numpy as np
from sklearn.neural_network import MLPClassifier
np.random.seed(11)

# load dataset and convert to numpy
train_df = pd.read_csv("sonar-train.csv").values
test_df = pd.read_csv("sonar-test.csv").values

# separate features
x_train = np.asarray(train_df[:,:-1], dtype="float32")
x_test = np.asarray(test_df[:,:-1], dtype="float32")

# separate labels and convert the value
y_train = [ 1 if label=="R" else 0 for label in train_df[:,-1] ]
y_test = [ 1 if label=="R" else 0 for label in test_df[:,-1] ]</pre>



<p class="wp-block-paragraph">Setelah data siap, kita akan mencoba menggunakan package scikit-learn MLPClassifier untuk membuat model neural network. Package ini sebelumnya pernah <a href="https://structilmy.com/2019/08/implementasi-jaringan-saraf-tiruan-dalam-4-baris-kode/">dibahas di artikel ini</a>.</p>



<h2 class="wp-block-heading">Manual Tuning</h2>



<p class="wp-block-paragraph">Kita siapkan model kita menggunakan perintah di bawah. </p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">clf = MLPClassifier(random_state=11)</pre>



<p class="wp-block-paragraph">Jika diperhatikan model yang kita buat tidak menggunakan parameter apapun kecuali random_seed (yang digunakan untuk menstabilkan nilai random). Artinya model MLPClassifier yang kita buat menggunakan default parameter dari scikit-learn. Default parameter dapat dilihat di dokumentasi scikit-learn:</p>



<figure class="wp-block-image size-large"><img data-recalc-dims="1" loading="lazy" decoding="async" width="946" height="130" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/06/Screenshot-from-2020-06-22-08-35-33.png?resize=946%2C130&#038;ssl=1" alt="" class="wp-image-1662" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/06/Screenshot-from-2020-06-22-08-35-33.png?w=946&amp;ssl=1 946w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/06/Screenshot-from-2020-06-22-08-35-33.png?resize=300%2C41&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/06/Screenshot-from-2020-06-22-08-35-33.png?resize=768%2C106&amp;ssl=1 768w" sizes="auto, (max-width: 946px) 100vw, 946px" /></figure>



<p class="wp-block-paragraph">Dari gambar di atas, tampak ada banyak parameter yang bisa kita atur aslinya dari package MLPClassifier. Untuk nilai default tampak beberapa di antaranya adalah:</p>



<ol class="wp-block-list"><li>1 hidden layer dengan 100 neuron</li><li>fungsi aktivasi yang digunakan ReLU</li><li>algoritma optimizernya Adam</li><li>learning rate awal sebesar 0.001</li><li>banyak iterasi maksimal adalah 200</li><li><code>n_iter_no_change</code> = 10, yang artinya jika dalam 10 iterasi tidak ada peningkatan kualitas model maka proses pelatihan dihentikan</li></ol>



<p class="wp-block-paragraph">Setelah model siap, proses selanjutnya kita akan train model tersebut dengan data train lalu hitung akurasi model ke data test.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">clf.fit(x_train, y_train)
print("accuracy",clf.score(x_test, y_test))</pre>



<p class="wp-block-paragraph">Hasilnya adalah <strong>0.67857</strong> atau <strong>67.86%</strong> prediksi sudah benar. Hasil tersebut adalah hasil menggunakan parameter default dari scikit-learn. Jika beberapa parameter diubah nilainya, bisa jadi model akan menghasilkan akurasi yang berbeda pula.</p>



<p class="wp-block-paragraph">Saya sudah sempat coba-coba ganti parameternya (ini yang disebut  manual parameter tuning) untuk menemukan parameter model terbaik, dan parameter yang menghasilkan model terbaik setelah dicoba-coba adalah:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">clf = MLPClassifier(random_state=11, hidden_layer_sizes=(100),
    max_iter=100, learning_rate_init=0.0001)
clf.fit(x_train, y_train)
print("accuracy",clf.score(x_test, y_test))</pre>



<p class="wp-block-paragraph">Hasilnya adalah<strong> 0.78571</strong> atau <strong>78.57%</strong> prediksi sudah benar.</p>



<p class="wp-block-paragraph">Dapat terlihat, penentuan parameter yang baik dapat menghasilkan model yang baik. Sayangnya, proses pencarian parameter itu bisa jadi sangat lama apalagi jika ada banyak parameter yang dapat diubah-ubah pada model kita. Dulu pas zaman lagi skripsi/thesis proses pencarian parameter bisa dibilang makan waktu lebih dari 50% pengerjaan.</p>



<p class="wp-block-paragraph">Bayangkan saja, setiap pengubahan parameter kita perlu melakukan train model lagi, jika satu kali train model makan waktu 60 menit, dan ada 100 kombinasi parameter saja maka total proses training model adalah 100 jam! itu belum termasuk proses training yang salah atau error <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f641.png" alt="🙁" class="wp-smiley" style="height: 1em; max-height: 1em;" /> dan masih ada salah satu masalah lain dalam manual parameter tuning, yakni <strong>menentukan parameter yang mana yang perlu diubah dan diubah menjadi nilai berapa</strong>.</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p><strong>Catatan</strong>: Ini alasan saya menyarankan untuk memahami algoritma atau matematika dari model yang akan digunakan. Sehingga kita dapat mendapatkan &#8220;intuisi&#8221; parameter mana yang perlu diperbaiki dan berapa nilai yang seharusnya diberi.</p></blockquote>



<h2 class="wp-block-heading">Optuna</h2>



<p class="wp-block-paragraph"><a href="https://optuna.org/">Optuna</a> adalah library yang dapat membantu mengotomatiskan proses parameter tuning. Tidak hanya mengotomasi, Optuna memiliki algoritma pencarian yang baik sehingga proses pencarian menjadi lebih efektif. </p>



<p class="wp-block-paragraph">Secara umum proses pemakaiannya cukup sederhana.  Bisa dirangkum menjadi 4 tahap:</p>



<ol class="wp-block-list"><li>Kita tentukan parameter mana yang akan dicari nilainya</li><li>Optuna akan &#8220;meng-generate&#8221; nilai setiap parameternya</li><li>Kita tentukan fungsi evaluasi yang mengukur seberapa baik model dengan parameter yang telah digenerate. Optuna akan berusaha meminimalkan (atau memaksimalkan) nilai yang dihasilkan fungsi evaluasi ini.</li><li>jalankan proses pencarian dengan menentukan batasan kapan pencarian berhenti.</li></ol>



<p class="wp-block-paragraph">Sebagai contoh sederhana yang ada di web Optuna kita akan mencoba menggunakan Optuna menemukan nilai x sehingga fungsi $f(x)=(x-2)^2$ menghasilkan nilai minimal.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">import optuna

def objective(trial):
    x = trial.suggest_uniform('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study()
study.optimize(objective, n_trials=100)
study.best_params # E.g. {'x': 2.002108042}</pre>



<p class="wp-block-paragraph">Pada contoh di atas, terdapat fungsi `objective(trial)` yang merupakan fungsi utama pencarian parameter. Di dalam fungsi tersebut,  kita definisikan parameter yang ingin dicari adalah &#8220;x&#8221; dan nilainya diperkirakan adalah bilangan pecahan  di antara -10.0 sampai 10.0. Proses tersebut dilakukan menggunakan fungsi bawaan Optuna <code>suggest_uniform</code>. Optuna <a href="https://optuna.readthedocs.io/en/latest/tutorial/configurations.html#defining-parameter-spaces">menyediakan beragam fungsi</a> <code>suggest_*</code> yang dapat digunakan untuk menentukan/memilih suatu nilai pada  rentangan (space) pencarian tertentu. Dengan fungsi tersebut, Optuna akan meng-generate nilai parameter &#8220;x&#8221; yang akan dievaluasi berdasarkan percobaan-percobaan yang telah dilakukan.</p>



<p class="wp-block-paragraph">Nilai yang dikembalikan fungsi <code>objective(trial)</code>, yakni $f(x)$, adalah nilai evaluasi yang mengukur seberapa baik model dengan parameter saat ini. Secara default Optuna dilatih untuk meminimalkan nilai ini.</p>



<p class="wp-block-paragraph">Pada saat menjalankan <code>study.optimize</code>, Optuna akan mulai proses pencarian nilai x dengan rentangan nilai antara -10.0 sampai 10.0 dengan jumlah percobaan sebanyak 100 kali. Setelah selesai pencarian, kita bisa mengecek parameter terbaik menggunakan <code>study.best_params</code>, pada contoh outputnya adalah 2.002. Jika dihitung dari rumusnya langsung, kita juga sebenarnya bisa langsung menebak bahwa nilai x seharusnya adalah 2, karena $f(2) = (2-2)^2 = 0$.</p>



<h2 class="wp-block-heading">Optuna di Scikit Learn</h2>



<p class="wp-block-paragraph">Kita akan coba gunakan Optuna untuk parameter tuning model neural network kita sebelumnya. Pertama-tama kita perlu tentukan terlebih dahulu parameter apa saja yang akan dicari dan berapa rentangan pencarianya:</p>



<figure class="wp-block-table"><table><tbody><tr><td><strong>Deskripsi Parameter</strong></td><td>Kode</td><td><strong>Rentangan</strong></td></tr><tr><td>Banyak layer</td><td><code>layer</code></td><td>[1, 2]</td></tr><tr><td>Banyak neuron di hidden layer 1</td><td><code>h1</code></td><td>[10 &#8230; 500]</td></tr><tr><td>Banyak neuron di hidden layer 2 (jika 2 layer)</td><td><code>h2</code></td><td>[10 … 500]</td></tr><tr><td>Maximum iteration</td><td><code>i</code></td><td>[10 &#8230; 1000]</td></tr><tr><td>Initial learning rate</td><td><code>lr</code></td><td>[0.00001 &#8230; 0.1]</td></tr><tr><td>`n_iter_no_change`</td><td><code>ni</code></td><td>[10 .. 30]</td></tr></tbody></table></figure>



<p class="wp-block-paragraph">Jika tabel itu diterjemahkan ke fungsi objective di Optuna, maka hasilnya sebagai berikut:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">def objective(trial):
    layers = trial.suggest_categorical('layers',[1,2])
    h1 = trial.suggest_int('h1',10,500)
    i = trial.suggest_int('max_i',10,1000)
    lr = trial.suggest_uniform('lr',0.00001,0.1)
    ni = trial.suggest_int('noi',10,30)

    if layers==1:
        clf = MLPClassifier(random_state=11,
                hidden_layer_sizes=(h1),
                max_iter=i, learning_rate_init=lr,
                n_iter_no_change=ni)
    else:
        h2 = trial.suggest_int('h2',10,500)
        clf = MLPClassifier(random_state=11,
                hidden_layer_sizes=(h1,h2),
        max_iter=i, learning_rate_init=lr, n_iter_no_change=ni)
    
    clf.fit(x_train, y_train)

    return clf.score(x_test, y_test)

study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=500)
print(study.best_params)</pre>



<p class="wp-block-paragraph">Pada kode di atas, fungsi objective terlihat sedikit lebih kompleks. Pada 5 baris pertama kita mendefinisikan parameter-parameter yang ingin di tuning beserta dengan rentangan nilainya. Khusus parameter <code>h2</code>, parameter tersebut diletakkan dalam fungsi <code>if</code> karena hanya akan diinisialisasi jika parameter <code>layer</code> bernilai 2.</p>



<p class="wp-block-paragraph">Karena fungsi <code>objective()</code> dijalankan dengan tujuan untuk coba-coba nilai parameter yang di-generate Optuna, proses inisialisasi dan training model juga dilakukan di dalam fungsi objective. Sedangkan <code>score</code> dilakukan untuk memperoleh nilai akurasi model sebagai evaluasi parameter tuning.</p>



<p class="wp-block-paragraph">Saya coba jalankan fungsi tersebut dengan percobaan sebanyak 500x. Hasilnya ditemukan akurasi yang lebih baik dari sebelumnya, yakni 0.8035 atau 80.35% <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f642.png" alt="🙂" class="wp-smiley" style="height: 1em; max-height: 1em;" /> </p>



<h2 class="wp-block-heading">Kesimpulan</h2>



<p class="wp-block-paragraph">Optuna bisa jadi sangat membantu untuk proses pencarian parameter, khususnya ketika model yang ingin dicari parameternya memiliki banyak pilihan parameter. Secara kode, Optuna juga mudah untuk dipelajari dan tidak rumit untuk diimplementasi ke model kita yang sudah ada. Optuna menyediakan banyak contoh penggunaannya di beragam <a href="https://optuna.org/#code_examples">library machine learning besar</a>. Yang perlu diingat, sebenarnya Optuna hanya &#8220;membrute-force&#8221; pencarian parameter dengan cara yang lebih baik. Itu  artinya, bisa jadi proses yang dilakukan untuk pencarian parameter sangatlah lama. Bayangkan untuk model deep learning sekali proses pelatihan makan waktu bisa sampai 1 jam, 500 trial optuna berarti akan makan waktu 500 jam!</p>



<p class="wp-block-paragraph">Sebenarnya Optuna juga memiliki <a rel="noreferrer noopener" href="https://optuna.readthedocs.io/en/latest/tutorial/pruning.html" target="_blank">fitur Pruning</a>. Secara ringkas, teknik Pruning ini memungkinkan optuna menghentikan proses evaluasi parameter ditengah-tengah training. Misalnya pada contoh sebelumnya, Optuna bisa jadi tidak melanjutkan proses pelatihan dan berhenti di tengah-tengah,misal pada menit ke 30, karena merasa nilai parameter yang sedang dijalankan tidaklah baik. Saya yakin untuk beberapa kasus, kadang pencarian parameter secara otomatis akan lebih hemat waktu dibanding secara manual. Semoga bermanfaat.</p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2020/06/25/parameter-tuning-model-secara-otomatis-dengan-optuna/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1658</post-id>	</item>
		<item>
		<title>Pengenalan Autoencoder : neural network untuk kompresi data</title>
		<link>https://structilmy.com/blog/2020/03/17/pengenalan-autoencoder-neural-network-untuk-kompresi-data/</link>
					<comments>https://structilmy.com/blog/2020/03/17/pengenalan-autoencoder-neural-network-untuk-kompresi-data/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Mon, 16 Mar 2020 23:28:54 +0000</pubDate>
				<category><![CDATA[Deep Learning]]></category>
		<category><![CDATA[feature extraction]]></category>
		<category><![CDATA[neural network]]></category>
		<category><![CDATA[Python]]></category>
		<category><![CDATA[pytorch]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=1522</guid>

					<description><![CDATA[Autoencoder Autoencoder adalah salah satu varian dari jaringan saraf tiruan (JST) yang secara umum digunakan untuk meng-&#8220;encode&#8221; suatu data. Berbeda dengan arsitektur JST pada umumnya yang dilatih untuk mengklasifikasi atau menghitung nilai regresi dari masukan, autoencoder dilatih untuk dapat menghasilkan output yang sama dengan inputnya. Autoencoder termasuk pada kategori Unsupervised Learning karena dilatih dengan menerima [&#8230;]]]></description>
										<content:encoded><![CDATA[
<h2 class="wp-block-heading">Autoencoder</h2>



<p class="wp-block-paragraph"><a href="https://en.wikipedia.org/wiki/Autoencoder">Autoencoder</a> adalah salah satu varian dari <a href="https://structilmy.com/2019/09/sekilas-tentang-jaringan-saraf-tiruan-dan-deep-learning/">jaringan saraf tiruan (JST)</a> yang secara umum digunakan untuk meng-&#8220;encode&#8221; suatu data. Berbeda dengan arsitektur JST pada umumnya yang dilatih untuk mengklasifikasi atau menghitung nilai regresi dari masukan, autoencoder dilatih untuk dapat menghasilkan output yang sama dengan inputnya. Autoencoder termasuk pada kategori Unsupervised Learning karena dilatih dengan menerima data tanpa label.</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-1.png?resize=417%2C294&#038;ssl=1" alt="" class="wp-image-1529" width="417" height="294" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-1.png?w=1024&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-1.png?resize=300%2C212&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-1.png?resize=768%2C542&amp;ssl=1 768w" sizes="auto, (max-width: 417px) 100vw, 417px" /><figcaption>Traditional Neural Network vs Autoencoder</figcaption></figure></div>



<p class="wp-block-paragraph">Pada ilustrasi tersebut, arsitektur di bagian atas adalah arsiktektur JST yang digunakan untuk mengklasifikasi citra bahan makanan di supermarket. Pada bagian bawah merupakan arsitektur autoencoder.</p>



<p class="wp-block-paragraph"><em>Lalu apa tujuannya sebuah model dilatih untuk menghasilkan citra yang sama?</em></p>



<p class="wp-block-paragraph">Jika diperhatikan pada ilustrasi di atas, bagian yang menarik adalah bagian tengah autoencoder yang berupa sebuah vektor kumpulan neuron (ditandai dengan kotak warna kuning). Bagian tengah ini biasanya memiliki jumlah neuron yang lebih kecil dibanding layer di kanan atau kirinya (termasuk layer input dan outputnya). Sehingga jika model dapat dilatih dengan baik, bisa dikatakan bagian tengah ini merupakan<strong> representasi sederhana dari citra yang menjadi input</strong>. <em>Apa maksud representasi sederhana</em>? Karena vektor ini diperoleh dari citra input melalui arsitektur jaringan saraf tiruan (Encode), lalu dari vektor <em>yang kecil </em>ini bisa dibuat kembali citra yang serupa dengan inputnya (Decode).</p>



<span id="more-1522"></span>



<h2 class="wp-block-heading">Arsitektur</h2>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/linear-ae.png?resize=472%2C136&#038;ssl=1" alt="" class="wp-image-1531" width="472" height="136" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/linear-ae.png?w=1024&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/linear-ae.png?resize=300%2C86&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/linear-ae.png?resize=768%2C221&amp;ssl=1 768w" sizes="auto, (max-width: 472px) 100vw, 472px" /><figcaption>Linear Autoencoder</figcaption></figure></div>



<p class="wp-block-paragraph">Pada ilustrasi di atas tampak arsitektur Auto encoder sebenarnya cukup sederhana. Kita bisa membagi arsitektur keseluruhan menjadi dua bagian, Encoder dan Decoder. JST pada bagian kiri mengubah dari citra menjadi feature vector, JST ini disebut dengan Encoder. Sedangkan JST pada bagian kanan mengubah dari Feature Vector kembali ke Citra, sehingga disebut dengan Decoder.</p>



<p class="wp-block-paragraph">Alur pelatihan pun sama seperti proses pelatihan JST pada umumnya. Forward Propagation dilakukan hingga citra berhasil di rekonstruksi oleh decoder, lalu eror dihitung dengan menghitung selisih (menggunakan Mean Square Error) perbedaan nilai antara citra yang dihasilkan dengan citra aslinya. Perbaikan bobot menggunakan algoritma optimasi semisal Stochastic Gradient Descent.</p>



<p class="wp-block-paragraph">Mungkin yang perlu diperhatikan dalam pembuatan Autoencoder adalah pada bagian fungsi aktivasi. Karena fungsi aktivasi menentukan nilai akhir dari masing-masing model. Misalnya pada Decoder, sebaiknya kita menggunakan fungsi aktivasi Sigmoid atau Tanh pada layer terakhirnya. Kenapa? karena kedua fungsi tersebut memetakan output ke  suatu rentang nilai yang pasti (misalnya antara 0..1 untuk Sigmoid), sehingga dari rentangna tersebut kita bisa merekonstruksi citra (misalnya 0 menjadi hitam 1 menjadi putih untuk sigmoid)</p>



<h2 class="wp-block-heading">Convolutional Autoencoder</h2>



<figure class="wp-block-image size-large"><img data-recalc-dims="1" loading="lazy" decoding="async" width="1024" height="287" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-e1583555311588-1024x287.png?resize=1024%2C287" alt="" class="wp-image-1528" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-e1583555311588.png?resize=1024%2C287&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-e1583555311588.png?resize=300%2C84&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-e1583555311588.png?resize=768%2C215&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn-ae-e1583555311588.png?w=1443&amp;ssl=1 1443w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /><figcaption>Convolutional Autoencoder</figcaption></figure>



<p class="wp-block-paragraph">Pada Jenis Convolutional Autoencoder, Model JST Encoder dan Decodernya menggunakan jenis <a href="https://structilmy.com/2019/07/convolutional-neural-network-cnn-menggunakan-pytorch/">Convolutional Neural Network (CNN)</a>. Secara umum, alur yang terjadi sama seperti Autoencoder biasa. Misalnya pada bagian encoder proses pembentukan feature vector sama seperti model CNN biasa. Bagian akhir layer konvolusi nantinya tinggal di flatten untuk menghasilkan feature vector.</p>



<p class="wp-block-paragraph">Namun, pada bagian decoder ada sedikit yang berbeda. Setelah feature vector disusun ulang menjadi 2D, kita tidak bisa langsung melakukan proses konvolusi untuk mendapatkan nilai di layer selanjutnya. Hal ini karena CNN tidak secara alami digunakan untuk menghasilkan citra yang berukuran lebih besar (Deconvolution). Untuk itu terdapat beberapa trik atau teknik untuk melakukannya.</p>



<p class="wp-block-paragraph"><strong>1. Menggunakan upsampling</strong>. Salah satu metode yan dapat digunakan adalah interpolasi, yakni dengan cara menduplikat nilai-nilai pada suatu pixel. </p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling.png?resize=250%2C129&#038;ssl=1" alt="" class="wp-image-1541" width="250" height="129" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling.png?w=621&amp;ssl=1 621w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling.png?resize=300%2C156&amp;ssl=1 300w" sizes="auto, (max-width: 250px) 100vw, 250px" /></figure></div>



<p class="wp-block-paragraph">Hasil dari upsampling adalah matrix yang lebih besar ukurannya. Setelah memperoleh hasil matrix yang lebih besar barulah dikalikan menggunakan kernel yang menghasilkan matrix dengan ukuran sama (misal menggunakan kernel 3&#215;3, padding 1 dan stride 1).</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="https://i2.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling2.png?fit=1024%2C548&amp;ssl=1" alt="" class="wp-image-1545" width="364" height="194" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling2.png?w=1087&amp;ssl=1 1087w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling2.png?resize=300%2C161&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling2.png?resize=1024%2C548&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/upsampling2.png?resize=768%2C411&amp;ssl=1 768w" sizes="auto, (max-width: 364px) 100vw, 364px" /></figure></div>



<p class="wp-block-paragraph"><strong>2. Cara kedua adalah menggunakan Transpose Convolution.</strong>  Metode ini menggunakan sebuah kernel konvolusi tanpa menjumlah nilai hasil perkalian dengan kernelnya. Biasanya ukuran kernel ini disesuaikan dengan akhir yang diinginkan. Misal untuk memperoleh ukuran matriks dua kali lipatnya, biasanya menggunakan kernel ukuran 2&#215;2 dengan stride 2.</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/transconv.png?resize=322%2C149&#038;ssl=1" alt="" class="wp-image-1542" width="322" height="149" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/transconv.png?w=750&amp;ssl=1 750w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/transconv.png?resize=300%2C140&amp;ssl=1 300w" sizes="auto, (max-width: 322px) 100vw, 322px" /></figure></div>



<p class="wp-block-paragraph">Sekian penjelasan singkat tentang Autoencoder sederhana yang banyak dimanfaatkan untuk denoising citra, kompresi citra, meningkatkan resolusi dan banyak lagi. Sebenarnya model ini juga telah memiliki banyak pengembangan yang beragam, salah satunya adalah Variational Autoencoder (VAE) yang memungkinkan untuk meng-generate suatu citra.</p>



<p class="wp-block-paragraph"> Semoga bermanfaat.</p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2020/03/17/pengenalan-autoencoder-neural-network-untuk-kompresi-data/feed/</wfw:commentRss>
			<slash:comments>2</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1522</post-id>	</item>
		<item>
		<title>Contoh Perhitungan Algoritma Backpropagation</title>
		<link>https://structilmy.com/blog/2019/07/31/contoh-perhitungan-algoritma-backpropagation/</link>
					<comments>https://structilmy.com/blog/2019/07/31/contoh-perhitungan-algoritma-backpropagation/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Wed, 31 Jul 2019 11:00:01 +0000</pubDate>
				<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[mathematics]]></category>
		<category><![CDATA[neural network]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=1232</guid>

					<description><![CDATA[Beberapa waktu lalu saya dapat kesempatan untuk mengasisteni kegiatan kemkominfo di UGM seputar AI. Salah satu topik yang dibicarakan adalah Backpropagation pada Jaringan Saraf Tiruan (JST). Di postingan ini saya akan mencontohkan perhitungan Backpropagation langkah per langkah, menggunakan arsitektur yang sederhana dan dilanjutkan implementasi menggunakan Python. Artikel ini diupdate pada 8 Agustus 2021 Perbaikan presisi [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Beberapa waktu lalu saya dapat kesempatan untuk mengasisteni kegiatan kemkominfo di UGM seputar AI. Salah satu topik yang dibicarakan adalah  Backpropagation pada Jaringan Saraf Tiruan (JST). Di postingan ini saya akan mencontohkan perhitungan Backpropagation langkah per langkah, menggunakan arsitektur yang sederhana dan <strong><a href="https://structilmy.com/2020/08/step-by-step-backpropagation-menggunakan-python/">dilanjutkan implementasi menggunakan Python</a></strong>.</p>



<h5><span style="background-color:#FFDAB9;"><strong>Artikel ini diupdate pada 8 Agustus 2021</strong> Perbaikan presisi pada perhitungan</span></h5><br>



<p class="wp-block-paragraph">Sebelum memulai, sebaiknya kita mengerti terlebih dahulu dasar-dasar untuk:</p>



<ul class="wp-block-list">
<li>Menghitung <a href="https://kalkulus.mipa.ugm.ac.id/tutorial/penghitungan-derivatif-fungsi-implisit-fungsi-satu-peubah/">turunan satu variabel suatu persamaan</a> (beberapa rumus penting ada di artikel ini)</li>



<li>Memahami <a href="https://id.wikipedia.org/wiki/Perkalian_matriks">cara perkalian matriks</a></li>



<li>Memahami <a href="https://structilmy.com/2019/09/sekilas-tentang-jaringan-saraf-tiruan-dan-deep-learning/">konsep dasar jaringan saraf tiruan</a>.</li>
</ul>



<p class="wp-block-paragraph">Jika masih dirasa banyak yang lupa, silakan refresh kembali materi tersebut.</p>



<hr class="wp-block-separator has-css-opacity"/>



<h1 class="wp-block-heading">Contoh Perhitungan</h1>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="654" height="824" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-1-3.png?resize=654%2C824&#038;ssl=1" alt="" class="wp-image-1753" style="width:232px;height:291px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-1-3.png?w=654&amp;ssl=1 654w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-1-3.png?resize=238%2C300&amp;ssl=1 238w" sizes="auto, (max-width: 654px) 100vw, 654px" /><figcaption class="wp-element-caption">model / arsitektur JST sederhana</figcaption></figure>
</div>


<p class="wp-block-paragraph">Kita masuk ke perhitungannya. Kita akan gunakan contoh arsitektur JST di atas yang hanya terdiri dari layer input dan layer output. Layer input akan menerima 3 nilai $x$ dan layer output akan menghasilkan 2 nilai $y$. <strong>Kita bisa gunakan arsitektur tersebut untuk kasus klasifikasi dengan 2 kelas</strong>.</p>



<span id="more-1232"></span>



<p class="wp-block-paragraph">Data perhitungan yang akan kita gunakan sebagai berikut. Misalkan kita akan memprediksi suatu batuan dengan karakteristik panjang 1cm, lebar 2cm, dan berat 0.5 kg. Kita ingin melatih model untuk tahu apakah ini <strong>Batu Biasa</strong> (Kelas I) atau <strong>Batu Spesial</strong> (Kelas II). Contoh karakteristik batuan sebelumnya adalah contoh <strong>Batu Spesial</strong> (Kelas II).</p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="1024" height="437" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-6-2.png?resize=1024%2C437&#038;ssl=1" alt="" class="wp-image-1755" style="width:337px;height:143px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-6-2.png?resize=1024%2C437&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-6-2.png?resize=300%2C128&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-6-2.png?resize=768%2C328&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-6-2.png?w=1069&amp;ssl=1 1069w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /><figcaption class="wp-element-caption">Fitur suatu &#8220;Batu Spesial&#8221;</figcaption></figure>
</div>


<p class="wp-block-paragraph">Maka dari data tersebut dapat diketahui representasi dalam JST-nya adalah sebagai berikut:</p>



<ol class="wp-block-list">
<li>Fitur-fitur tersebut dipetakan dengan variabel $X$ sehingga diperoleh $x_1$=1.0, $x_2$=2.0, $x_3$=0.5</li>



<li>Kita akan menggunakan variabel $t$ untuk label. Artinya untuk data di atas, nilai $t$=2 (Karena Batu Spesial atau Kelas II) .</li>



<li>Label tersebut perlu diubah bentuknya menjadi<em> one-hot encoding</em>. <em>One-hot encoding</em> adalah vektor/array yang semua isinya bernilai 0, kecuali pada index kelas yang sesuai. Pada contoh di atas ada 2 kelas, sehingga untuk $t$=1 diubah menjadi [1, 0] dan untuk $t$=2  vektor <em>one-hot encoding</em>nya adalah [0, 1]. Karena Contoh data $t$=2 maka sekarang nilai $t$ menjadi [0,1]</li>



<li>Untuk $t$=[0, 1], maka nilai tiap elemennya adalah $t_1$=0 dan $t_2$=1.</li>



<li>JST akan menghitung nilai prediksi $y_1$ dan $y_2$ berdasarkan input $X$. Lalu melalui proses pembelajaran, JST berusaha menghasilkan nilai prediksi $y$ yang sama dengan nilai target $t$</li>
</ol>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="709" height="231" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-2-2.png?resize=709%2C231&#038;ssl=1" alt="" class="wp-image-1756" style="width:347px;height:112px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-2-2.png?w=709&amp;ssl=1 709w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-2-2.png?resize=300%2C98&amp;ssl=1 300w" sizes="auto, (max-width: 709px) 100vw, 709px" /></figure>
</div>


<p class="wp-block-paragraph">Ada dua bagian utama pada JST, yakni <strong>forward propagation</strong> dan <strong>backward propagation</strong>. pada forward propagation, JST akan <strong>mencoba</strong> menghasilkan nilai $y$, sedangkan pada backward propagation, JST akan <strong>memperbaiki</strong> dirinya (update bobot) sehingga pada forward propagation berikutnya diharap bisa menghasilkan nilai $y$ yang lebih baik atau lebih mendekati label aslinya.</p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="1024" height="534" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?resize=1024%2C534&#038;ssl=1" alt="" class="wp-image-1757" style="width:390px;height:203px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?resize=1024%2C534&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?resize=300%2C156&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?resize=768%2C400&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-3-1.png?w=1308&amp;ssl=1 1308w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /><figcaption class="wp-element-caption">proses forward dan backward pada JST</figcaption></figure>
</div>


<h2 class="wp-block-heading">1. Forward Propagation</h2>



<p class="wp-block-paragraph">Forward propagation adalah proses perhitungan secara &#8220;maju&#8221; dari input (disimbolkan $x$) hingga diperoleh output model (disimbolkan $y$). Misal pada ilustrasi di bawah, adalah proses forward propagation dari input $x$ menuju $y$.</p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="648" height="781" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-4-2.png?resize=648%2C781&#038;ssl=1" alt="" class="wp-image-1758" style="width:205px;height:248px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-4-2.png?w=648&amp;ssl=1 648w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-4-2.png?resize=249%2C300&amp;ssl=1 249w" sizes="auto, (max-width: 648px) 100vw, 648px" /></figure>
</div>


<p class="wp-block-paragraph">Untuk perhitungannya, nilai $y_1$ diperoleh dengan menghitung nilai $z_1$ terlebih dahulu (perhitungan linier).</p>



<p class="wp-block-paragraph">$$ z_1 = w_{11}x_{1} + w_{21}x_{2} + w_{31}x_{3}  + b_1 $$</p>



<p class="wp-block-paragraph">Setelah diperoleh $z_1$ , output prediksi $y_1$ diperoleh dengan menerapkan fungsi aktivasi terhadap $z_1$.</p>



<p class="wp-block-paragraph">$$ y_1 = \sigma \left( z_1 \right)  $$</p>



<p class="wp-block-paragraph">Perhitungan untuk semua $y$ secara umum bisa menggunakan rumus:</p>



<p class="wp-block-paragraph">$$ y_j = \sigma \left( \sum_{i=1}^\text{N} w_{ij}x_i + b_j \right) $$</p>



<p class="wp-block-paragraph">Rumus di atas, sangat penting untuk dipahami, untuk penjelasannya simbol-simbolnya:</p>



<ul class="wp-block-list">
<li>Simbol $b_i$ menunjukkan nilai bias. Nilai bias ini mirip dengan nilai bobot hanya saja tidak dikalikan dengan input. <a aria-label="Tujuannya agar garis persamaan bisa lebih kompleks (tidak selalu melewati titik origin). (opens in a new tab)" rel="noreferrer noopener" href="https://stackoverflow.com/questions/2480650/role-of-bias-in-neural-networks" target="_blank">Tujuannya agar garis persamaan bisa lebih kompleks (tidak selalu melewati titik origin).</a> </li>



<li>Semua nilai bobot $w$ dan bias $b$ awalnya diberikan nilai random, dan diperbarui nilainya dengan proses backprop untuk meningkatkan kualitas model. Jika diperhatikan kita menamai simbol $w_{ij}$ berarti bobot yang menghubungkan neuron input nomor $i$ ke neuron output nomor $j$.</li>



<li>N menunjukkan banyak neuron di layer sebelah kiri (layer input).</li>



<li>Simbol $\sigma()$ (sigma) adalah simbol dari fungsi aktivasi. Artinya, setelah proses perkalian input $x$ dan bobot $w$ lalu dilakukan penjumlahan semua, langkah selanjutnya adalah mengenai hasil perhitungan tersebut dengan fungsi aktivasi. Ada banyak fungsi aktivasi yang dapat dipilih salah satunya fungsi aktivasi sigmoid yang bentuknya seperti ini:</li>
</ul>



<p class="wp-block-paragraph">$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$</p>



<h4 class="wp-block-heading">Contoh Forward Propagation</h4>



<p class="wp-block-paragraph">Misalkan kita memiliki sebuah input seperti tabel di atas $X = [1, 2, 0.5]$ dengan nilai bobot dan bias di awal adalah sebagai berikut (nilai awal bobot dan bias adalah <strong>nilai random</strong>, saya susun seperti matrix agar mudah):</p>



<p class="wp-block-paragraph">$$ \begin{bmatrix}<br>w_{11} = 0.2 &amp; w_{12} = 0.3 \\ <br>w_{21} = 0.3 &amp; w_{22} = 0.1 \\<br>w_{31} = 0.3 &amp; w_{32} = 0.2 <br>\end{bmatrix} $$</p>



<p class="wp-block-paragraph">$$ [b_1=0, b_2 = 0]$$</p>



<p class="wp-block-paragraph">Pada contoh di atas simbol $w_{ij}$ berarti bobot yang menghubungkan neuron input nomor $i$ ke neuron output nomor $j$. Misalnya $w_{21}$ artinya bobot yang menghubungkan neuron input nomor 2 dengan neuron output nomor 1 (bisa diperhatikan pada ilustrasi sebelumnya). </p>



<p class="wp-block-paragraph">Langka pertama forward propagation adalah menghitung nilai $z$. Pada contoh ini dapat kita hitung nilai $z_1$ adalah:</p>



<p class="wp-block-paragraph">$$\begin{eqnarray}<br>&amp; z_1 &amp; = w_{11}x_{1} + w_{21}x_{2} + w_{31}x_{3} + b_1  \nonumber \\<br>&amp; &amp; = 0.2 *  1 + 0.3 *  2 + 0.3 *  0.5 + 0  \nonumber \\<br>&amp; &amp; =  0.95  \nonumber \\<br>\end{eqnarray}$$</p>



<p class="wp-block-paragraph">Lalu setelah itu kita hitung nilai $y_1$:</p>



<p class="wp-block-paragraph">$$\begin{eqnarray}<br>&amp; y_1 &amp; = \sigma (z_1) \nonumber \\<br>&amp; &amp; = \sigma (0.95) \nonumber \\<br>&amp; &amp; = \frac{1}{1 + e^{-0.95}} \nonumber \\<br>&amp; &amp; = 0.721 \nonumber \\<br>\end{eqnarray}$$</p>



<p class="wp-block-paragraph">Dengan cara perhitungan yang sama dengan di atas dapat diperoleh juga nilai $y_2$ adalah $0.645$. Sampai sini, mungkin sebelum lanjut coba berhenti sebentar dan dipahami lagi prosesnya bagaimana bisa mendapatkan semua nilai $y$.</p>



<h2 class="wp-block-heading">1.2 Error</h2>



<p class="wp-block-paragraph">Dari perhitungan sebelumnya diperoleh nilai sebagai berikut:</p>



<p class="wp-block-paragraph">$$ [y_1=0.721, y_2=0.645] $$</p>



<p class="wp-block-paragraph">Nilai tersebut adalah <strong>nilai prediksi</strong>, atau nilai yang dihasilkan oleh model JST kita. Seperti disebutkan sebelumnya setiap data yang masuk memiliki label kelas atau <strong>nilai $y$ yang diharapkan</strong>, misalnya untuk data $X$ di atas kita ingin model kita seharusnya bernilai berikut (variabel $t$ adalah nilai target label kelas yang sebenarnya):</p>



<p class="wp-block-paragraph">$$ [t_1=0, t_2=1] $$</p>



<p class="wp-block-paragraph">Dari sana tampak perbedaan nilai prediksi kita ($y$) dengan nilai target ($t$). Kita bisa menghitung seberapa melenceng prediksi kita menggunakan rumus untuk <strong>menghitung error</strong>. Salah satunya adalah dengan rumus Mean Square Error (MSE):</p>



<p class="wp-block-paragraph">$$ error = \frac{1}{n}\sum_{i=1}^n (target_i &#8211; prediksi_i)^2$$</p>



<p class="wp-block-paragraph">rumus tersebut menghitung selisih nilai target dan prediksi, mengkuadratkannya, lalu merata-ratanya (dijumlah lalu dibagi n). Nilai n di sana adalah banyak datanya, pada contoh ini kita menggunakan n=2 karena ada 2 node output.</p>



<p class="wp-block-paragraph">Sehingga untuk perhitungan kita di atas, dapat dihitung error $E$ yang dihasilkan adalah sebesar:</p>



<p class="wp-block-paragraph">$$\begin{eqnarray}<br> &amp; E &amp; = \frac{1}{2} \sum_{i=1}^2 (target_i &#8211; prediksi_i)^2 \nonumber \\<br> &amp;  &amp; = \frac{1}{2}((t_1 &#8211; y_1)^2+(t_2 &#8211; y_2)^2) \nonumber \\<br>&amp;  &amp; = \frac{1}{2}((0 &#8211; 0.721)^2+(1 &#8211; 0.645)^2) \nonumber \\<br>&amp;  &amp; = 0.322 \nonumber \<br> \end{eqnarray}$$</p>



<p class="wp-block-paragraph">Karena tujuan JST adalah untuk menghasikan nilai prediksi $y$ yang semirip mungkin dengan $t$, maka dapat disebut juga<strong> tujuan dari JST adalah meminimalkan nilai error $E$.</strong></p>



<h2 class="wp-block-heading">2. Backpropagation</h2>



<p class="wp-block-paragraph">Setelah mendapatkan nilai error, kita bisa mulai memperbaiki JST kita dengan backpropagation. Sebenarnya istilah memperbaiki JST ini <a rel="noreferrer noopener" aria-label="kurang tepat jika menyebutnya Backpropagation, lebih tepatnya adalah Gradient Descent. (opens in a new tab)" href="https://stackoverflow.com/a/37953898/2147347" target="_blank">kurang tepat jika menyebutnya Backpropagation, lebih tepatnya adalah Gradient Descent.</a> Tapi ya di Indonesia lebih umum menyebutnya Backpropagation kadang disingkat Backprop.</p>



<p class="wp-block-paragraph">Rumus utama untuk memperbaiki suatu bobot $w$ berdasarkan error $E$ adalah:</p>



<p class="wp-block-paragraph">$$ w_{new} = w_{old} &#8211; \alpha \frac{\partial E}{\partial w} $$</p>



<p class="wp-block-paragraph">Rumus ini juga berlaku untuk memperbaiki nilai bias:</p>



<p class="wp-block-paragraph">$$ b_{new} = b_{old} &#8211; \alpha \frac{\partial E}{\partial b} $$</p>



<p class="wp-block-paragraph">Simbol $\alpha$ pada rumus di atas adalah learning rate, sebuah konstanta (biasanya antara 0-1) yang menentukan seberapa cepat proses pembelajaran model dilakukan. <strong>Di artikel ini kita akan menggunakan nilai $\alpha = 0.5$</strong>. Sedangkan simbol $ \frac{\partial E}{\partial w}  $ atau dibaca &#8220;turunan parsial $E$ terhadap $w$&#8221; adalah proses mencari nilai turunan $E$ terhadap variabel yang akan diperbarui, dalam contoh ini $w$.  Proses mencari turunan inilah yang lebih tepat disebut backpropagation. <strong>Karena ada banyak nilai $w$, kita akan spesifikkan untuk mengupdate nilai $w_{11}$ terlebih dulu.</strong> <strong>Setelahnya, kita akan coba hitung update nilai untuk $b_1$.</strong></p>



<h4 class="wp-block-heading">Konsep chaining</h4>



<p class="wp-block-paragraph">Untuk menghitung $ \frac{\partial E}{\partial w} $, pertama-tama kita coba berjalan mundur dulu. Urutan proses backward chaining digambarkan dengan garis merah pada gambar di bawah ini. Dari mana nilai $E$ didapatkan dan apa hubungannya dengan $w_{11}$. </p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="927" height="804" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-7.png?resize=927%2C804&#038;ssl=1" alt="" class="wp-image-1772" style="width:329px;height:285px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-7.png?w=927&amp;ssl=1 927w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-7.png?resize=300%2C260&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-7.png?resize=768%2C666&amp;ssl=1 768w" sizes="auto, (max-width: 927px) 100vw, 927px" /></figure>
</div>


<p class="wp-block-paragraph">Nilai $E$ diperoleh dari rumus Mean Square Error:</p>



<p class="wp-block-paragraph">$$ E = \frac{1}{2}((t_1 &#8211; y_1)^2+(t_2 &#8211; y_2)^2) $$</p>



<p class="wp-block-paragraph">dari rumus di atas tidak ada variabel $w_{11}$ tetapi kita bisa coba &#8220;jalan mundur&#8221; lagi. Kita ingat-ingat lagi dari mana nilai setiap variabel $y$ berasal.</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br> y_1 &amp; = \sigma \left ( z_1 \right) \nonumber \\<br> y_2 &amp; = \sigma \left ( z_2 \right) \nonumber  \end{eqnarray}$$</p>



<p class="wp-block-paragraph">Variabel $y$ diperoleh dari menerapkan sebuah fungsi aktivasi terhadap variabel $z$. Sedangkan, variabel $z$ sendiri dihitung dengan:</p>



<p class="wp-block-paragraph">$$\begin{eqnarray} z_1 = w_{11}x_{1} + w_{21}x_{2} + w_{31}x_{3} + b_1\\ z_2 = w_{12}x_{1} + w_{22}x_{2} + w_{32}x_{3} + b_2 \end{eqnarray}$$</p>



<p class="wp-block-paragraph">dari sini terlihat variabel $w_{11}$ ada di perhitungan $z_1$ yang secara tidak langsung berpengaruh ke nilai $E$. Hal ini yang disebut dengan chaining atau rantaian.</p>



<h4 class="wp-block-heading">Dasar turunan</h4>



<p class="wp-block-paragraph">Setelah kita memahami hubungan $E$ dan $w_{11}$ langkah selanjutnya adalah kita pahami bagaimana dasar menghitung turunannya. Disini kita menggunakan turunan parsial yang bedanya dengan turunan biasa adalah fungsi bisa mengandung lebih dari satu variabel. Selain itu, kita tidak menggunakan simbol $d$ tetapi turunan parsial menggunakan simbol $\partial$. Dari sekian banyak materi turunan jaman SMA kita cukup mengingat beberapa aturan saja (aturan no. 5 tidak diajarkan di SMA):</p>



<ol class="wp-block-list">
<li>jika $f(x) = x^n$ maka $\frac{\partial f(x)}{\partial x} = nx^{n-1}$, sudah cukup jelas, ini adalah rumus dasar turunan.</li>



<li>jika $f(x) = u(x) + v(x)$ maka $\frac{\partial f(x)}{\partial x} = \frac{\partial u(x)}{\partial x} + \frac{\partial v(x)}{\partial x}$, artinya jika ada sebuah fungsi $f$ yang isinya adalah jumlahan dari fungsi-fungsi lain, kita bisa turunkan masing-masing lalu dijumlahkan.</li>



<li>jika $f(x, y) = u(x) + v(y)$ maka $\frac{\partial f(x)}{\partial x} = \frac{\partial u(x)}{\partial x} + 0$, sama dengan poin no.2, hanya saja jadi keliatan ketika ada bagian dari fungsi $f$ yang ternyata tidak mengandung variabel yang ingin diturunkan (yakni $x$) maka fungsi tersebut bisa dijadikan 0.</li>



<li>jika $f(x) = f(g(x))$ maka $\frac{\partial f(x)}{\partial x} = \frac{\partial f(x)}{\partial g(x)} \cdot \frac{\partial g(x)}{\partial x}$, jika ada fungsi yang di dalamnya ada fungsi lain, bisa dilakukan turunan untuk masing-masingnya lalu dikalikan</li>



<li>jika $f(x) = \sigma(x)$ dengan $\sigma(x)$ adalah fungsi sigmoid, maka $\frac{\partial f(x)}{\partial x} = f(x)(1- f(x))$.</li>
</ol>



<p class="wp-block-paragraph">Contoh:</p>



<ol class="wp-block-list">
<li>$f(x)=2x^3$ maka turunan $\frac{\partial f(x)}{\partial x} = 6x^{2}$</li>



<li>$f(x)=2x^3 + x^2$ maka turunan $\frac{\partial f(x)}{\partial x} = 6x^{2} + 2x$ </li>



<li>$f(x,y)=2x^3 + y^2$ maka turunan $\frac{\partial f(x,y)}{\partial x} = 6x^{2} + 0$ </li>



<li>$f(x)=z^2$ dimana $z$ dihitung dari $z=2x^3$ maka turunannya:<br>$\frac{\partial f(x)}{\partial x} = \frac{\partial f(x)}{\partial z} \cdot  \frac{\partial z}{\partial x}$ <br>$\frac{\partial f(x)}{\partial x} = 2z \cdot \frac{\partial z}{\partial x}$ <br>$\frac{\partial f(x)}{\partial x} = 2z \cdot 6x^2 = 2(2x^3) \cdot 6x^2 = 24x^5$</li>
</ol>



<h4 class="wp-block-heading">Menghitung turunan</h4>



<h5 class="wp-block-heading">Update nilai $w_{11}$</h5>



<p class="wp-block-paragraph">Nah, mari kita menghitung nilai $ \frac{\partial E}{\partial w} $ dengan beberapa langkah menggunakan aturan perhitungan yang disebutkan sebelumnya. Menggunakan aturan no. 4 di atas, kita bisa mencari nilai $ \frac{\partial E}{\partial w_{11}} $ dengan 2 langkah berikut:</p>



<p class="wp-block-paragraph">$$ \frac{\partial E}{\partial w_{11}} = \color{#6bb9cfff}{ ( } \frac{\partial E}{\partial y_1} \color{#6bb9cfff}{)} \cdot \color{#46ce8eff} {(} \frac{\partial y_1}{\partial w_{11}} \color{#46ce8eff} {)} $$</p>



<p class="wp-block-paragraph"><span style="background-color:#6bb9cfff;"><strong>Langkah 1</strong></span></p>



<p class="wp-block-paragraph">Kita selesaikan bagian pertamanya, menggunakan aturan no. 3 dan no. 4 di atas, maka:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; E &amp;= \frac{1}{2}((t_1 &#8211; y_1)^2+(t_2 &#8211; y_2)^2) \nonumber \\<br>&amp; \frac{\partial E}{\partial y_1} &amp; = 2 * \frac{1}{2}(t_1 &#8211; y_1)^{2-1} * -1+ 0 \nonumber \\<br>&amp; &amp; = &#8211; (t_1 &#8211; y_1) \nonumber \end{eqnarray}$$</p>



<p class="wp-block-paragraph"><span style="background-color:#46ce8eff;"><strong>Langkah 2</strong></span><br>Untuk bagian keduanya kita lihat kembali rumus asli untuk menghitung $y_1$, yakni dengan menggunakan fungsi sigma terhadap $z_1$ :</p>



<p class="wp-block-paragraph">$$ y_1 = \sigma(z_1) $$</p>



<p class="wp-block-paragraph">$$ z_1 = w_{11}x_{1} + w_{21}x_{2} + w_{31}x_{3} + b_1 $$</p>



<p class="wp-block-paragraph">Variabel $w_{11}$ tidak langsung ditemukan dalam perhitungan variabel $y_1$, melainkan perlu mundur lagi ke variabel $z_1$. Dengan aturan no. 4, maka pada tahap ini kita bisa memecah $\frac{\partial y_1}{\partial w_{11}}$ menjadi 2 bagian lagi:</p>



<p class="wp-block-paragraph">$$ \frac{\partial y_1}{\partial w_{11}} = \color{#ff6900}{(} \frac{\partial y_1}{\partial z_1} \color{#ff6900}{)} \cdot \color{#f78da7}{(} \frac{\partial z_1}{\partial w_{11}} \color{#f78da7}{)}$$</p>



<p class="wp-block-paragraph">Kita selesaikan <span class="has-inline-color has-luminous-vivid-orange-color">bagian pertama</span> $\frac{\partial y_1}{\partial z_1}$ dengan aturan no. 5:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; y_1 &amp;= \sigma(z_1) \nonumber \\<br>&amp; \frac{\partial y_1}{\partial z_1} &amp;= y_1 ( 1 &#8211; y _1) \end{eqnarray}$$</p>



<p class="wp-block-paragraph">Kemudian untuk <span class="has-inline-color has-pale-pink-color">bagian kedua</span> $\frac{\partial z_1}{\partial w_{11}}$ kita selesaikan menggunakan aturan no. 2 dan no. 3, menjadi:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; z_1 &amp;= w_{11}x_{1} + w_{21}x_{2} + w_{31}x_{3} + b_1 \nonumber \\<br> &amp; \frac{\partial z_1}{\partial w_{11}} &amp;= x_{1} + 0 + 0 + 0 \nonumber \\<br>&amp; &amp;= x_1 \end{eqnarray}$$</p>



<p class="wp-block-paragraph"><strong>Gabungkan semua</strong><br>Secara ringkas dari perhitungan-perhitungan di atas, maka nilai dari $ \frac{\partial E}{\partial w_{11}} $ adalah:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; \frac{\partial E}{\partial w_{11}} &amp;= \color{#6bb9cfff}{ ( }\frac{\partial E}{\partial y_{1}}\color{#6bb9cfff}{ ) } \cdot \color{#46ce8eff} {(} \space \color{#ff6900}{(} \frac{\partial y_1}{\partial z_{1}} \color{#ff6900}{)} \cdot \color{#f78da7}{(} \frac{\partial z_1}{\partial w_{11}} \color{#f78da7}{)} \space \color{#46ce8eff} {)} \nonumber \\<br>&amp; &amp;= &#8211; (t_1 &#8211; y_1) \cdot y_1 ( 1 &#8211; y _1) \cdot x_1<br>\end{eqnarray}$$</p>



<p class="wp-block-paragraph">Jika <g class="gr_ gr_5 gr-alert gr_spell gr_inline_cards gr_run_anim ContextualSpelling" id="5" data-gr-id="5">diinputkan</g> <g class="gr_ gr_14 gr-alert gr_spell gr_inline_cards gr_run_anim ContextualSpelling ins-del multiReplace" id="14" data-gr-id="14">dengan</g> <g class="gr_ gr_16 gr-alert gr_spell gr_inline_cards gr_run_anim ContextualSpelling" id="16" data-gr-id="16">angka</g> <g class="gr_ gr_32 gr-alert gr_spell gr_inline_cards gr_run_anim ContextualSpelling" id="32" data-gr-id="32">maka</g>:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br> &amp; \frac{\partial E}{\partial w_{11}} &amp;= &#8211; (t_1 &#8211; y_1) * y_1 ( 1 &#8211; y _1) * x_1 \nonumber \\<br>&amp; &amp; = &#8211; (0 &#8211; 0.721) * 0.721 ( 1 &#8211; 0.721) * 1 \\<br>&amp; &amp; = 0.1450 \end{eqnarray}$$</p>



<p class="wp-block-paragraph">Sehingga untuk memperbarui bobot $w_{11}$ nilai yang baru dengan nilai <strong>$\alpha=0.5$ </strong>(contoh) adalah:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; w_{11new} &amp;= w_{11old} &#8211; \alpha \frac{\partial E}{\partial w_{11}} \nonumber \\<br>&amp; &amp;= 0.2 &#8211; (0.5)(0.1587) \nonumber \\<br>&amp; &amp;= 0.1206 \end{eqnarray}$$</p>



<h5>Update nilai $b_1$</h5>



<p class="wp-block-paragraph">Chaining untuk mengupdate nilai bias dilakukan serupa dengan cara mengupdate nilai bobot. Mulai dari paling belakang, telusuri tiap variabel dan pecah menurut perhitungan rumusnya, sampai ditemukan variabel bias yang ingin diupdate. Untuk mengupdate bias $b_1$, dapat dihitung dengan :</p>



<p class="wp-block-paragraph">$$ \frac{\partial E}{\partial b_{1}} = \color{#6bb9cfff}{ ( } \frac{\partial E}{\partial y_1} \color{#6bb9cfff}{)} \cdot \color{#46ce8eff} {(} \frac{\partial y_1}{\partial b_{1}} \color{#46ce8eff} {)} $$</p>



<p class="wp-block-paragraph">Perhatikan bahwa bagian pertama $\frac{\partial E}{\partial y_1}$, dengan kurung berwarna biru, telah kita hitung sebelumnya pada contoh update bobot $w_{11}$. Bagian ini menghasilkan $\frac{\partial E}{\partial y_1} = &#8211; (t_1 &#8211; y_1)$. </p>



<p class="wp-block-paragraph">Selanjutnya kita fokus ke bagian kedua $\frac{\partial y_1}{\partial b_{1}}$ dengan kurung berwarna hijau. Variabel $b_1$ dapat diperoleh dengan merunut jalur variabel $y_1$ kemudian ke variabel $z_1$ (perhatikan ilustrasi jalur backward chaning dengan garis merah putus-putus pada gambar sebelumnya).</p>



<p class="wp-block-paragraph">$$ y_1 = \sigma(z_1) $$</p>



<p class="wp-block-paragraph">$$ z_1 = w_{11}x_{1} + w_{21}x_{2} + w_{31}x_{3} + b_1 $$</p>



<p class="wp-block-paragraph">Perhatikan bahwa jalur ini juga sama dengan yang dilalui untuk mencari update bobot $w_{11}$, yakni dengan memecah menjadi dua bagian berikut:</p>



<p class="wp-block-paragraph">$$ \frac{\partial y_1}{\partial b_1} = \color{#ff6900}{(} \frac{\partial y_1}{\partial z_1} \color{#ff6900}{)} \cdot \color{#f78da7}{(} \frac{\partial z_1}{\partial b_1} \color{#f78da7}{)}$$</p>



<p class="wp-block-paragraph"><mark style="background-color:rgba(0, 0, 0, 0)" class="has-inline-color has-luminous-vivid-orange-color">Bagian pertama</mark> $\frac{\partial y_1}{\partial z_1}$, tidak perlu dihitung lagi karena sudah pernah kita hitung saat proses update $w_{11}$, yakni  $\frac{\partial y_1}{\partial z_1} = y_1 ( 1 &#8211; y _1)$. Kemudian <mark style="background-color:rgba(0, 0, 0, 0)" class="has-inline-color has-pale-pink-color">bagian kedua</mark> $\frac{\partial z_1}{\partial b_1}$ adalah: </p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; z_1 &amp;= w_{11}x_{1} + w_{21}x_{2} + w_{31}x_{3} + b_1 \nonumber \\<br>&amp; \frac{\partial z_1}{\partial b_1} &amp;= 0 + 0 + 0 + 1 \nonumber \\<br>&amp; &amp;= 1 \end{eqnarray}$$</p>



<p class="wp-block-paragraph"><strong>Gabungkan semua</strong><br>Setelah semua variabel pada jalur chaining dapat dipecah dan berakhir pada bias $b_1$, maka dapat kita gabungkan menjadi: </p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; \frac{\partial E}{\partial b_1} &amp;= \color{#6bb9cfff}{ ( }\frac{\partial E}{\partial y_{1}}\color{#6bb9cfff}{ ) } \cdot \color{#46ce8eff} {(} \space \color{#ff6900}{(} \frac{\partial y_1}{\partial z_{1}} \color{#ff6900}{)} \cdot \color{#f78da7}{(} \frac{\partial z_1}{\partial b_1} \color{#f78da7}{)} \space \color{#46ce8eff} {)} \nonumber \\<br>&amp; &amp;= &#8211; (t_1 &#8211; y_1) \cdot y_1 ( 1 &#8211; y _1) \cdot 1<br>\end{eqnarray}$$</p>



<p class="wp-block-paragraph">Jika diinputkan dengan angka:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br> &amp; \frac{\partial E}{\partial b_1} &amp;= &#8211; (t_1 &#8211; y_1) * y_1 ( 1 &#8211; y _1) * 1 \nonumber \\<br>&amp; &amp; = &#8211; (0 &#8211; 0.721) * 0.721 ( 1 &#8211; 0.721) * 1  \\<br>&amp; &amp; = 0.1450\end{eqnarray}$$</p>



<p class="wp-block-paragraph">Sehingga untuk memperbarui bias $b_1$ yang baru dengan nilai <strong>$\alpha=0.5$ </strong>(contoh) adalah:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; b_{1new} &amp;= b_{1old} &#8211; \alpha \frac{\partial E}{\partial b_1} \nonumber \\<br>&amp; &amp;= 0 &#8211; (0.5)(0.1450) \nonumber \\<br>&amp; &amp;= -0.0725 \end{eqnarray}$$</p>



<h3 class="wp-block-heading">2.1 Mengupdate semua bobot</h3>



<p class="wp-block-paragraph"><strong>INGAT</strong>! perhitungan di atas belum selesai memperbarui semua bobot dan bias. <strong>Saat backpropagation, proses di atas kita lakukan ke semua bobot $w$ dan bias $b$.</strong></p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="648" height="781" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-4-2.png?resize=648%2C781&#038;ssl=1" alt="" class="wp-image-1758" style="width:205px;height:248px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-4-2.png?w=648&amp;ssl=1 648w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-4-2.png?resize=249%2C300&amp;ssl=1 249w" sizes="auto, (max-width: 648px) 100vw, 648px" /></figure>
</div>


<p class="wp-block-paragraph">Tetapi jangan takut, karena sudah dapat rumus turunannya, kita bisa langsung lihat pola rumusnya. Misalnya untuk $w_{21}$ kita bisa cukup mengubah bagian nilai $\frac{\partial z_1}{\partial w_{21}}$ ketika menghitung turunan (karena $w_{21}$ masih sama-sama bagian dari $y_1$).</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; \frac{\partial E}{\partial w_{21}} &amp;= \frac{\partial E}{\partial y_{1}} \cdot \frac{\partial y_1}{\partial z_{1}} \cdot \frac{\partial z_1}{\partial w_{21}} \nonumber \\<br>&amp; &amp;= &#8211; (t_1 &#8211; y_1) * y_1 ( 1 &#8211; y _1) * x_2 \nonumber \\<br> &amp; &amp; = &#8211; (0 &#8211; 0.721) * 0.721 ( 1 &#8211; 0.721) * 2  \\<br> &amp; &amp; = 0.290 \end{eqnarray}$$</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br> &amp; w_{21new} &amp;= w_{21old} &#8211; \alpha \frac{\partial E}{\partial w_{21}} \nonumber \\<br> &amp; &amp;= 0.3 &#8211; (0.5)(0.290) \nonumber \\<br> &amp; &amp;= 0.1550 \end{eqnarray}$$</p>



<p class="wp-block-paragraph">Namun, agak berbeda jika kita ingin memperbarui nilai $w_{12}$ hal ini karena jika diperhatikan $w_{12}$ tidak ikut membangun nilai $y_1$ tetapi berada di perhitungan $y_2$. Berikut ilustrasinya:</p>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" width="653" height="803" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-5-2.png?resize=653%2C803&#038;ssl=1" alt="" class="wp-image-1759" style="width:217px;height:266px" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-5-2.png?w=653&amp;ssl=1 653w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/08/jst-5-2.png?resize=244%2C300&amp;ssl=1 244w" sizes="auto, (max-width: 653px) 100vw, 653px" /></figure>
</div>


<p class="wp-block-paragraph">Maka untuk menghitung turunannya menjadi sedikit beda:</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>&amp; \frac{\partial E}{\partial w_{12}} &amp;= \frac{\partial E}{\partial y_{2}} \cdot \frac{\partial y_2}{\partial z_{2}} \cdot  \frac{\partial z_2}{\partial w_{12}} \nonumber \\<br>   &amp; &amp;= -(t_2 &#8211; y_2) *  y_2 ( 1 &#8211; y _2) *  x_1 \nonumber \\<br>  &amp; &amp; = -(1 &#8211; 0.645) * 0.645 ( 1 &#8211; 0.645) * 1  \nonumber  \\<br>  &amp; &amp; = -0.0812 \end{eqnarray}$$</p>



<p class="wp-block-paragraph">$$ \begin{eqnarray}<br>  &amp; w_{12new} &amp;= w_{12old} &#8211; \alpha \frac{\partial E}{\partial w_{12}} \nonumber \\<br>  &amp; &amp;= 0.3 &#8211; (0.5)(-0.0812) \nonumber \\<br>  &amp; &amp;= 0.3406 \end{eqnarray}$$</p>



<h2 class="wp-block-heading">3. Evaluasi</h2>



<p class="wp-block-paragraph">Setelah melakukan backpropagation untuk semua bobot dan bias, maka akan diperoleh hasil bobot sebagai berikut:</p>



<p class="wp-block-paragraph">$$ \begin{bmatrix}<br> w_{11} = 0.1275 &amp; w_{12} = 0.3406 \\ <br> w_{21} = 0.1550 &amp; w_{22} = 0.1813 \\<br> w_{31} = 0.2637 &amp; w_{32} = 0.2203 \\<br> \end{bmatrix} $$</p>



<p class="wp-block-paragraph">$$ [b_1=-0.0725, b_2 = 0.0406]$$</p>



<p class="wp-block-paragraph">Untuk mengevaluasi kita bisa mengecek kembali hasilnya dengan forward propagation (tanpa perlu backpropagation). Jika kita lakukan forward propagation, maka akan diperoleh nilai $y$ sebagai berikut:</p>



<p class="wp-block-paragraph">$$ [y_1=0.6217, y_2 = 0.7014]$$</p>



<p class="wp-block-paragraph">Jika kita hitung errornya maka akan terjadi perubahan nilai dari sebelum dilakukan backpropagation. Nilai error telah menjadi lebih kecil dari sebelumnya (error sebelumnya 0.322):</p>



<p class="wp-block-paragraph">$$\begin{eqnarray}<br>  &amp; E &amp; = \frac{1}{2} \sum_{i=1}^2 (target_i &#8211; prediksi_i)^2 \nonumber \\<br>  &amp;  &amp; = \frac{1}{2}((t_1 &#8211; y_1)^2+(t_2 &#8211; y_2)^2) \nonumber \\<br> &amp;  &amp; = \frac{1}{2}((0 &#8211; 0. 6217 )^2+(1 &#8211; 0. 7014 )^2) \nonumber \\<br> &amp;  &amp; = 0.2378 \nonumber \<br>  \end{eqnarray}$$</p>



<p class="wp-block-paragraph">Hal tersebut menandakan backpropagation kita telah berhasil <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f642.png" alt="🙂" class="wp-smiley" style="height: 1em; max-height: 1em;" /></p>



<p class="wp-block-paragraph"><strong>Perlu dicatat, bahwa proses di atas adalah proses iterasi 1 kali backpropagation  dan untuk 1 data.</strong> Jika ada banyak data, maka proses di atas bisa diulang lagi dengan data yang berbeda dan mengupdate bobotnya lagi. Lalu diulang untuk semua data (beberapa epoch) hingga mendapatkan hasil yang optimal dan juga dilakukan untuk banyak data.</p>



<p class="wp-block-paragraph"><strong>Proses implementasi menggunakan Python dibahas <a href="https://structilmy.com/2020/08/step-by-step-backpropagation-menggunakan-python/">di post selanjutnya.</a></strong> Sekian, jika ada yang ditanyakan seputar rumus atau perhitungannya, silakan bertanya di kolom komentar <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f609.png" alt="😉" class="wp-smiley" style="height: 1em; max-height: 1em;" /> Terima kasih</p>



<p class="has-small-font-size wp-block-paragraph">Sumber gambar: flickr<br>artikel ini terinspirasi dari artikel <a href="https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/" target="_blank" rel="noreferrer noopener" aria-label="Matt Mazur (opens in a new tab)">Matt Mazur</a></p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2019/07/31/contoh-perhitungan-algoritma-backpropagation/feed/</wfw:commentRss>
			<slash:comments>70</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1232</post-id>	</item>
	</channel>
</rss>

<!--
Performance optimized by W3 Total Cache. Learn more: https://www.boldgrid.com/w3-total-cache/?utm_source=w3tc&utm_medium=footer_comment&utm_campaign=free_plugin

Object Caching 0/216 objects using Memcache
Page Caching using Disk: Enhanced 
Database Caching using Redis (Request-wide modification query)

Served from: structilmy.com @ 2026-11-17 06:58:15 by W3 Total Cache
-->