<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>convolutional-neural-network Archives - Structilmy</title>
	<atom:link href="https://structilmy.com/blog/tag/convolutional-neural-network/feed/" rel="self" type="application/rss+xml" />
	<link>https://structilmy.com/tag/convolutional-neural-network/</link>
	<description>Tutorial, Catatan, Dokumentasi</description>
	<lastBuildDate>Mon, 04 Jul 2022 13:25:29 +0000</lastBuildDate>
	<language>en-US</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.4</generator>

<image>
	<url>https://i0.wp.com/structilmy.com/wp-content/uploads/2019/01/cropped-favs.png?fit=32%2C32&#038;ssl=1</url>
	<title>convolutional-neural-network Archives - Structilmy</title>
	<link>https://structilmy.com/tag/convolutional-neural-network/</link>
	<width>32</width>
	<height>32</height>
</image> 
<site xmlns="com-wordpress:feed-additions:1">165056026</site>	<item>
		<title>Deep Learning dalam 6 Baris dengan Fastai dan Pytorch</title>
		<link>https://structilmy.com/blog/2021/02/17/deep-learning-dalam-6-baris-dengan-fastai-dan-pytorch/</link>
					<comments>https://structilmy.com/blog/2021/02/17/deep-learning-dalam-6-baris-dengan-fastai-dan-pytorch/#respond</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Wed, 17 Feb 2021 12:09:43 +0000</pubDate>
				<category><![CDATA[Deep Learning]]></category>
		<category><![CDATA[Tutorial]]></category>
		<category><![CDATA[convolutional-neural-network]]></category>
		<category><![CDATA[pytorch]]></category>
		<guid isPermaLink="false">https://structilmy.com/?p=2254</guid>

					<description><![CDATA[Sebelumnya maaf semisal judulnya agak &#8220;heboh&#8221; dan terkesan click-bait 😀 tapi di artikel ini beneran saya ingin menunjukkan bahwa deep learning, khususnya image classification dengan CNN sebenarnya dapat dengan mudah dilakukan hanya dengan 6 baris kode berikut menggunakan library Fastai dan Pytorch: Artikel ini berfokus pada pengenalan singkat tentang fastai dan juga penjelasan tentang kode [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Sebelumnya maaf semisal judulnya agak &#8220;heboh&#8221; dan terkesan click-bait <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f600.png" alt="😀" class="wp-smiley" style="height: 1em; max-height: 1em;" /> tapi di artikel ini beneran saya ingin menunjukkan bahwa deep learning, khususnya image classification dengan CNN sebenarnya dapat dengan mudah dilakukan hanya dengan 6 baris kode berikut menggunakan library Fastai dan Pytorch:</p>



<figure class="wp-block-image size-large"><img data-recalc-dims="1" fetchpriority="high" decoding="async" width="1024" height="295" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/carbon-2.png?resize=1024%2C295&#038;ssl=1" alt="" class="wp-image-2276" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/carbon-2.png?resize=1024%2C295&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/carbon-2.png?resize=300%2C86&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/carbon-2.png?resize=768%2C221&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/carbon-2.png?resize=1536%2C443&amp;ssl=1 1536w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/carbon-2.png?w=1658&amp;ssl=1 1658w" sizes="(max-width: 1024px) 100vw, 1024px" /><figcaption><sub>dibuat menggunakan <a href="https://carbon.now.sh" target="_blank" rel="noreferrer noopener">https://carbon.now.sh</a>, versi raw ada di bawah</sub></figcaption></figure>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p>Artikel ini berfokus pada pengenalan singkat tentang fastai dan juga penjelasan tentang kode di atas. Tutorial lebih detail dan mendalam tentang fastai insyaAllah akan kami coba buat di artikel lain.</p></blockquote>



<h2 class="wp-block-heading">Berawal dari Pytorch vs Tensorflow</h2>



<p class="wp-block-paragraph">Sebelum kita masuk lebih dalam tentang Fastai, kita akan me-<em>refresh</em> singkat tentang library atau framework di deep learning. Bagi yang belum tahu, ada dua library besar yang saat ini cukup sering digunakan, yakni <a href="http://pytorch.org" target="_blank" rel="noreferrer noopener nofollow">Pytorch </a>dan <a href="http://tensorflow.org" target="_blank" rel="noreferrer noopener">Tensorflow</a>. Pytorch dibuat oleh Facebook sedangkan Tensorflow oleh Google. Keduanya memiliki beragam fitur yang mendukung deep learning, salah satunya<a href="https://structilmy.com/2019/07/tutorial-dasar-pytorch-tensor-dan-autograd/"> Autograd yang pernah saya bahas di artikel ini</a>. Nah, sering kali bagi yang baru belajar deep learning akan bertanya:</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p>P<strong>ilih pakai Pytorch atau Tensorflow?</strong></p></blockquote>



<h5 class="wp-block-heading"><strong>Jawaban salah</strong></h5>



<p class="wp-block-paragraph"><em>Tensorflow itu lebih mudah dipelajari dan digunakan daripada Pytorch</em>. Itu jawaban yang sering saya dengar. Kenapa salah? karena saya yakin kebanyakan orang yang jawab itu dia <strong>bukan sedang membandingkan Tensorflow yang murni</strong>, melainkan library tambahan yang berada di atas Tensorflow, yakni <a href="http://keras.io" target="_blank" rel="noreferrer noopener nofollow">Keras</a>. Tensorflow yang murni bisa dibilang lumayan ribet juga loh untuk dipelajari dan digunakan (apalagi pas masih versi 1.x di tahun 2019)</p>



<p class="wp-block-paragraph">Jadi sekilas sejarah, dulu library deep learning itu memang susah-susah pemakaiannya (<em>low-level</em>). Library generasi awal, Theano, bahkan ngodingnya harus &#8220;jungkir balik&#8221; alur mikirnya. Karenanya, dibutuhkan library lagi di atasnya yang <em>high-level</em> (mudah dipahami dan digunakan) namun tetap terintegrasi dengan library yang <em>low-level</em>, lahirlah salah satunya Keras. Sekarang Keras sudah sangat terintegerasi dengan Tensorflow bahkan tidak perlu di-install terpisah. Tutorial <a href="https://structilmy.com/2021/01/image-classification-dengan-cnn-dan-tensorflow/" target="_blank" rel="noreferrer noopener">Tensorflow-Keras pernah saya tuliskan di sini</a>.</p>



<h5 class="wp-block-heading"><strong>Jawaban benar</strong></h5>



<figure class="wp-block-image size-large is-resized"><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/image-1.png?resize=525%2C326&#038;ssl=1" alt="" class="wp-image-2266" width="525" height="326" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/image-1.png?w=907&amp;ssl=1 907w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/image-1.png?resize=300%2C186&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/image-1.png?resize=768%2C477&amp;ssl=1 768w" sizes="(max-width: 525px) 100vw, 525px" /><figcaption><sub>dari salah satu developer utama Pytorch</sub></figcaption></figure>



<p class="wp-block-paragraph">Saat ini bisa dibilang Pytorch dan Tensorflow (khususnya versi 2) sangat mirip. Keduanya sama-sama <em>smoothly</em> bisa digunakan untuk hampir kebanyakan kebutuhan riset dan sehari-hari. Jadi apapun librarynya silakan pilih saja, dan yang terpenting, <strong>kuasai dulu sebelum coba library lain</strong>.</p>



<p class="wp-block-paragraph">Kembali ke Jawaban yang salah di atas, ketika kita membandingkan Keras dengan Pytorch maka bisa dibilang kurang <em>apple-to-apple</em>. Karena Keras pada dasarnya adalah <em>high-level</em> library sedangkan Pytorch adalah <em>low-level</em> library, jadi jelas Keras terlihat lebih mudah pemakaiannya. Nah, di artikel ini saya akan jelaskan salah satu <em>high-level </em>library paling populer untuk Pytorch, yakni <a href="http://docs.fast.ai" target="_blank" rel="noreferrer noopener nofollow">Fastai</a>.</p>



<span id="more-2254"></span>



<h2 class="wp-block-heading">Apa itu Fastai</h2>



<p class="wp-block-paragraph"><a href="http://fast.ai" target="_blank" rel="noreferrer noopener">Fast.ai</a> sebenarnya lebih cocok jika dibilang sebagai nama organisasi riset deep learning. Saya pertama kali dengar nama Fast.ai dari course yang mereka <a href="http://course.fast.ai" target="_blank" rel="noreferrer noopener nofollow">sediakan di sini</a> dengan motto khasnya &#8220;<em>Making neural nets uncool again</em>&#8220;. Btw, course deep learning yang mereka sediakan sangat bagus, detail, mendalam, namun tetap mudah diikuti jadi wajib dicoba baik untuk pemula ataupun yang sudah berpengalaman.</p>



<p class="wp-block-paragraph">Nah, selain course, fast.ai juga membuat sebuah <a href="http://docs.fast.ai" target="_blank" rel="noreferrer noopener nofollow">library <code>fastai</code></a> yang dibangun di atas Pytorch. Secara ringkas, library fastai memiliki tujuan yang mirip dengan Keras, yakni menyediakan high-level API untuk pembuatan deep learning di atas library / framework yang telah ada (Pytorch dan Tensorflow). Library ini yang saya gunakan di artikel ini. Seperti yang telah saya tunjukkan di atas, dengan fastai kita bisa mengimplementasikan CNN untuk klasifikasi citra hanya dalam 6 baris kode.</p>



<h2 class="wp-block-heading">Penjelasan Kode</h2>



<p class="wp-block-paragraph">Oke, kita masuk ke kodenya:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">from fastai.vision.all import *
trainloader = ImageDataLoaders.from_folder("train/", valid_pct=0.2, item_tfms=Resize(224))
testloader = trainloader.test_dl(get_image_files("test/"), with_labels=True)
learn = cnn_learner(trainloader, resnet18, metrics=error_rate) 
learn.fine_tune(3) 
print(accuracy(*learn.get_preds(dl=testloader)))</pre>



<p class="wp-block-paragraph">Kode di atas adalah kode yang memang minimalis, menggunakan banyak parameter defaultnya, karena saya hanya menunjukkan betapa simpelnya fastai. Tetapi dengan 6 baris kode tersebut akurasi model yang dihasilkan sangatlah baik.  Bisa jadi ada beberapa pengaturan atau sintaks yang mungkin perlu ditambahkan nantinya. </p>



<p class="wp-block-paragraph">Oke pertama-tama kita akan import library-nya:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">from fastai.vision.all import *</pre>



<p class="wp-block-paragraph">Di fastai, fungsi-fungsi dikelompokkan tergantung domain apa yang akan dikerjakan. Ada 4 domain utama yang disediakan fastai saat ini, yakni vision, text, tabular, dan colaborative filtering (untuk sistem rekomendasi). Karena kita ingin membuat proyek deep learning untuk citra, kita cukup import semua yang ada di <code>vision.all</code>. Walaupun dikelompokkan untuk pada 4 kasus di atas, fastai juga tetap punya fungsi-fungsi umum yang bisa digunakan di beragam kasus.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">trainloader = ImageDataLoaders.from_folder("train/", valid_pct=0.2, item_tfms=Resize(224))
testloader = trainloader.test_dl(get_image_files("test/"), with_labels=True)</pre>



<p class="wp-block-paragraph">Langkah selanjutnya adalah membuat objek DataLoader. Konsep data loader adalah konsep yang umum digunakan di Pytorch. Intinya sebuah objek yang menghandle hampir semua keperluan data, seperti splitting train-validasi, preprocess, pembagian mana fitur mana label, dsb. </p>



<p class="wp-block-paragraph">Jika format dataset citra kita sudah &#8220;standar&#8221; dalam folder dengan struktur seperti ini:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">train/
  kelas_1/
     citra_103.png
     citra_22.png
     ...
  kelas_2/
     citra_123.png
     citra_324.png
     ...
  ...</pre>



<p class="wp-block-paragraph">Maka kita bisa menggunakan fungsi `ImageDataLoaders.from_folder` untuk secara otomatis me-load data. Perlu dicatat, fastai bisa dibilang hampir mewajibkan untuk penggunaan data validasi, ketika tidak kita sediakan maka fastai yang akan otomatis melakukan split dataset. Pada contoh di atas ada parameter <code>valid_pct=0.2</code> yang artinya 20% data akan dipilih secara random untuk validation. Sedangkan parameter <code>item_tfms</code> digunakan untuk proses transformasi data. Pada kode diatas, kita beri nilai <code>Resize(224)</code> yang artinya setiap citra akan di-resize ukurannya menjadi 224&#215;224. </p>



<p class="wp-block-paragraph">Pada baris kedua kita membuat data loader lagi kali ini untuk data test atau data pengujian. Di sini saya meng-&#8220;copy&#8221; proses yang terjadi pada trainloader tapi untuk kebutuhan test menggunakan fungsi <code>trainloader.test_dl()</code>dan menginfokan untuk menggunakan <code>get_image_files()</code> untuk me-load data citra. Kita juga menggunakan parameter <code>with_labels=True</code> untuk memberi tahu agar testloader menyimpan info label dari data test untuk menghitung akurasi.</p>



<p class="wp-block-paragraph"><strong>Khusus untuk pengguna windows</strong>! sampai tulisan ini dibuat, <a href="https://github.com/fastai/fastai/projects/1#card-53140160" target="_blank" rel="noreferrer noopener nofollow">ada bug</a> yang membuat kita perlu menambahkan parameter <code>num_workers=0</code> di kedua fungsi loader di atas, sehingga akan tampak seperti berikut:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">trainloader = ImageDataLoaders.from_folder("train/", valid_pct=0.2, item_tfms=Resize(224), num_workers=0)
testloader = trainloader.test_dl(get_image_files("test/"), with_labels=True, num_workers=0)</pre>



<p class="wp-block-paragraph">Langkah selanjutnya kita akan membuat model  CNN kita. Mungkin tepatnya bukan membuat, melainkan kita akan menggunakan <a href="https://structilmy.com/2021/01/transfer-learning-solusi-deep-learning-dengan-data-sedikit/">pretrained model CNN yang sudah tersedia alias kita akan melakukan transfer learning</a>:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">learn = cnn_learner(trainloader, resnet18, metrics=error_rate) </pre>



<p class="wp-block-paragraph">Pada kode di atas kita membuat objek <code>learner</code> yang menggunakan pretrained model ResNet18 dengan data train dari <code>trainloader</code>. Kita juga menginfokan pada learner untuk menampilkan <code>error_rate</code> di log nantinya.</p>



<p class="wp-block-paragraph">Setelah itu kita cukup jalankan perintah berikut untuk memulai proses pelatihan dengan fine tuning sebanyak 3 epoch (dalam pengaturan <em>default</em>, tepatnya 1 epoch dalam keadaan freeze, dan 3 epoch dalam keadaan semua layer unfreeze):</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">learn.fine_tune(3) </pre>



<p class="wp-block-paragraph">Salah satu yang saya suka dari fastai juga adalah ketika proses training berjalan, progress barnya menarik (baca: info yang ditampilkan lengkap dan cukup untuk jadi log)</p>



<figure class="wp-block-image size-large"><img data-recalc-dims="1" decoding="async" width="784" height="181" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/Screenshot-2021-02-17-181844.png?resize=784%2C181&#038;ssl=1" alt="" class="wp-image-2278" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/Screenshot-2021-02-17-181844.png?w=784&amp;ssl=1 784w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/Screenshot-2021-02-17-181844.png?resize=300%2C69&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/02/Screenshot-2021-02-17-181844.png?resize=768%2C177&amp;ssl=1 768w" sizes="(max-width: 784px) 100vw, 784px" /><figcaption><sub>Kalau pakai jupyter lebih bagus lagi</sub></figcaption></figure>



<p class="wp-block-paragraph">Dan dilanjut dengan menampilkan akurasi ke data test menggunakan fungsi <code>get_preds()</code>. Fungsi tersebut akan mengoutputkan dua nilai dalam bentuk <em>tuple</em>, yakni prediksi dan target/label seharusnya. Sedangkan fungsi <code>accuracy</code> juga bawaan dari fastai untuk menampilkan akurasi diketahui nilai prediksi dan target.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">print(accuracy(*model.get_preds(dl=testloader)))</pre>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p>Tanda * digunakan untuk &#8220;memecah&#8221; elemen-elemen tuple untuk <a href="https://note.nkmk.me/en/python-argument-expand/" target="_blank" rel="noreferrer noopener nofollow">menjadi parameter di sebuah fungsi</a>.</p></blockquote>



<h2 class="wp-block-heading">Hasilnya?</h2>



<p class="wp-block-paragraph">Saya menggunakan data yang sama pada <a href="https://structilmy.com/2019/07/convolutional-neural-network-cnn-menggunakan-pytorch/">tutorial CNN menggunakan Pytorch</a>. Hanya dengan 3 epoch dan 6 baris kode akurasi model dari datatest mencapai 89.17%! Padahal di artikel sebelumnya kita hanya dapat di sekitar 70% <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f600.png" alt="😀" class="wp-smiley" style="height: 1em; max-height: 1em;" /></p>



<h2 class="wp-block-heading">Tutorial Lebih Lanjut</h2>



<p class="wp-block-paragraph">Bagi teman-teman yang tertarik dengan fastai, bisa banget untuk langsung lanjut memperdalam library ini. InsyaAllah kami berencana untuk membuat artikel lain yang membahas fastai lebih lanjut, tapi tidak tahu juga kapan akan publish <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f600.png" alt="😀" class="wp-smiley" style="height: 1em; max-height: 1em;" /> jadi bisa mulai belajar mandiri dari sumber belajar berikut:</p>



<ul class="wp-block-list"><li><a href="http://course.fast.ai" target="_blank" rel="noreferrer noopener nofollow">Course fastai</a> : saya rekomendasikan tonton 2-3 video dulu agar terbayang gambaran umumnya. Sebagai catatan, course ini tidak hanya membahas teknis tetapi juga banyak sisi teorinya, menarik!</li><li><a href="https://docs.fast.ai/tutorial.html" target="_blank" rel="noreferrer noopener">Offi</a><a href="https://docs.fast.ai/tutorial.html" target="_blank" rel="noreferrer noopener nofollow">c</a><a href="https://docs.fast.ai/tutorial.html" target="_blank" rel="noreferrer noopener">ial Tutorial fastai</a>: tapi sejujurnya saya kurang merekomendasikan, dulu belajar dari sini ngerasa agak kesulitan memahami &#8220;kenapa-kenapa&#8221; nya <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f641.png" alt="🙁" class="wp-smiley" style="height: 1em; max-height: 1em;" /></li><li><a href="https://walkwithfastai.com/" target="_blank" rel="noreferrer noopener nofollow">Walk With Fastai</a>: dibuat oleh Zach Mueller (bukan official fastai), berisi course-course yang cocok untuk temen-temen yang ingin fokus ke sisi praktiknya. Saya sangat terbantu dengan walk with fastai, sangat melengkapi course dan tutorial resmi dari fastai <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f600.png" alt="😀" class="wp-smiley" style="height: 1em; max-height: 1em;" /></li></ul>



<p class="wp-block-paragraph">Sekian, semoga bermanfaat! jadi mau pakai library apa untuk proyek deep learning selanjutnya?</p>



<hr class="wp-block-separator"/>



<p class="wp-block-paragraph"><sub>Cover Photo by <a href="https://unsplash.com/@condorito1953?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Arie Wubben</a> on <a href="https://unsplash.com/s/photos/airplane?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></sub></p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2021/02/17/deep-learning-dalam-6-baris-dengan-fastai-dan-pytorch/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2254</post-id>	</item>
		<item>
		<title>Transfer Learning: Solusi Deep Learning dengan Data Sedikit</title>
		<link>https://structilmy.com/blog/2021/01/31/transfer-learning-solusi-deep-learning-dengan-data-sedikit/</link>
					<comments>https://structilmy.com/blog/2021/01/31/transfer-learning-solusi-deep-learning-dengan-data-sedikit/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Sun, 31 Jan 2021 15:49:57 +0000</pubDate>
				<category><![CDATA[Deep Learning]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[Tutorial]]></category>
		<category><![CDATA[convolutional-neural-network]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=1498</guid>

					<description><![CDATA[Salah satu permasalahan yang sering dialami ketika menggunakan deep learning adalah jumlah data yang sedikit. Di luar sana, sebenernya ada banyak solusi yang ditawarkan untuk mengatasi masalah ini. Nah, di sini kita akan bahas salah satunya, yakni Transfer Learning. Artikel ini akan berfokus pada teori di baliknya, sedangkan untuk implementasi akan ada di artikel selanjutnya. [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Salah satu permasalahan yang sering dialami ketika menggunakan deep learning adalah jumlah data yang sedikit. Di luar sana, sebenernya ada banyak solusi yang ditawarkan untuk mengatasi masalah ini. Nah, di sini kita akan bahas salah satunya, yakni Transfer Learning. Artikel ini akan berfokus pada teori di baliknya, sedangkan untuk implementasi akan ada di artikel selanjutnya.</p>



<h2 class="wp-block-heading">Model Deep Learning</h2>



<p class="wp-block-paragraph">Sebelum masuk lebih dalam ke transfer learning, saya ingin mengingatkan sedikit tentang bagaimana konsep deep learning (secara umum machine learning) bekerja.</p>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-3.png?resize=404%2C157&#038;ssl=1" alt="" class="wp-image-2209" width="404" height="157" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-3.png?w=775&amp;ssl=1 775w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-3.png?resize=300%2C117&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-3.png?resize=768%2C300&amp;ssl=1 768w" sizes="auto, (max-width: 404px) 100vw, 404px" /></figure></div>



<p class="wp-block-paragraph">Suatu agen cerdas yang menggunakan deep learning bekerja menggunakan data. Kita berikan data yang banyak untuk dipelajari, kita lakukan proses training/belajar, lalu kita akan mendapat model/agen yang cerdas.</p>



<p class="wp-block-paragraph"><em>Lalu muncul pertanyaan..</em></p>



<p class="wp-block-paragraph">Proses pencarian data itu rumit, proses training itu makan waktu, kenapa kita tidak download saja model cerdas yang ada di internet lalu kita gunakan untuk masalah kita? tidak perlu train, dan tidak perlu ada data, beres kan?</p>



<h2 class="wp-block-heading">Transfer Learning</h2>



<p class="wp-block-paragraph">Ide utama dari transfer learning ini kira-kira seperti ini, </p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p>Kita <strong>gunakan</strong> model yang sudah <strong>dicerdaskan </strong>orang lain untuk permasalahan kita, yang bahkan bisa jadi <strong>berbeda</strong></p></blockquote>



<p class="wp-block-paragraph">Sebagai contoh, kita mau membuat sistem untuk menghitung kendaraan beserta jenisnya menggunakan kamera CCTV. Jika jenis kendaraannya yang ingin dideteksi cukup umum, semisal &#8220;mobil&#8221; atau &#8220;truk&#8221;, kita bisa jadi cukup browsing-browsing, dan kita akan menemukan orang yang sudah membuat model deep learningnya. Kita tinggal download, pakai, dan selesai! Kita telah memiliki model cerdas deep learning yang mampu mendeteksi mobil atau truk. Tanpa perlu mencari data, tanpa perlu melatih model.</p>



<p class="wp-block-paragraph">Tapi seringnya permasalahan yang kita miliki sedikit berbeda. Sedikit saja perbedaan, maka kita sudah tidak bisa lagi pakai model orang lain ini. Contohnya, kita tidak hanya ingin mendeteksi &#8220;mobil&#8221; dan &#8220;truk&#8221; tapi juga &#8220;becak&#8221;. Permasalahannya, &#8220;becak&#8221; itu bukan kendaraan yang di mana-mana ada. Sangat mungkin model yang kita download tadi belum bisa mendeteksi becak.</p>



<p class="wp-block-paragraph">Di sinilah, kita butuh transfer learning. Kembali ke ide utama di atas, dengan transfer learning, kita bisa <strong>memanfaatkan </strong>model orang lain yang <strong>sudah dilatih</strong>, untuk permasalahan kita yang <strong>berbeda</strong>.</p>



<p class="wp-block-paragraph">Jadi ada 3 poin yang kita bahas di sini:</p>



<ul class="wp-block-list"><li>Model yang sudah dicerdaskan</li><li>Cara menggunakan model tersebut</li><li>Permasalahan yang (bisa jadi) berbeda</li></ul>



<p class="wp-block-paragraph">Oh ya, sebelum masuk lebih dalam, konsep Transfer Learning ini berlaku tidak hanya <a href="https://structilmy.com/2021/01/image-classification-dengan-cnn-dan-tensorflow/">untuk arsitektur CNN saja</a>. Tapi pada tutorial ini saya akan banyak mencontohkan menggunakan CNN karena lebih mudah dibayangkan.</p>



<span id="more-1498"></span>



<h2 class="wp-block-heading">1. Model yang sudah cerdas</h2>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-4.png?resize=444%2C176&#038;ssl=1" alt="" class="wp-image-2210" width="444" height="176" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-4.png?w=834&amp;ssl=1 834w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-4.png?resize=300%2C119&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-4.png?resize=768%2C306&amp;ssl=1 768w" sizes="auto, (max-width: 444px) 100vw, 444px" /><figcaption><sup>User (warna merah) mendownload model dari internet buatan orang lain</sup></figcaption></figure></div>



<p class="wp-block-paragraph">Pada transfer learning, kita membutuhkan model yang sudah terlatih, entah itu dilatih oleh orang lain, atau kita melatihnya terlebih dahulu. Model yang sudah terlatih ini disebut dengan <strong>Pre-Trained Model</strong>. Pre-trained model biasanya sudah dilatih pada dataset yang besar dan merupakan dataset benchmark, sehingga kualitas pre-trained model harusnya sudah sangat baik. </p>



<p class="wp-block-paragraph">Saat ini sudah banyak pre-trained model yang disediakan untuk beragam kebutuhan. Misalnya pada <a href="https://pytorch.org/docs/stable/torchvision/models.html" rel="nofollow">halaman ini</a> PyTorch menunjukkan pre-trained model yang tersedia secara resmi untuk image classification yang telah dilatih menggunakan dataset <a href="http://www.image-net.org/" rel="nofollow">ImageNet</a>. Pada <a href="https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf2_detection_zoo.md" rel="nofollow">halaman ini</a> Tensorflow juga menunjukkan model-model yang tersedia untuk object detection. Kumpulan pre-trained model ini juga biasa disebut dengan <strong>Model Zoo</strong>. </p>



<p class="wp-block-paragraph">Alternatif lain selain menggunakan model resmi dari framework, kita juga bisa browsing-browsing dan pakai pre-trained model yang disediakan peneliti-peneliti lain, misalnya model <a href="https://github.com/rafellerc/Pytorch-SiamFC" rel="nofollow">SiameseFC ini</a>. Atau kita juga bisa saja membuat pre-trained model sendiri.</p>



<h2 class="wp-block-heading">2. Cara menggunakan</h2>



<div class="wp-block-image"><figure class="aligncenter size-large is-resized"><img data-recalc-dims="1" loading="lazy" decoding="async" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image.png?resize=473%2C383&#038;ssl=1" alt="" class="wp-image-2189" width="473" height="383" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image.png?w=983&amp;ssl=1 983w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image.png?resize=300%2C244&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image.png?resize=768%2C623&amp;ssl=1 768w" sizes="auto, (max-width: 473px) 100vw, 473px" /><figcaption><sup>Diambil dari paper <strong>How transferable are features in deep neural networks? </strong>di baris keempat tampak model yang sudah dilatih sebagian dengan data A  (Hijau) digunakan untuk menyelesaikan permasalahan pada data B (Ungu)</sup></figcaption></figure></div>



<p class="wp-block-paragraph">Secara umum ada dua cara menggunakan model pre-trained untuk transfer learning. Kedua cara ini pada ilustrasi diatas ditunjukkan dengan simbol gembok terbuka atau tertutup:</p>



<h4 class="wp-block-heading">2.1. Fixed Feature Extractor</h4>



<p class="wp-block-paragraph">Pada metode ini kita menggunakan pre-trained model yang telah dilatih <strong>tanpa melatih ulang model tersebut</strong>, atau istilahnya kita membekukan (<em>freeze</em>) bobot pre-trained model ini. Cara pemakaian yang umum untuk freezed model adalah sebagai <strong>feature extractor</strong>.</p>



<div class="wp-block-image"><figure class="aligncenter size-large"><img data-recalc-dims="1" loading="lazy" decoding="async" width="1024" height="378" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-5.png?resize=1024%2C378&#038;ssl=1" alt="" class="wp-image-2211" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-5.png?resize=1024%2C378&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-5.png?resize=300%2C111&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-5.png?resize=768%2C283&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-5.png?w=1269&amp;ssl=1 1269w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /><figcaption><sup>Ilustrasi Fixed Feature Extractor. Gambar sebelah kiri adalah ilustrasi pembuatan pre-trained model. Model deep learning CNN biasanya terdiri dari layer konvolusi (hijau) dan fully connected layer (merah) di akhir. Pada gambar sebelah kanan, kita hanya menggunakan layer konvolusinya saja yang kita bekukan, sehingga outputnya masih berupa vektor</sup></figcaption></figure></div>



<p class="wp-block-paragraph">Sebagai contoh, kita download pre-trained model resnet18 yang sudah dilatih ke data ImageNet. Arsitektur Resnet18 sama seperti arsitektur CNN pada umumnya memiliki bagian &#8220;konvolusi&#8221; dan memiliki bagian &#8220;klasifikasi&#8221;. Karena arsitektur Resnet ini sudah dilatih maka semua bobot-bobotnya sudah memiliki nilai yang bagus untuk klasifikasi citra di dataset ImageNet. Data imagenet terdiri dari sekitar 1000 kelas.</p>



<p class="wp-block-paragraph">Jika kita buang layer klasifikasi terakhirnya (diilustrasikan warnah merah di gambar di atas), ketika kita inputkan citra, model akan mengoutputkan suatu vektor nilai dari proses konvolusi. Vektor ini bisa kita anggap sebagai fitur citra yang diekstrak menggunakan pre-trained model.  Fitur vektor yang dihasilkan ini nantinya bisa dimanfaatkan untuk beragam kebutuhan. Misal karena vektor itu dianggap fitur, jadinya bisa masuk ke classifier lain (misalnya SVM), lalu classifier tersebut di train (tanpa melatih pre-trained modelnya ya, kan sedang di freeze) untuk klasifikasi. </p>



<p class="wp-block-paragraph">Dengan mengganti layer terakhir pre-trained model, jumlah class pada classifier ini tidak harus sama dengan pre-trained model, misalnya di pre-trained model ada 1000 kelas dan kita hanya ingin membuat model yang mampu mengklasifikasi 2 kelas (mobil atau truk) ya cukup kita ataur di classifier ini hanya 2 kelas.</p>



<h4 class="wp-block-heading">2.2. Fine Tuning</h4>



<p class="wp-block-paragraph">Pada metode ini kita menggunakan pre-trained model yang telah dilatih namun <strong>tidak kita freeze</strong>. Jadi meskipun model sudah dilatih, nantinya pre-trained model ini akan dilatih lagi untuk kebutuhan yang baru.</p>



<p class="wp-block-paragraph">Sebagai contoh, kita ingin melatih model untuk mendeteksi jenis-jenis kendaraan di Indonesia, &#8220;motor&#8221;, &#8220;andong&#8221;, dan &#8220;becak&#8221;. Anggap kita memiliki pre-trained model yang sudah bisa membedakan &#8220;truk&#8221; dan &#8220;mobil&#8221;. Kita bisa melatih ulang model ini menggunakan data citra &#8220;motor&#8221;, &#8220;andong&#8221;, dan &#8220;becak&#8221; <strong>dengan bobot pre-trained model tadi sebagai bobot awal</strong> pelatihan. Proses melatih model dengan nilai awal bobot adalah berasal dari pre-trained model disebut dengan <strong>Fine Tuning</strong>.</p>



<p class="wp-block-paragraph">Loh kok bisa model yang awalnya digunakan untuk mendeteksi &#8220;mobil&#8221; dan &#8220;truk&#8221; digunakan untuk mendeteksi &#8220;motor&#8221;, &#8220;andong&#8221;, dan &#8220;becak&#8221;? Bisa loh :D, karena pre-trained model yang mampu mendeteksi &#8220;mobil&#8221; dan &#8220;truk&#8221;, setidaknya memiliki &#8220;pengetahuan&#8221; yang bisa dimanfaatkan untuk mendeteksi objek lain. Misalnya, model tersebut sudah paham mana yang objek mana yang latar belakang; mana yang pohon mana yang bukan; dsb. Kita melakukan <strong>transfer pengetahuan</strong> tersebut untuk kebutuhan baru. Karenanya kita masih perlu melatih lagi (walau kebanyakan proses pelatihan jauh lebih cepat karena model sudah sedikit cerdas).</p>



<figure class="wp-block-image size-large"><img data-recalc-dims="1" loading="lazy" decoding="async" width="1024" height="350" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-7.png?resize=1024%2C350&#038;ssl=1" alt="" class="wp-image-2213" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-7.png?resize=1024%2C350&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-7.png?resize=300%2C103&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-7.png?resize=768%2C263&amp;ssl=1 768w, https://i0.wp.com/structilmy.com/wp-content/uploads/2021/01/image-7.png?w=1322&amp;ssl=1 1322w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /><figcaption><sup>Ilustrasi metode pertengahan. Ada layer yang di freeze (diarsir) ada yang tidak.</sup></figcaption></figure>



<h4 class="wp-block-heading">2.3. Metode Pertengahan</h4>



<p class="wp-block-paragraph">Selain dua metode di atas, ada juga yang pertengahan yang seakan mengkombinasikan keduanya. Alias, sebagian layer di-freeze, sebagian layer tidak di-freeze. Biasanya layer yang di-freeze adalah beberapa layer yang di depan (yang dekat dengan input layer dan menyimpan informasi yang low-level) sedangkan layer yang di belakang, yang menyimpan informasi yang lebih high-level, tidak di-freeze untuk di-fine tune. Ini biasanya digunakan ketika data yang digunakan untuk melatih pre-trained model dirasa sedikit berbeda dengan data yang baru. Selain itu ini juga kadang dilakukan untuk menghindari fine tuning semua layer. Karena melakukan fine tuning <strong>secara tidak hati-hati </strong>di semua layer dapat &#8220;membodohkan&#8221; model yang sudah cerdas.</p>



<h2 class="wp-block-heading">Permasalahan seperti apa</h2>



<p class="wp-block-paragraph">Berdasarkan kondisi dataset yang akan digunakan dan pre-trained model yang kita miliki, ada sedikit &#8220;aturan&#8221; yang bisa kita ikuti, kapan dan teknik seperti apa yang bisa digunakan untuk transfer learning. Saya tidak akan menjelaskan detailnya, bisa dibaca di bagian &#8220;<strong>When and how to fine-tune?</strong>&#8221; dari <a href="https://cs231n.github.io/" rel="nofollow">https://cs231n.github.io/</a>. </p>



<p class="wp-block-paragraph">Sekian untuk artikel ini, semoga bermanfaat! InsyaAllah implementasinya menyusul <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f642.png" alt="🙂" class="wp-smiley" style="height: 1em; max-height: 1em;" /></p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2021/01/31/transfer-learning-solusi-deep-learning-dengan-data-sedikit/feed/</wfw:commentRss>
			<slash:comments>6</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1498</post-id>	</item>
		<item>
		<title>Convolutional Neural Network (CNN) menggunakan PyTorch</title>
		<link>https://structilmy.com/blog/2019/07/17/convolutional-neural-network-cnn-menggunakan-pytorch/</link>
					<comments>https://structilmy.com/blog/2019/07/17/convolutional-neural-network-cnn-menggunakan-pytorch/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Tue, 16 Jul 2019 20:46:25 +0000</pubDate>
				<category><![CDATA[Computer Vision]]></category>
		<category><![CDATA[Deep Learning]]></category>
		<category><![CDATA[Tutorial]]></category>
		<category><![CDATA[convolutional-neural-network]]></category>
		<category><![CDATA[Python]]></category>
		<category><![CDATA[pytorch]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=1174</guid>

					<description><![CDATA[Artikel ini akan langsung berfokus pada implementasi Convolutional Neural Network (CNN) menggunakan PyTorch untuk Image Classification. Bagi yang ingin memperdalam teori dibalik CNN terlebih dahulu bisa baca pada link artikel sebelumnya yang berisi kumpulan sumber belajar CNN dan jika ingin memperdalam PyTorch, juga bisa baca artikel sebelumnya tentang PyTorch. Jika teman-teman ada yang ingin mengimplementasi [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Artikel ini akan langsung berfokus pada implementasi Convolutional Neural Network (CNN) menggunakan <a href="http://pytorch.org/" target="_blank" rel="noreferrer noopener">PyTorch</a> untuk Image Classification. Bagi yang ingin memperdalam teori dibalik CNN terlebih dahulu bisa baca pada link artikel <a aria-label="sebelumnya yang berisi kumpulan sumber belajar CNN (opens in a new tab)" href="https://structilmy.com/2018/12/how-do-i-learn-neural-network-and-deep-learning/" target="_blank" rel="noreferrer noopener">sebelumnya yang berisi kumpulan sumber belajar CNN</a> dan jika ingin memperdalam PyTorch, juga bisa <a aria-label="baca artikel sebelumnya tentang PyTorch (opens in a new tab)" href="https://structilmy.com/2019/07/tutorial-dasar-pytorch-tensor-dan-autograd/" target="_blank" rel="noreferrer noopener">baca artikel sebelumnya tentang PyTorch</a>. Jika teman-teman ada yang ingin mengimplementasi menggunakan Tensorflow, silakan <a href="https://structilmy.com/2021/01/image-classification-dengan-cnn-dan-tensorflow/">baca artikel ini</a>.</p>



<h2 class="wp-block-heading">Dataset</h2>



<p class="wp-block-paragraph">Kita akan menggunakan Convolutional Neural Network untuk mengklasifikasi citra barang-barang yang ada di sebuah toko (Freiburg Groceries Dataset). Dataset dan code bisa didownload di <a rel="noreferrer noopener" aria-label="repository berikut (opens in a new tab)" href="https://github.com/rianrajagede/groceries_classification" target="_blank">repository berikut</a>. </p>



<p class="wp-block-paragraph">Dataset yang digunakan jumlahnya akan lebih sedikit dari dataset asli agar mempercepat proses pelatihan. Dataset pada repo yang kita gunakan hanya terdiri dari 5 kelas, yakni citra produk Susu (MILK), Air mineral (WATER), soda (SODA), jus (JUICE), dan cuka (VINEGAR), dengan sekitar 900-an gambar untuk pelatihan dan 120 gambar untuk pengujian. Semua citra berukuran sama, yakni 256&#215;256 pixel.</p>


<div class="wp-block-image">
<figure class="aligncenter"><img data-recalc-dims="1" loading="lazy" decoding="async" width="256" height="256" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2019/07/MILK0152.png?resize=256%2C256&#038;ssl=1" alt="Convolutional Neural Network Data" class="wp-image-1185" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2019/07/MILK0152.png?w=256&amp;ssl=1 256w, https://i0.wp.com/structilmy.com/wp-content/uploads/2019/07/MILK0152.png?resize=150%2C150&amp;ssl=1 150w" sizes="auto, (max-width: 256px) 100vw, 256px" /><figcaption>salah satu citra dengan kelas &#8220;MILK&#8221;</figcaption></figure>
</div>


<p class="wp-block-paragraph">Kita akan menggunakan dataset yang ada pada folder &#8220;train&#8221; untuk pelatihan dan yang ada pada folder &#8220;test&#8221; untuk pengujian. Pada tutorial ini kita masih belum menggunakan teknik validasi seperti menggunakan data validasi atau cross-validation.</p>



<h2 class="wp-block-heading">Pengolahan Dataset di PyTorch</h2>



<p class="wp-block-paragraph">Untuk pengolahan citra ada dua package dari python yang bisa kita gunakan, yakni `torchvision.datasets` dan `torchvision.transforms`</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">from torchvision import transforms, datasets</pre>



<span id="more-1174"></span>



<h4 class="wp-block-heading">Datasets dan Transforms</h4>



<p class="wp-block-paragraph">Kita gunakan `datasets` untuk memudahkan proses pembacaan data. Dengan struktur folder seperti yang ada di repo (terkelompok untuk setiap kelas) maka dengan datasets kita bisa menyimpan data beserta label dengan mudah. Sedangkan `transforms` kita gunakan untuk pengolahan awal dataset. </p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">train_dir = "train/"
test_dir = "test/"

train_transform = transforms.Compose([
    transforms.CenterCrop(150),
    transforms.RandomRotation(5), 
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
])
test_transform = transforms.Compose([
    transforms.CenterCrop(150),
    transforms.ToTensor(),
    transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
])

train_img = datasets.ImageFolder(train_dir, transform=train_transform)
test_img = datasets.ImageFolder(test_dir, transform=test_transform)</pre>



<p class="wp-block-paragraph">Pada contoh di atas, saya baca dataset pada folder train dan test menggunakan `datasets.ImageFolder()` lalu masing-masingnya kita beri pengolahan yang telah saya definisikan. Misalnya pada data train, pengolahan yang saya lakukan menggunakan `train_transform`:</p>



<ol class="wp-block-list"><li>crop citra menjadi ukuran 150&#215;150</li><li>lalu secara random beberapa data saya rotasi 5 derajat</li><li>beberapa data juga secara random saya cerminkan secara horizontal</li><li>saya ubah citra menjadi tensor 3D (3 x 150 x 150)</li><li>saya normalisasi masing-masing channel sehingga rata-rata dan standar deviasinya bernilai 0.5</li></ol>



<p class="wp-block-paragraph">Setelah terbaca menggunakan `datasets` maka citra-citra kita akan ter-load sebagai objek `torch.datasets` yang mirip dengan list of tuple. Setiap tuple bagian pertama adalah tensor citra, dan bagian kedua adalah label citra tersebut.</p>



<p class="wp-block-paragraph">Kita bisa print informasi dari dataset kita dengan perintah berikut:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">print("train_img type   :",type(train_img)) # objek datasets
print("train_img length :",len(train_img)) # 940 data train
print("test_img length :",len(test_img)) # 120 data test
print("train_img classes:",train_img.classes) # nama kelas
print("train_img[0] type:",type(train_img[0])) # tuple
print("train_img[0][0] s:",train_img[0][0].size()) # tensor citra
print("train_img[0][1]  :",train_img[0][1]) # label</pre>



<p class="wp-block-paragraph">Objek datasets tersebut, kita ubah bentuknya menjadi `DataLoader` yang akan memudahkan proses batch ketika pelatihan nantinya.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">trainloaders = torch.utils.data.DataLoader(train_img, batch_size=64, shuffle=True)
testloaders = torch.utils.data.DataLoader(test_img, batch_size=32, shuffle=True)</pre>



<h2 class="wp-block-heading">Implementasi Convolutional Neural Network</h2>



<p class="wp-block-paragraph">Ada 3 bagian utama dalam implementasi CNN menggunakan PyTorch:</p>



<ol class="wp-block-list"><li>Class Model / Arsitektur CNN</li><li>Alur pelatihan</li><li>Alur pengujian</li></ol>



<h4 class="wp-block-heading">Arsitektur CNN (Teori)</h4>


<div class="wp-block-image">
<figure class="aligncenter size-large is-resized"><img loading="lazy" decoding="async" src="https://i2.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn1.png?fit=1024%2C328&amp;ssl=1" alt="" class="wp-image-1526" width="582" height="185" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn1.png?w=1103&amp;ssl=1 1103w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn1.png?resize=300%2C96&amp;ssl=1 300w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn1.png?resize=1024%2C328&amp;ssl=1 1024w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/03/cnn1.png?resize=768%2C246&amp;ssl=1 768w" sizes="auto, (max-width: 582px) 100vw, 582px" /><figcaption>Ilustrasi CNN untuk klasifikasi citra ke 3 kelas (hanya contoh, berbeda dengan arsitektur yang akan digunakan pada artikel ini)</figcaption></figure>
</div>


<p class="wp-block-paragraph">Pada tutorial ini, kita akan menggunakan model CNN dengan dua convolutional layer dan sebuah fully connected layer. Dengan detail parameter setiap layer sebagai berikut:</p>



<figure class="wp-block-image size-large"><img data-recalc-dims="1" loading="lazy" decoding="async" width="677" height="550" src="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/06/convdiagram-2.png?resize=677%2C550&#038;ssl=1" alt="" class="wp-image-1670" srcset="https://i0.wp.com/structilmy.com/wp-content/uploads/2020/06/convdiagram-2.png?w=677&amp;ssl=1 677w, https://i0.wp.com/structilmy.com/wp-content/uploads/2020/06/convdiagram-2.png?resize=300%2C244&amp;ssl=1 300w" sizes="auto, (max-width: 677px) 100vw, 677px" /><figcaption><em>W = window size, S = stride, P = padding, FM = feature map, N = jumlah neuron</em></figcaption></figure>



<p class="wp-block-paragraph">Pada proses konvolusi atau pooling, parameter window size, pooling size, stride, dan padding akan menentukan perubahan ukuran data setelahnya.  Ukuran data setelah proses konvolusi atau pooling  dapat dihitung dengan menggunakan rumus berikut:</p>



<p class="wp-block-paragraph">$$ UkuranAkhir  =\frac{UkuranAwal &#8211; W + 2P}{S} + 1 $$</p>



<p class="wp-block-paragraph">Rumus tersebut dihitung untuk setiap sisi citra. Sebagai contoh di atas, citra memiliki ukuran panjang x lebar (150 x 150). Pada layer Conv1 ukuran awal sisi panjang citra adalah 150. Dikarenakan nilai sisi panjang W = 3, lalu nilai  P = 0, dan S = 1, diperoleh sisi panjang citra setelah proses adalah 148. Karena citra input memiliki sisi lebar yang sama, yakni 150, maka sisi lebar citra dihitung dengan cara dan diperoleh Conv1 adalah 148. Sehingga diperoleh hasil proses konvolusi berukuran 148 x 148 x 32 (dari 32 feature maps). Proses ini juga dilakukan di layer Pool1, Conv2, dan Pool2 dengan UkuranAwal adalah UkuranAkhir dari layer sebelumnya.</p>



<h4 class="wp-block-heading">Arsitektur CNN (Praktik)</h4>



<p class="wp-block-paragraph">Pembuatan model pada PyTorch dilakukan dengan menyusun urutan layer dan perhitungan yang akan terjadi. Model yang digunakan biasanya dalam bentuk Class dengan sebuah fungsi `forward(x)` untuk menghitung proses forward propagation</p>



<p class="wp-block-paragraph">Sebelum mendefinsikan model beberapa library perlu yang diimport untuk pembentukan model, yakni:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">import torch
import torch.nn as nn
import torch.nn.functional as F</pre>



<p class="wp-block-paragraph">Lalu untuk membuat modelnya kita buat dengan mendefinisikan class berikut:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">class Net(nn.Module):
   
    def __init__(self):
        super(Net, self).__init__()

        self.conv1 = nn.Conv2d(3, 16, kernel_size=4, stride=1, padding=0)
        self.pool = nn.MaxPool2d(kernel_size=3, stride=2, padding=0)
        self.conv2 = nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=0)
        self.fc1 = nn.Linear(39200, 512)
        self.fc2 = nn.Linear(512, 5)
        self.do = nn.Dropout()
    
    def forward(self, x):
        ## Define forward behavior
        x = self.pool(F.relu(self.conv1(x))) # (A)
        x = self.pool(F.relu(self.conv2(x))) # (B)
        x = x.reshape(x.shape[0], -1) # (C)
        x = self.do(F.relu(self.fc1(x))) # (D)
        x = self.fc2(x) # (E)
        return x</pre>



<p class="wp-block-paragraph">Bisa dilihat pada class tersebut, terdapat dua komponen utama. Pada bagian `__init__` kita mendefinisikan layer-layer yang akan digunakan. Sedangkan pada bagian `forward` kita definisikan bagaimana struktur dan alur forward propagation neural networknya dengan input suatu data `x`.</p>



<p class="wp-block-paragraph">Jadi keliatan, pada bagian (A) awalnya `x` masuk layer `conv1`, lalu kena fungsi aktivasi ReLU, lalu pooling. Lalu dilanjut juga pada bagian (B) juga sama. Pada bagian (C) dilakukan proses flattening atau perataan input yang berbentuk array multi dimensi menjadi satu dimentsi. Pada bagian (D) model masuk ke hidden layer dan bagian (E) adalah output layer</p>



<p class="wp-block-paragraph">Setelah class tersebut jadi, untuk membuat model kita cukup membuat sebuah objek baru dari class tersebut</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">model = Net()</pre>



<h4 class="wp-block-heading">Alur Pelatihan</h4>



<p class="wp-block-paragraph">Kita mulai dengan definisikan terlebih dahulu algoritma dan parameter pelatihan:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">criterion = nn.CrossEntropyLoss() # loss function
optimizer = torch.optim.Adam(model.parameters()) # algoritma backprop
epoch = 20 # iterasi pelatihan</pre>



<p class="wp-block-paragraph">Karena kita akan menggunakan GPU, maka jangan lupa juga pindahkan model kita ke GPU dengan cara berikut:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">model = model.to("cuda")</pre>



<p class="wp-block-paragraph">Mengikuti stylenya Alfredo Canziani, profesor di NYU, untuk implementasi pelatihan di PyTorch ada<a href="https://www.youtube.com/watch?v=OMDn66kM9Qc&amp;t=532s" target="_blank" rel="noreferrer noopener"> 5 langkah besar pada prosesnya</a>:</p>



<ol class="wp-block-list"><li>Forward Propagation</li><li>Hitung error</li><li>Bersihkan gradient</li><li>Backpropagation error / Menghitung gradient</li><li>Update bobot </li></ol>



<p class="wp-block-paragraph">Kelima langkah tersebut diimplemetnasikan menggunakan kode di bawah. Dapat diperhatikan ada dua iterasi besar yang terjadi, iterasi pertama untuk banyak epoch sedangkan iterasi kedua menunjukkan berapa kali terjadinya backpropagation yang dilakukan setiap mini-batch dari data training (`trainloaders`).</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">model.train()
for i in range(epoch):
    total_loss = 0
    total_sample = 0
    total_correct = 0

    for image, label in trainloaders: # data tiap batch (64 citra)
        # image adalah tensor berukuran 64 x 3 x 150 x 150
        # label adalah tensor berukuran 64 x 1

        image = image.to('cuda') # pindahkan image ke GPU
        label = label.to('cuda') # pindahkan label ke GPU

        out = model(image) # LANGKAH 1: forward propagation
        loss = criterion(out, label) # LANGKAH 2: hitung error
        optimizer.zero_grad() # LANGKAH 3: bersihkan nilai gradient sisa komputasi
        loss.backward() # LANGKAH 4: backpropagation
        optimizer.step() # LANGKAH 5: update bobot berdasar algoritma optimizer

        total_loss += loss.item() # untuk merata2 eror
        total_sample += len(label) # untuk merata2 eror dan akurasi
        total_correct += torch.sum(torch.max(out,1)[1]==label).item()*1.0 # untuk merata2 eror akurasi

    print("epoch", i, total_loss/total_sample, total_correct/total_sample) # menampilkan rata2 eror dan akurasi tiap epoch</pre>



<p class="wp-block-paragraph">Jika tidak terjadi masalah maka akan tampak nilai rata-rata eror akan terus menurun dan rata-rata akurasi akan terus meningkat. Saya melakukan pelatihan di laptop saya ASUS A455L dengan GPU Nvidia 920m, lama pelatihan untuk 20 iterasi tidak sampai setengah jam.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">epoch 0 0.03158918555746687 0.30638297872340425
epoch 1 0.021654276264474748 0.39787234042553193
epoch 2 0.01974692699757028 0.46702127659574466
...
epoch 18 0.004239923189929191 0.8978723404255319
epoch 19 0.0036402822967539442 0.9287234042553192</pre>



<h4 class="wp-block-heading">Alur Pengujian</h4>



<p class="wp-block-paragraph">Setelah model selesai dilatih, maka kita akan uji dengan data test. Data test yang belum kita gunakan ini saya pilih secara acak dari masing-masing kelas dan tidak ada di data train.</p>



<p class="wp-block-paragraph">Proses pengujian tidak beda banyak dengan pelatihan, kita cukup memastikan tidak terjadi backpropagation ataupun update bobot pada saat pengujian. Hal ini dilakukan dengan mengubah status model menjadi `eval()` dan menghapus bagian backprop.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">model.eval()
total_loss = 0
total_sample = 0    
total_correct = 0

for image, label in testloaders:
    image = image.to("cuda")
    label = label.to("cuda")
    
    out = model(image)
    loss = criterion(out, label)

    total_loss += loss.item()
    total_sample += len(label)
    total_correct += torch.sum(torch.max(out, 1)[1] == label).item()*1.0

print("test loss", total_loss/total_sample)
print("test accuracy", total_correct/total_sample)</pre>



<p class="wp-block-paragraph">Jika kode di atas dijalankan akan menampilkan akurasi model kita. Di laptop saya akurasi yang muncul adalah sekitar 70%. Akurasi ini sudah lebih &#8220;cerdas&#8221; daripada sekadar menebak kelas secara random. Akurasi ini sudah cukup bagus menurut saya mengingat data yang cukup sulit dan model yang sangat simpel. </p>



<p class="wp-block-paragraph">Apakah akurasi ini masih bisa ditingkatkan? insyaAllah.. silakan coba ganti-ganti arsitektur dan parameter untuk mendapatkan akurasi yang lebih baik (disebut Tuning Parameter). Misalnya dengan mengubah algoritma, jumlah neuron, atau banyak epoch. Beberapa eksperimen harus dilakukan untuk menjadikan akurasi kita benar-benar baik dan valid.</p>



<p class="wp-block-paragraph">Kita akan coba meningkatkan akurasi model kita dengan beberapa teknik di artikel selanjutnya <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f642.png" alt="🙂" class="wp-smiley" style="height: 1em; max-height: 1em;" /></p>



<p class="wp-block-paragraph"><sub>Featured image: Photo by <a href="https://unsplash.com/@birminghammuseumstrust?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Birmingham Museums Trust</a> on <a href="https://unsplash.com/?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></sub></p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2019/07/17/convolutional-neural-network-cnn-menggunakan-pytorch/feed/</wfw:commentRss>
			<slash:comments>2</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1174</post-id>	</item>
	</channel>
</rss>

<!--
Performance optimized by W3 Total Cache. Learn more: https://www.boldgrid.com/w3-total-cache/?utm_source=w3tc&utm_medium=footer_comment&utm_campaign=free_plugin

Object Caching 0/158 objects using Memcache
Page Caching using Disk: Enhanced 
Database Caching using Redis

Served from: structilmy.com @ 2026-11-17 06:58:10 by W3 Total Cache
-->