<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>fasttext Archives - Structilmy</title>
	<atom:link href="https://structilmy.com/blog/tag/fasttext/feed/" rel="self" type="application/rss+xml" />
	<link>https://structilmy.com/tag/fasttext/</link>
	<description>Tutorial, Catatan, Dokumentasi</description>
	<lastBuildDate>Fri, 02 Oct 2020 16:03:01 +0000</lastBuildDate>
	<language>en-US</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.4</generator>

<image>
	<url>https://i0.wp.com/structilmy.com/wp-content/uploads/2019/01/cropped-favs.png?fit=32%2C32&#038;ssl=1</url>
	<title>fasttext Archives - Structilmy</title>
	<link>https://structilmy.com/tag/fasttext/</link>
	<width>32</width>
	<height>32</height>
</image> 
<site xmlns="com-wordpress:feed-additions:1">165056026</site>	<item>
		<title>Melanjutkan Training Extend FastText Model</title>
		<link>https://structilmy.com/blog/2020/09/18/melanjutkan-training-atau-extend-fasttext-model/</link>
					<comments>https://structilmy.com/blog/2020/09/18/melanjutkan-training-atau-extend-fasttext-model/#comments</comments>
		
		<dc:creator><![CDATA[Rochana Prih Hastuti]]></dc:creator>
		<pubDate>Fri, 18 Sep 2020 06:36:25 +0000</pubDate>
				<category><![CDATA[Natural Language Processing]]></category>
		<category><![CDATA[Tutorial]]></category>
		<category><![CDATA[fasttext]]></category>
		<category><![CDATA[natural-language-processing]]></category>
		<category><![CDATA[word-embedding]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=1608</guid>

					<description><![CDATA[Artikel kali ini membahas bagaimana cara melanjutkan training atau extend Fasttext model yang sudah ada, dengan menambahkan dataset baru. Pada artikel sebelumnya, Word embedding dengan Fasttext bagian 1.5, telah dibahas cara menggunakan model pre-trained Fasttext word embedding dalam Bahasa Indonesia yang disediakan oleh Facebook. Manfaat dari extend model adalah kita bisa menambahkan kosa kata baru [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Artikel kali ini membahas bagaimana cara melanjutkan training atau <strong>extend Fasttext</strong> model yang sudah ada, dengan menambahkan dataset baru. Pada artikel sebelumnya, <a href="https://structilmy.com/2019/05/word-embedding-bahasa-indonesia-menggunakan-fasttext-part-1-5/">Word embedding dengan </a><a rel="noreferrer noopener" href="https://structilmy.com/2019/05/word-embedding-bahasa-indonesia-menggunakan-fasttext-part-1-5/" target="_blank">Fasttext </a><a href="https://structilmy.com/2019/05/word-embedding-bahasa-indonesia-menggunakan-fasttext-part-1-5/">bagian 1.5</a>, telah dibahas cara menggunakan model pre-trained Fasttext word embedding dalam Bahasa Indonesia yang disediakan oleh Facebook. Manfaat dari extend model adalah kita bisa menambahkan kosa kata baru ke dalam vocabulary model pre-trained Fasttext, tanpa perlu train ulang dari awal. </p>



<p class="wp-block-paragraph">Definisi model pre-trained di sini tidak terbatas pada model pre-trained yang disediakan Facebook, tapi bisa juga berupa model word embedding Fasttext yang sudah kita train sendiri sebelumnya. Namun untuk contoh, akan digunakan model pre-trained Fasttext Bahasa Indonesia dari Facebook. </p>



<ol class="wp-block-list"><li><strong>Load Pre-Trained Model FastText dari Facebook</strong></li><li><strong>Cek Model Awal</strong></li><li><strong>Menyiapkan Dataset</strong></li><li><strong>Extend Model</strong></li><li><strong>Cek Model Setelah di-Extend</strong></li></ol>



<span id="more-1608"></span>



<h4 class="wp-block-heading">1. Load Pre-Trained Model FastText dari Facebook</h4>



<p class="wp-block-paragraph">Fungsi untuk melakukan extend model ini hanya disediakan oleh library Gensim. Maka jika kita ingin meng-extend model pre-trained dari Facebook, sebelumnya kita perlu meload model tersebut dalam format Gensim. Penjelasan tentang pemakaian Gensim pernah dibahas pada artikel <a href="https://structilmy.com/2019/05/word-embedding-bahasa-indonesia-menggunakan-fasttext-part-1-5/">Word embedding dengan Fasttext bagian 1.</a></p>



<p class="wp-block-paragraph">Pada contoh kode di bawah ini, saya menggunakan model FastText untuk Bahasa Indonesia dengan dimensi vektor 300, yang bisa didownload di <a rel="noreferrer noopener" href="https://fasttext.cc/docs/en/crawl-vectors.html#models" target="_blank">Models for 157 language,</a> dengan nama file &#8220;<span class="has-inline-color has-vivid-red-color">cc.id.300.bin</span>&#8220;. Kemudian untuk memperingan proses, dimensi dirubah ke ukuran 50 dengan cara seperti yang tertulis juga di <a rel="noreferrer noopener" href="https://fasttext.cc/docs/en/crawl-vectors.html#adapt-the-dimension" target="_blank">Adapt the dimension</a>.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group=""># Install gensim:
!pip install --upgrade gensim

# Load pre-trained FastText Facebook dim 50:
from gensim.models.fasttext import load_facebook_model
fb_model = load_facebook_model("cc.id.50.bin") </pre>



<h4 class="wp-block-heading">2. Cek Model Awal</h4>



<p class="wp-block-paragraph">Sebelum lanjut, cek terlebih dahulu properti model awal yang akan di-extend, dengan memprint variabel objek model, contoh di bawah yakni <span style="color:#1b5381" class="has-inline-color">fb_model</span>. Terlihat bahwa model pre-trained yang saya gunakan memiliki vocab sebanyak 2 juta kata unik di dalamnya.</p>



<p class="wp-block-paragraph">Kemudian, saya menentukan sebuah kata yang tidak ditemukan pada vocab model pre-trained, variabel <span style="color:#1b5381" class="has-inline-color">term</span>. Sebagai contoh di bawah ini saya gunakan kata <span class="has-inline-color has-black-color">&#8220;</span><span class="has-inline-color has-vivid-red-color"><em>Quran)</em></span><span class="has-inline-color has-black-color">&#8220;</span>. Kata ini random saja saya pilih, yang penting kata tidak terdapat dalam vocab, sehingga nantinya bisa membuktikan bahwa kita berhasil melanjutkan proses extend training FastText. </p>



<pre class="EnlighterJSRAW"># cek model awal
print(fb_model) # FastText(vocab=2000000, size=50, alpha=0.025)

# cek kata OOV (Out of Vocab)
import numpy as np
term = &#039;Quran)&#039;
if term in fb_model.wv.vocab:
  print(True)
  print(&quot;Kata &quot; + term + &quot; sudah ada di Vocab&quot;
else:
  print(False)
  print(&quot;Kata &quot; + term + &quot; belum ada di Vocab&quot;) 

# simpan vektor awal dari term
old_vect = np.copy(fb_model.wv&#091;term])</pre>



<p class="wp-block-paragraph">Perlu diingat bahwa model pre-trained dari Facebook ini sudah memiliki vocab yang cukup banyak, karena diekstrak dari corpus wikipedia bahasa Indonesia yang cukup lengkap. Sehingga pada umumnya, kita tidak perlu lagi menambahkan corpus untuk melakukan task-task NLP sederhana. </p>



<h4 class="wp-block-heading">3. Menyiapkan Dataset</h4>



<p class="wp-block-paragraph">Dataset baru yang saya gunakan yakni terjemahan Al-Quran bahasa Indonesia yang saya peroleh dari github <a href="https://github.com/kirralabs/indonesian-NLP-resources" target="_blank" rel="noreferrer noopener">Indonesian-NLP-resources</a> , dan terdiri dari 6249 kalimat. Corpus ini kemudian disimpan ke dalam list <span style="color:#1b5381" class="has-inline-color">new_sentences</span>, dan tiap kalimat dipecah token kata-nya berdasarkan spasi yang juga disimpan dalam list. Sehingga struktur yang digunakan untuk menyimpan corpus ini adalah<span style="color:#1b5381" class="has-inline-color"> list of lists of tokens (string)</span>. Selain list of lists, kita bisa juga membaca corpus file secara langsung, yakni dengan parameter <span style="color:#1b5381" class="has-inline-color">corpus_file </span>pada dokumentasi <a href="https://radimrehurek.com/gensim/models/fasttext.html#gensim.models.fasttext.FastText.train" target="_blank" rel="noreferrer noopener">FastText train Gensim</a>.</p>



<p class="wp-block-paragraph">Pada tahap ini saya tidak melakukan pre-processing apapun terhadap dataset baru, namun bisa juga jika kita ingin melakukannya untuk menyederhanakan ukuran vocab misalnya dengan lowercase, clear punctuation, dsb.</p>



<pre class="EnlighterJSRAW"># https://github.com/kirralabs/indonesian-NLP-resources
# corpus Quran translate Indonesia
with open(path+&#039;id.indonesian.txt&#039;) as f:
  # list of lists of tokens
  new_sentences = &#091;line.rstrip().split() for line in f]</pre>



<h4 class="wp-block-heading">4. Extend Model</h4>



<p class="wp-block-paragraph">Proses extend training FastText menggunakan dua fungsi ini: <span style="color:#1b5381" class="has-inline-color">model.build_vocab </span>dan <span style="color:#1b5381" class="has-inline-color">model.train</span>. Fungsi <span style="color:#1b5381" class="has-inline-color">build_vocab </span>adalah fungsi untuk menambahkan vocab dari dataset baru ke vocab model. Jika kita print object <span style="color:#1b5381" class="has-inline-color">fb_model </span>setelah menjalankan <span style="color:#1b5381" class="has-inline-color">fb_model.build_vocab</span>, maka akan terlihat bahwa jumlah vocab sudah mengalami perubahan. Akan tetapi, proses ini sebenarnya hanya menambahkan key vocab, namun tidak merubah vektor embeddingnya.  </p>



<p class="wp-block-paragraph">Fungsi <span style="color:#1b5381" class="has-inline-color">train </span>adalah fungsi yang dibutuhkan untuk melakukan training lanjutan ke <span style="color:#1b5381" class="has-inline-color">fb_model</span>. Pada bagian ini terdapat parameter <span style="color:#1b5381" class="has-inline-color">epochs</span>, yang kita isikan dengan banyak epoch yang ingin di-set untuk melakukan training. Selain men-set nilai epoch sendiri, parameter ini bisa juga diisikan dengan <span style="color:#1b5381" class="has-inline-color">fb_model.epochs</span>, yang berarti jumlah epoch menyesuaikan model awal.</p>



<pre class="EnlighterJSRAW"># Update vocabulary
fb_model.build_vocab(new_sentences, update=True)

# Extend training
print(&quot;Mulai training...&quot;)
fb_model.train(new_sentences, total_examples=len(new_sentences), epochs=2)
print(&quot;Selesai training...&quot;)</pre>



<h4 class="wp-block-heading">5. Cek Model Setelah di-Extend</h4>



<p class="wp-block-paragraph">Setelah proses training selesai, kita pastikan bahwa model berhasil melakukan extend training. Jika kata &#8220;<span class="has-inline-color has-vivid-red-color"><em>Quran)</em></span>&#8221; yang berasal dari dataset baru, ada dalam vocab model FastText dan nilai vektornya berubah, maka kita telah berhasil melakukan extend training pada pre-trained FastText model kita dengan dataset baru.</p>



<pre class="EnlighterJSRAW"># Kalau True, term sekarang ada di vocabulary model
if term in fb_model.wv.vocab:
  print(True)
  print(&#039;Kata baru &#039; + term + &#039; sekarang ada di vocabulary&#039;)

# Kalau False, vektor sudah berubah
new_vect = fb_model.wv&#091;term]
 # vektor term setelah train
if np.allclose(old_vect, new_vect, atol=1e-4):
  print(True)
  print(&#039;Vektor belum berubah, model belum belajar&#039;)
else:
  print(False) 
  print(&#039;Vektor berubah, model telah belajar&#039;)</pre>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2020/09/18/melanjutkan-training-atau-extend-fasttext-model/feed/</wfw:commentRss>
			<slash:comments>2</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1608</post-id>	</item>
		<item>
		<title>Membuat Model Word Embedding Fasttext Bahasa Indonesia</title>
		<link>https://structilmy.com/blog/2019/08/07/membuat-model-word-embedding-fasttext-bahasa-indonesia/</link>
					<comments>https://structilmy.com/blog/2019/08/07/membuat-model-word-embedding-fasttext-bahasa-indonesia/#comments</comments>
		
		<dc:creator><![CDATA[Rian Adam]]></dc:creator>
		<pubDate>Wed, 07 Aug 2019 08:16:31 +0000</pubDate>
				<category><![CDATA[Natural Language Processing]]></category>
		<category><![CDATA[Tutorial]]></category>
		<category><![CDATA[fasttext]]></category>
		<category><![CDATA[feature extraction]]></category>
		<category><![CDATA[natural-language-processing]]></category>
		<category><![CDATA[Python]]></category>
		<guid isPermaLink="false">http://structilmy.com/?p=1336</guid>

					<description><![CDATA[Artikel ini adalah kelanjutan dari dua artikel sebelumnya, word embedding dengan Fasttext bagian 1 dan word embedding dengan Fasttext bagian 1.5. Pada artikel sebelumnya kita berfokus menggunakan pretrained model Fasttext Bahasa Indonesia menggunakan package gensim dan package Fasttext Python. Kali ini kita akan mencoba membuat model word embedding Fasttext Bahasa Indonesia sendiri menggunakan package Fasttext [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Artikel ini adalah kelanjutan dari dua artikel sebelumnya, <a href="https://structilmy.com/2019/04/word-embedding-bahasa-indonesia-menggunakan-fasttext-part-1/">word embedding dengan Fasttext bagian 1</a> dan <a href="https://structilmy.com/2019/05/word-embedding-bahasa-indonesia-menggunakan-fasttext-part-1-5/">word embedding dengan Fasttext bagian 1.5</a>. Pada artikel sebelumnya kita berfokus menggunakan pretrained model Fasttext Bahasa Indonesia menggunakan package gensim dan package Fasttext Python. Kali ini kita akan mencoba membuat model word embedding Fasttext Bahasa Indonesia sendiri menggunakan package <a href="https://github.com/facebookresearch/fastText/tree/master/python">Fasttext python</a>.</p>



<h2 class="wp-block-heading">Apa yang dibutuhkan?</h2>



<p class="wp-block-paragraph">Dalam membuat model word embedding Fasttext Bahasa Indonesia, yang kita butuhkan pertama adalah dataset. Untuk menghasilkan model yang baik, diperlukan dataset yang cukup besar. Karena ukuran dataset yang bisa sangat besar, disarankan menggunakan komputer dengan RAM berkapasitas besar, atau kalau saya pribadi <a href="https://structilmy.com/2019/05/mengenal-google-colab/">menggunakan Google Colab.</a> </p>



<span id="more-1336"></span>



<p class="wp-block-paragraph">Pada artikel ini kita akan menggunakan dataset dari Wikipedia bahasa Indonesia. Dataset ini cukup besar, saya hanya akan menggunakan sebagiannya saja. Dataset bisa didownload di link berikut:</p>



<p class="wp-block-paragraph"><a href="https://dumps.wikimedia.org/idwiki/latest/idwiki-latest-pages-articles.xml.bz2">https://dumps.wikimedia.org/idwiki/latest/idwiki-latest-pages-articles.xml.bz2</a> </p>



<p class="wp-block-paragraph">Karena itu adalah dataset semua artikel terakhir (<em>latest</em>) bahasa Indonesia yang ada di Wikipedia, maka ukuran dataset tersebut bisa terus bertambah setiap harinya (dataset wikipedia bahasa Inggris ukurannya telah mencapai &gt;10GB), Saya menyediakan dataset Wikipedia bahasa Indonesia dengan ukuran ~500MB yang saya ambil pada tanggal 7 Agustus 2019. Dataset tersebut bisa <a href="https://drive.google.com/file/d/1A8pop92mV3XQI6mhRHIcJK_8kxQQG_Ar/view?usp=sharing">didownload di sini</a>.</p>



<p class="wp-block-paragraph">Format dataset yang diminta Fasttext sebenarnya cukup sederhana yakni sebuah text file dengan encoding utf-8 berisi kalimat-kalimat bahasa Indonesia (bisa ditulis beberapa baris berbeda jika konteks dari teks berbeda). Jadi sangat mungkin untuk membuat dataset sendiri jika kesulitan menggunakan dataset yang terlalu besar.</p>



<p class="wp-block-paragraph">Yang disiapkan juga ada beberapa package yang perlu diinstall. Proses pelatihan model akan dilakukan menggunakan package Fasttext python yang dapat diinstall melalui pip:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">pip install fasttext</pre>



<p class="wp-block-paragraph">Kita juga masih membutuhkan package gensim untuk mengolah data Wikipedia yang belum sesuai format:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">pip install gensim</pre>



<h2 class="wp-block-heading">Mengolah Dataset</h2>



<p class="wp-block-paragraph">Menggunakan Gensim kita bisa me-load dataset tanpa perlu mengekstraknya terlebih dahulu, menggunakan `WikiCorpus`:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">from gensim.corpora import WikiCorpus

dataset = WikiCorpus("idwiki-latest-pages-articles.xml.bz2", lemmatize=False, dictionary={})</pre>



<p class="wp-block-paragraph">Kode di atas menggunakan dataset terbaru dari artikel di Wikipedia, jika menggunakan dataset yang saya sediakan ubah <code>latest</code> menjadi <code>0708201</code>. Pastikan juga memberi nilai parameter <code>lemmatize</code> menjadi <code>False</code> dan <code>dictionary</code> dengan <code>{}</code>, karena jika tidak proses loading dataset akan sangat lama!</p>



<p class="wp-block-paragraph">Data asli dari Wikipedia tidaklah sesuai fomat dengan data yang diminta Fasttext. Kita perlu melakukan pengolahan terlebih dahulu. Kode dibawah ini dijalankan untuk mengolah dataset menjadi format yang sesuai:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">with open("wiki-id-formatted.txt", 'w', encoding="utf8") as output:
     counter = 0
     for text in wiki.get_texts():
         output.write(' '.join(text)+"\n")
         counter = counter + 1
         if i > 100000: # Hanya mengambil 100,000 artikel pertama
             break</pre>



<p class="wp-block-paragraph">Kode diatas akan membuat file baru bernama `wiki-id-formatted.txt` yang sesuai dengan format Fasttext. Artikel yang sama akan di tulis dalam satu baris yang sama. Saya menghentikan iterasi pada 100,000 artikel saja, hal ini untuk mempercepat proses pelatihan. Saat ini terdapat lebih dari 300,000 artikel Bahasa Indonesia di Wikipedia. Proses di atas di Google Colab berlangsung selama ~8 menit.</p>



<h2 class="wp-block-heading">Proses Pelatihan</h2>



<p class="wp-block-paragraph">Setelah datasetnya siap, proses pelatihan model word embedding Fasttext Bahasa Indonesia tidaklah sulit. Cukup jalankan perintah di bawah:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">import fasttext

model = fasttext.train_unsupervised('wiki-id-formatted.txt', model='skipgram')</pre>



<p class="wp-block-paragraph">Parameter `model=skipgram` adalah pilihan metode atau algoritma untuk membuat model. Selain skipgram, Fasttext juga menyediakan metode `cbow`. Ukuran dimensi secara default adalah 100, untuk mengubahnya tambahkan parameter `dim`, misalnya untuk dimensi 300, tambahkan menjadi:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">model300 = fasttext.train_unsupervised('wiki-id-formatted.txt', model='skipgram', dim=300)</pre>



<p class="wp-block-paragraph">Proses pembuatan model dengan 100 dimensi di Google Colab, berlangsung sekitar 110 menit. Karena prosesnya lama, pastikan untuk menyimpan model yang telah jadi menggunakan fungsi `save_model`:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">model.save_model("trained_model_id.bin")</pre>



<h2 class="wp-block-heading">Model Fasttext Bahasa Indonesia</h2>



<p class="wp-block-paragraph">Setelah selesai pelatihan maka model yang sudah jadi kini sudah bisa digunakan. Kita bisa mendapatkan vektor kata dengan pemanggilan seperti dictionary, misalnya untuk mendapatkan vektor kata &#8220;jakarta&#8221;:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">vektor = model["jakarta"]&lt;br>print(len(vektor))    # 100 dimensi</pre>



<p class="wp-block-paragraph"><strong>Perlu diingat</strong>, model word embedding yang kita buat adalah model dari Fasttext python. Model ini sedikit berbeda jika kita membuatnya menggunakan Gensim, model Fasttext Python tidak menyediakan banyak fungsi.</p>



<p class="wp-block-paragraph">Misalnya di Gensim kita pernah tahu fungsi `most_similar` untuk mencari kata-kata yang berhubungan dengan kata yang kita inputkan, di model Fasttext fungsi itu harus dibuat sendiri. Kita bisa melakukan iterasi dari semua kata yang ada lalu mencari kata dengan cosine similarity nya paling besar.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="python" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">import math

def vector_len(v):
    return math.sqrt(sum([x*x for x in v]))

def dot_product(v1, v2):
    return sum([x*y for (x,y) in zip(v1, v2)])

def cosine_similarity(v1, v2):
    return dot_product(v1, v2) / (vector_len(v1) * vector_len(v2))

def most_similar(x, top=10):
    v1 = model.get_word_vector(x)
    all_word = []
    for word in model.words:
        if word!=x:
            v2 = model.get_word_vector(word)
            all_word.append((cosine_similarity(v1,v2), word))

 most_similar("jakarta")</pre>



<p class="wp-block-paragraph">Fungsi `most_similar` diatas akan menghasilkan 10 kata yang memiliki kedekatan dengan kata &#8220;jakarta&#8221; tetapi bukan kata aslinya, haslinya adalah:</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">[(0.840801029057595, 'dijakarta'),  (0.8405423875198882, 'jakartakota'),  (0.8363113219529306, 'jakartaku'),  (0.7994977235893996, 'bekasi'),  (0.7958654673125232, 'dki'),  (0.791668330422451, 'djokjakarta'),  (0.7700237060903591, 'surabaya'),  (0.7686587449822566, 'yogjakarta'),  (0.7686000712386939, 'jakarte'),  (0.7649450769198526, 'bandung')]</pre>



<p class="wp-block-paragraph">Dan sesuai dengan teori word embedding, ada kata yang secara &#8220;bentuk&#8221; tidak mirip dengan &#8220;jakarta&#8221; tetapi memiliki kedekatan secara makna, seperti nama kota: &#8220;bekasi&#8221;, &#8220;surabaya&#8221;, dan &#8220;bandung&#8221;.</p>



<p class="wp-block-paragraph">Jika ingin mendalami fungsi-fungsi apa saja yang dapat digunakan di model word embedding fasttext, bisa langsung baca dokumentasinya di <a href="https://github.com/facebookresearch/fastText/tree/master/python">repository githubnya</a> dan baca juga tutorial kami tentang <a href="https://structilmy.com/2020/09/melanjutkan-training-atau-extend-fasttext-model/">extend training model fasttext di sini</a>. Sekian semoga bermanfat <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f642.png" alt="🙂" class="wp-smiley" style="height: 1em; max-height: 1em;" /></p>



<hr class="wp-block-separator"/>



<p class="has-small-font-size wp-block-paragraph">Featured image: flickr</p>
]]></content:encoded>
					
					<wfw:commentRss>https://structilmy.com/blog/2019/08/07/membuat-model-word-embedding-fasttext-bahasa-indonesia/feed/</wfw:commentRss>
			<slash:comments>2</slash:comments>
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1336</post-id>	</item>
	</channel>
</rss>

<!--
Performance optimized by W3 Total Cache. Learn more: https://www.boldgrid.com/w3-total-cache/?utm_source=w3tc&utm_medium=footer_comment&utm_campaign=free_plugin

Object Caching 0/132 objects using Memcache
Page Caching using Disk: Enhanced 
Database Caching using Redis

Served from: structilmy.com @ 2026-11-17 06:59:09 by W3 Total Cache
-->