simple neural net

Neural Net in 4 lines! using Scikit-Learn MLPClassifier

February 21, 2019
by Rian Adam
2 min read
4 Comments

See the code below:

from sklearn.neural_network import MLPClassifier

mlp = MLPClassifier(hidden_layer_sizes=(10),solver='sgd',
                      learning_rate_init=0.01,max_iter=500)

mlp.fit(X_train, y_train)

print mlp.score(X_test,y_test)

That’s right, those 4 lines code can create a Neural Net with one hidden layer! 😐

Scikit-learn just released stable version 0.18. One of the new features is `MLPClassifer` and you can see in the code above, it’s powerful enough to create a simple neural net program.

That code just a snippet of my Iris Classifier Program that you can see on Github. Of course, in practice, you still need to create loader, pre-process, pre-training, or other modules. But, if you see other python libraries like Keras, Lasagne, or Theano, I think this is the easiest way to create a simple neural net. I said “simple” because when you need to create more complex model that need more complex algorithm or many addons, I think it’ll become difficult to use `MLPClassifier`. But, for some simple project, I think I’ll choose this scikit tool 🙂

Program Explanation

Line 1: you need to load `MLPClassifier`

Line 2: we create an object called ‘mlp’ which is a `MLPClassifier`. We set hidden_layer_size to (10) which means we add one hidden layer with 10 neurons. Then we set solver as ‘sgd’ because we will use Stochastic Gradient Descent as optimizer. Then we set learning_rate_init to 0.01, this is a learning rate value (be careful, don’t confuse with alpha parameter in MLPClassifer). Then the last, we set 500 as the maximum number of training iteration.

Line 3: Train the model

Line 4: Test the model

That’s it! and my first run I got more than 90% accuration in Iris Dataset 🙂 try it!

And actually, you can create “Deeper” neural net with add more layers easily, just change `hidden_layer_sizes`. For example, `hidden_layer_sizes=(10,10,10)` will create 3 hidden layer with 10 neuron each.

source image: Flickr

Parser Kalimat Sederhana untuk Bahasa Indonesia

February 5, 2019
by Rian Adam
3 min read
Add Comment

Beberapa waktu lalu saya mendapat tugas kerja untuk membuat sebuah text summarizer (perangkum bacaan) menjadi sebuah kalimat sederhana. Istri saya yang lebih mendalami bidang NLP menyarankan untuk menggunakan teknik yang sederhana:

Temukan kalimat utama, dan jadikan kalimat tersebut sebagai rangkuman.

Saya setuju ide itu, selain tidak serumit jika mengunakan machine learning yang kompleks, rasanya cara itu sudah cukup cocok untuk kasus saya. Istri saya memberi tahu saya beberapa algoritma yang bisa digunakan dan sebuah peringatan bahwa bagian paling sulit adalah nanti bagaimana membuat parser kalimat (program yang dapat mengekstrak kalimat-kalimat yang menyusuk sebuah dokumen teks).

Saya buat parser ini menggunakan bahasa pemrograman Python, dengan bantuan beberapa package (`re` untuk regex, dsb.).

Continue reading

asynchronous flask

Membuat Asynchronous Flask App dengan Gunicorn-Gevent

January 21, 2019
by Rian Adam
4 min read
Add Comment

Salah satu masalah yang pernah saya hadapi ketika mencoba mengaplikasikan model machine learning ke produksi adalah model biasanya memerlukan beberapa waktu untuk melakukan perhitungan dan memberikan hasil.

Misalnya kita punya machine learning API untuk mengklasifikasi citra, dan butuh waktu kira-kira 2 detik untuk menghasilkan kelas yang sesuai (memprediksi), bisa dibayangkan apa yang terjadi jika kita letakkan itu di level produksi dengan 1000 permintaan prediksi perdetiknya! Yang ada server akan lambat sekali, user harus mengantri sangat lama untuk mendapatkan hasil prediksinya.

Asynchronous API

Solusi sederhana yang muncul di saya adalah membuat Asynchronous API. Apa itu? Penjelasan sederhananya bisa merujuk ke halaman stackoverflow ini: Bayangkan kamu sedang memasak di restoran, dan ada dua pesanan datang, yang satu memesan telur yang satu memesan roti.

  • Synchronous: kamu memasak telur, setelah itu kamu memasak roti
  • Asynchronous, single threaded: kamu mulai memasak telur, lalu sambil menunggu matang kamu mulai memasak roti. Ketika keduanya sedang menunggu matang kamu bisa mulai membersihkan dapur, dan keduanya akan matang dalam waktu yang hampir bersamaan.
  • Asynchronous, multithreaded: kamu mempekerjakan satu lagi orang untuk membantu memasak. Sekarang, satu orang bisa fokus memasak telur dan satu yang lain fokus memasak roti. Masalahnya sekarang kamu harus bisa mengkoordinirnya dengan baik agar tidak berebut alat dapur.

Nah, karenanya kita akan mencoba membuat Flask API yang Asynchronous, sehingga proses pengerjaan bisa dilakukan dalam waktu hampir bersamaan. (Penjelasan lain : dari codewala)

Membuat Flask API

Ada banyak cara untuk mengimplementasikan Asynchronous API. Tapi karena saya membuat API menggunakan Python Flask. Salah satu cara yang paling simpel adalah menggunakan  Gunicorn dan Gevent. Pertama-tama instal terlebih dahulu Gunicorn dan Gevent, cara yang sederhana adalah menggunakan pip:

pip install gunicorn
pip install gevent

Normalnya jika kita akan menjalankan aplikasi Flask, kita melakukannya cukup dengan menjalankan perintah Python pada umumnya:

python myapp.py

Tetapi untuk menjalankannya menggunakan Gunicorn kita akan menjalankan program tersebut dengan perintah yang berbeda, yakni:

gunicorn myapp:app

`myapp` adalah nama file program kita, and `app` adalah flask app variable. Setelah perintah tersebut dijalankan, program akan berjalan di http://localhost:8000 (perhatikan pada perbedaan port program berjalan, jika menggunakan Flask, program akan berjalan pada port 5000, sedangkan jika menggunakan Gunicorn program berjalan pada port 8000).

Tapi ini belum selesai, jika hanya menjalankan dengan perintah di atas, maka program hanya akan berjalan synchronous. Untuk menjalankan secara asynchronous dengan Gunicorn kita tidak perlu mengubah isi dari program, cukup dengan menjalankan perintah berikut ini:

gunicorn -k gevent -w 5 myapp:app

-k adalah opsi untuk menjalankan Gunicorn secara asynchronous, di sana kita akan menggunakan gevent service (ada beberapa services yang bisa digunakan untuk menjalankan secara asynchronous, contoh lainnya adalah eventlet). -w adalah opsi untuk menentukan berapa banyak worker yang akan digunakan untuk menjalankan program tersebut. Pada contoh ini kita menggunakan 5 worker (Penentuan jumlah worker, silakan baca: Workers).

Dan selamat! kita baru saja menjalankan program Flask kita secara asynchronous!

Apache Benchmark Testing

Untuk menguji API yang telah kita jalankan, yang paling sederhana kita bisa menggunakan apache benchmark. Dengan apache benchmark kita bisa melakukan simulasi pengaksesan ke API kita dengan banyak request secara simultan, perintahnya adalah berikut:

ab -n 200 -c 100 http://localhost:8000/myapp

-n menunjukkan banyak request yang akan dikirimkan, dan -c adalah banyaknya concurency, atau request dalam satu waktu. Jika diperhatikan hasilnya akan tampak perbedaan ketika program dijalankan dengan Async dan tanpa Async.

Tapi perintah di atas, hanya untuk menjalankan GET request, artinya untku API machine learning, perinta di atas hanya menguji dalam mengaksesnya tidak untuk memprediksi. Untuk program machine learning, kita bisa melampirkan data “test” untuk mengujinya.

Misalnya API machine learning untuk proses sentimen movie review, kita bisa melampirkan data teks contoh untuk diprediksi. Pertama-tama Kita buat dulu datanya dengan format sesuai API yang telah dibuat (tidak ditunjukkan pada tutorial ini):

{"text":"film yg menarik, walau kesannya terlalu lamban dan cerita 
         yang panjang, tetapi dengan alur cerita yang menarik, membuat
         kita terus penasaran, dan membuat saya tidak ngantuk"}

Setelah itu, simpan data tersebut pada sebuah file misalnya “tester.txt”. Nah untuk melampirkannya cukup kita tambahka tipe body dan nama file di perintah sebelumnya:

ab -n 200 -c 100 http://localhost:8000/myapp -p tester.txt -T application/json

Maka API akan diuji untuk memprediksi data tersebut, dan kita dapat memperhitungkan waktu prosesnya.

Terima kasih 🙂 semoga bermanfaat