Representation Learning #NLP1

Istilah representation learning sering muncul pada paper-paper rujukan yang mengusulkan varian atau arsitektur baru suatu algoritma. Saat membaca paper (Zhang, 2018), berjudul “Learning Structured Representation for Text Classification via Reinforcement Learning”, saya baru tahu kalau penggunaan LSTM itu bisa disetarakan dengan BoW dalam hal representasi, dengan istilah representation learning. Jadi ingat, memang benar ada conference yang namanya ICLR: The International Conference on Learning Representations, dan banyak paper rujukan utama perkembangan machine learning berasal dari situ. Oke kembali lagi, jadi pembagian representasi untuk kebutuhan fitur task klasifikasi teks bisa jadi 4 menurut Zhang.

  1. Bag of words. Tidak memperhatikan urutan, termasuk di dalamnya Deep Average Network (Iyyer, 2015) dan Autoencoder (Liu, 2015). Keduanya saya belum baca kenapa bisa termasuk ke kategori ini.
  2. Sequence. Metode CNN, RNN, termasuk LSTM dan variannya, dikatakan bahwa mereka memperhatikan word order namun tanpa menggunakan struktur apapun. (Kalau word embedding seperti Word2Vec dan Fasttext, masuk di mana ya? Pembentukan inputnya melibatkan sekuens, karena antara kata konteks dan kata target merupakan kata-kata bertetangga, kan. Tapi untuk representasinya semua dikumpulkan menjadi satu begitu saja seperti dictionary, jadi saya masih skip dulu bagian ini.)
  3. Structured. Metode Recursive autoencoder (Socher 2011, 2013), dan Tree-structured LSTM (Tai, 2015) yang saya gunakan di tesis, masuk di kategori ini. Saya pernah baca, bahwa tree-structured network bisa disamakan atau memang bersumber dari metode recursive network pada awalnya. Belum tahu pasti, tapi yang terbayang mungkin berbeda dari segi implementasi yang satu dengan recursive looping, dan yang satu dengan objek tree. Atau mungkin juga memang benar-benar sama, tapi hanya beda istilah saja? (Akan update setelah menemukan pencerahan lagi. Surprisingly saya ternyata follow Socher ini di twitter sudah sejak lama, bahkan sebelum saya ambil S2 ataupun tesis Tree-LSTMM.)
  4. Attention-based. Metode attention ini setahu saya bersumber dari metode seq2seq, tapi dengan penambahan penekanan alias attention di bagian input tertentu. (Akan update setelah beneran ngerjain kasus attention.)

Sebagai catatan, paper Zhang yang saya sebutkan di awal sangat menekankan istilah “representasi struktur” di penelitian tersebut, yang berarti masuk di kategori ke-3 dari 4 kategori di atas. Namun setelah saya coba fahami metode yang mereka usulkan, saya lebih terpikirkan ke task tagging ketimbang struktur. Yang terbayang adalah seperti task POS Tagging, yang solusi pengerjaannya adalah dengan memprediksi tiap kata atau fragmen dengan suatu label atau tag. Walaupun memang Part of Speech ini, setelah berhasil diprediksi kemudian bisa disebut atau bisa menciptakan “struktur”, tentunya dari segi linguistik.

Sehingga, agak berbeda dengan kesan saya terhadap contoh metode di kategori ke-3 yakni Recursive autoencoder dan Tree-structured LSTM. Keduanya benar-benar memaparkan cara berpikir dengan “struktur”. Algoritma dirancang dengan flow sesuai struktur yang diusulkan, yang satu secara recursive, yang satunya dengan bentuk Tree. Sehingga untuk setiap input yang diproses mengikuti struktur yang didefinisikan, dihasilkan pula output representasi struktur yang sesuai.

About the author

Rochana Prih Hastuti

View all posts

Leave a Reply