S03E13 Large Language Models, IndoNLP, & SEA Language Processing

Di episode ini, saya mempelajari banyak hal terkait studi kualitatif di bidang antropologi melalui metode etnografi bersama Ibnu Nadzir. Apa yang menjadi daya tarik antropologi sehingga beliau tidak hanya lulus sebagai sarjana antropologi, tetapi bahkan sedang studi doktoral di bidang ini? Bagaimana prospek lulusan antropologi di dunia kerja? Lalu, apa hubungannya studi etnografi dengan metode kuantitatif yang kita banyak temukan dalam riset pasar?

Saya mendiskusikan banyak aspek tentang large language models (LLMs) bersama Alham Fikri Aji (@AlhamFikri) dalam episode kali ini. Aji bercerita tentang pengalamannya mengerjakan riset di bidang NLP: riset NLP bahasa Indonesia, bekerja di tim Amazon Alexa dan Apple Siri, dan keterlibatannya dalam riset kolaboratif masif lainnya, e.g. BLOOM, JAIS, dan SEALP. Dengan semakin meluasnya penggunaan dan riset LLM seperti chatGPT, lantas apa yang bisa dilakukan oleh peneliti NLP yang tidak punya akses ke sumber daya korporat seperti Google, Amazon, atau OpenAI? Referensi: https://www.youtube.com/watch?v=6XDeU842Awo

Jika Anda sedang atau ingin bekerja di bidang data, harusnya Anda familiar dengan nama Ardya Dipta Nandaviri (@ArdyaDipta). Saat ini, Dipta bekerja sebagai Head of Data Science and Business Insights di Kalbe Farma setelah menghabiskan hampir 6 tahun sebagia data scientist di Gojek. Dalam episode kali ini, beliau membagikan beberapa tips bagi yang tertarik untuk bekerja di bidang data, salah satunya tentang fakta bahwa ilmu statistik dasar itu sangat terpakai di industri! Fun fact: Dipta adalah salah seorang pendiri Unit Robotika di Institut Teknologi Bandung dan sempat bekerja di bidang robotika di Amerika Serika selama hampir 2 tahun sebelum bekerja di Indonesia sebagai data scientist.

Di episode ini, Anda akan mendengarkan perjalanan seorang Rifan Kurnia (@rfnk24), VP di bidang data yang mengawali karier dari perusahaan multinasional dan dalam beberapa tahun terakhir terjun di dunia startup. Rifan memiliki pengalaman di beragam vertikal, mulai dari perbankan hingga telekomunikasi dan perikanan. Rifan juga bercerita tentang alasan di balik keputusannya mengambil S2 lagi di bidang cybersecurity sebagai orang berlatar belakang pendidikan di bidang statistik.

"Winter is coming." Beberapa bulan terakhir ini kita sering mendengar tentang berita PHK besar-besaran di berbagai perusahaan teknologi. Para pekerja bergaji besar, dengan banyak perks, dan kesannya tidak tersentuh risiko pemecatan itu ternyata bertumbangan satu per satu. Lantas, di tengah tech winter ini, banyak yang kemudian berpikir untuk mencari opsi lain di "kapal" yang lebih besar dan relatif tahan "ombak": multinational companies. Apa saja sih sebetulnya plus-minusnya? Di episode ini, Yosef Ardhito Winatmoko berbagi pengalamannya selama bekerja sebagai ilmuwan data di sebuah multinational company dan perbandingannya dengan pengalaman sebelumnya saat masih bekerja di salah satu unicorn di Indonesia.

Pernah dengar atau pakai model IndoBERT? Tahu tidak kalau setelah model tersebut ada inisiatif lanjutan yang melibatkan banyak orang keren di bidang NLP bahasa Indonesia? Tidak hanya dari institusi dalam negeri, riset-riset ini juga melibatkan institusi riset kelas dunia seperti Google DeepMind, Amazon, dan Bloomberg. Apa sih sebetulnya tantangan dalam mengerjakan model bahasa skala besar yang melibatkan beberapa institusi dari berbagai belahan dunia? Saya mencoba menggali cerita di balik paper IndoNLU, IndoNLG, dan NusaCrowd dari Samuel Cahyawijaya (@sam_cahyawijaya), mahasiswa PhD di HKUST dan salah satu kontributor dalam proyek-proyek riset tersebut. Tautan: One Country, 700+ Languages: https://arxiv.org/pdf/2203.13357.pdf NusaX: https://arxiv.org/pdf/2205.15960.pdf IndoNLG: https://arxiv.org/pdf/2104.08200.pdf IndoNLU: https://arxiv.org/pdf/2009.05387.pdf

Mau daftar Non-Degree Program dari Pacmann tapi masih ragu-ragu? Di episode kali ini, saya berdiskusi dengan dua orang alumni dari program tersebut untuk mendengarkan pengalaman mereka selama mengikuti program ini. Andi Faridz (BI Cont. Program Batch 6) & David Anthony (DS Batch 2) menceritakan tentang motivasi mereka dan tantangan yang dihadapi selama mengikuti program yang berdurasi kurang lebih satu tahun ini. Lalu, bantuan apa saja yang Pacmann berikan agar siswanya dapat menyelesaikan program non-degree yang kurikulumnya banyak mengadaptasi program magister DS/ML dari kampus ternama dunia ini? Tertarik mendaftar? Silakan gunakan tautan https://rebrand.ly/ali_akbar dan kode referral ali_akbar untuk mendapatkan diskon khusus yang dapat digabungkan dengan diskon lainnya. #SeekMastery

Saya berdikusi dengan Dr Zahratu Shabrina (@zarashabrina), seorang dosen di King's College London, tentang spatial data science dan tantangan yang dihadapi ketika beliau masuk ke bidang ini. Kami juga mendiskusikan riset doktoral beliau tentang dampak Airbnb pada kota London, mulai dari biaya sewa tempat tinggal hingga dampaknya pada pariwisata ibukota Inggris ini. Terakhir, kami juga mendiskusikan riset teranyar beliau yang bertajuk Colouring Indonesia, sebuah inisiatif yang terinspirasi dari Colouring London, yang bekerja sama dengan The Alan Turing Institute dan Institut Teknologi Bandung. Tautan: https://colouringlondon.org/ https://journals.sagepub.com/doi/full/10.1177/0042098020970865 https://onlinelibrary.wiley.com/doi/full/10.1111/gean.12259

Apakah otak manusia dan mesin bisa disatukan? Bisakah kita mengaugmentasi kemampuan berpikir manusia dengan menyambungkannya ke mesin? Atau mungkin manusia jadi bisa punya bionic arms yang bisa digerakkan dengan gelombang otak? Salah satu bidang riset yang mencoba mengeksplorasi hal ini adalah brain-machine interfaces atau kadang dikenal juga sebagai neural engineering atau neuroengineering. Dr. Nur Ahmadi (@ahmadi_nur) berbagai cerita tentang risetnya di bidang ini dan kerja sama beliau dengan peneliti dari Neuralink-nya Elon Musk. Beberapa publikasi beliau bisa dicek di profil Google Scholar. Tautan: https://ethos.bl.uk/OrderDetails.do?uin=uk.bl.ethos.815270 https://drive.google.com/file/d/1pdwWLrYLDmKm76HwKweMMhB8SvG81cmY/view (1:23) Perkenalan Nur Ahmadi (2:55) Pengantar brain-machine interface (5:41) Neuralink (8:36) Ethical clearance dalam pengumpulan data (11:10) Basic tasks neuroengineering pada hewan (14:57) Lama waktu proses pengumpulan data (19:11) Waktu pelatihan model dan infrastruktur yang dibutuhkan (22:02) Target riset (25:29) State of the art (29:57) Tantangan implementasi riset neuroengineering di Indonesia (33:36) Akses data neuroengineering (35:47) Referensi belajar neuroengineering (39:57) Institusi riset terkemuka (42:09) Hype di dunia neuroengineering & penutup

Apa sih computational social science itu? Orang dengan latar belakang seperti apa yang bisa bekerja atau riset di bidang tersebut? Di episode spesial ini, saya kedatangan dua narasumber dengan latar belakang berbeda yang dipertemukan oleh bidang yang sedang naik daun akhir-akhir ini. Dr. Ahmad Raf'ie Pratama (@ahmadrafie) dan Dr. Firman M. Firmansyah (@firmansm) bercerita tentang latar belakang pendidikan mereka dan beberapa publikasi mereka di bidang computational social science. Alumni Stony Brook University ini juga bercerita tentang bagaimana akhirnya mereka bisa memboyong SICSS ke Jogja, Indonesia - jadi bagian pertama dari summer school bergengsi ini di Asia Tenggara dan Pasifik. Tautan: https://sicss.io/2022/jogja/ https://www.bitbybitbook.com/ https://osf.io/preprints/socarxiv/dacu7/ (1:43) Perkenalan Ahmad R. Pratama (4:55) Perkenalan Firman M. Firmansyah (7:43) Awal kerja sama penelitian dan peran masing-masing (17:26) Paper Naming Practice and Gender Equality (32:45) Penelitian dengan agent-based simulation (43:49) Proses belajar teknologi untuk computational social science (48:08) Dalam penelitian multidisiplin, mana yang lebih baik: menjadi generalis atau spesialis? (1:00:08) Summer Institute in Computational Social Science (1:12:21) Penutup