ep43: BPE-Dropout: Simple and Effective Subword Regularization

Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/409 サポーターの方も募集中です． https://www.patreon.com/jojonki

CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました．Cross-lingualな評価にとても良さそうです． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/400 サポーターも募集中です． https://www.patreon.com/jojonki

ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/391 サポーターも募集中です． https://www.patreon.com/jojonki

ICASSP 2020より，ビジュアル情報を利用し，マスクされた音声信号を復元できるマルチモーダルASRを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/384 サポーターも募集中です． https://www.patreon.com/jojonki

AAAI 2020より，多言語文埋め込みフレームワークEMUを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/371 サポーターも募集中です． https://www.patreon.com/jojonki

ICLR 2020より，factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/348 サポーターも募集中です． https://www.patreon.com/jojonki

ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/347 サポーターも募集中です． https://www.patreon.com/jojonki

NeurIPS 2019よりDeepMindが発表した，様々な異なるタスク（テキスト分類とQA）のデータセットをepisodic memoryを利用して１モデルで学習できる手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/326 サポーターも募集中です． https://www.patreon.com/jojonki

第４４回では，多言語で事前学習されたBERTを用いて，多言語でUniversal Dependenciesのタスクを解くモデルを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/322 サポーターも募集中です． https://www.patreon.com/jojonki

第４３回では，Byte Pair Encodingを用いたサブワード正則化手法，BPE-dropoutを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/302 サポーターも募集中です． https://www.patreon.com/jojonki