ep46: FreeLB: Enhanced Adversarial Training for Language Understanding

1/1/2020

Leading NLP Ninja

0:00

24:21

ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました．

今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/347

サポーターも募集中です． https://www.patreon.com/jojonki

Altri episodi di "Leading NLP Ninja"

ep52(ACL): A Two-Stage Masked LM Method for Term Set Expansion
16/5/2020
31:11
Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/409 サポーターの方も募集中です． https://www.patreon.com/jojonki
ep51 (arXiv): XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
18/4/2020
27:27
CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました．Cross-lingualな評価にとても良さそうです．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/400 サポーターも募集中です． https://www.patreon.com/jojonki
Non perdere nemmeno un episodio di “Leading NLP Ninja”. Iscriviti all'app gratuita GetPodcast.
ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
14/3/2020
28:01
ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/391 サポーターも募集中です． https://www.patreon.com/jojonki
ep49 (ICASSP): Looking Enhances Listening: Recovering Missing Speech Using Images
21/2/2020
22:10
ICASSP 2020より，ビジュアル情報を利用し，マスクされた音声信号を復元できるマルチモーダルASRを解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/384 サポーターも募集中です． https://www.patreon.com/jojonki
ep48 (AAAI): Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
9/2/2020
38:33
AAAI 2020より，多言語文埋め込みフレームワークEMUを解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/371 サポーターも募集中です． https://www.patreon.com/jojonki
ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
12/1/2020
25:34
ICLR 2020より，factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/348 サポーターも募集中です． https://www.patreon.com/jojonki
ep46: FreeLB: Enhanced Adversarial Training for Language Understanding
1/1/2020
24:21
ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/347 サポーターも募集中です． https://www.patreon.com/jojonki
ep45: Episodic Memory in Lifelong Language Learning
1/12/2019
36:02
NeurIPS 2019よりDeepMindが発表した，様々な異なるタスク（テキスト分類とQA）のデータセットをepisodic memoryを利用して１モデルで学習できる手法を解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/326 サポーターも募集中です． https://www.patreon.com/jojonki
ep44: 75 Languages, 1 Model: Parsing Universal Dependencies Universally
24/11/2019
36:03
第４４回では，多言語で事前学習されたBERTを用いて，多言語でUniversal Dependenciesのタスクを解くモデルを解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/322 サポーターも募集中です． https://www.patreon.com/jojonki
ep43: BPE-Dropout: Simple and Effective Subword Regularization
4/11/2019
36:45
第４３回では，Byte Pair Encodingを用いたサブワード正則化手法，BPE-dropoutを解説しました．今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/302 サポーターも募集中です． https://www.patreon.com/jojonki

Altri episodi

Accedi a tutto il mondo dei podcast con l’app gratuita GetPodcast.

Iscriviti ai tuoi podcast preferiti, ascolta gli episodi offline e ricevi fantastici consigli.

Informativa sulla privacy
Informazioni editoriali
Italia

Un'azienda di

ep46: FreeLB: Enhanced Adversarial Training for Language Understanding

Leading NLP Ninja

Altri episodi di "Leading NLP Ninja"

ep52(ACL): A Two-Stage Masked LM Method for Term Set Expansion

ep51 (arXiv): XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization

ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

ep49 (ICASSP): Looking Enhances Listening: Recovering Missing Speech Using Images

ep48 (AAAI): Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization

ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

ep46: FreeLB: Enhanced Adversarial Training for Language Understanding

ep45: Episodic Memory in Lifelong Language Learning

ep44: 75 Languages, 1 Model: Parsing Universal Dependencies Universally

ep43: BPE-Dropout: Simple and Effective Subword Regularization