-

本片为微软亚洲研究院唐都钰《CodeBERT：面向编程语言的预训练模型》精华版！完整版请到TechBeat技术社区>>https://datayi.cn/w/nRbjvYzR分享亮点：CodeBERT可以为诸多下游任务提供通用的语义表示，也将在代码检索、代码注释生成任务中验证其有效性。更多Talk回顾，尽在将门TechBeat技术社区https://datayi.cn/w/DPWNZW0R

复旦大学邱锡鹏教授：自然语言处理(NLP)的最新进展，预训练语言模型（BERT大家族及其后续改进）论文：Pre-trained Models for Natural Language Processing: A Survey（https://arxiv.org/pdf/2003.08271.pdf）大纲：• 介绍语言表示学习及相关研究进展• 从四个方面对现有PTM进行系统分类• PTM使用的预训练任务类型• 为特定场景与输入类型所设计的 PTM• 宣传了一下自家的fastNLP工具

NER本想直接讲CRF, 但考虑对没有概率图模型基础的小伙伴不友好, 其实理解了HMM, 理解CRF就是很简单的事情. 维特比算法视频上传完毕之后, 地址会置顶在评论区.建议邮箱: espresso_ml@hotmail.com源码地址: https://github.com/aespresso/a_journey_into_math_of_ml知乎专栏: https://zhuanlan.zhihu.com/p/67585925如果对你有帮助, 请订阅我的频道

本课程首先会介绍一些背景知识，包括Word Embedding、RNN/LSTM/GRU、Seq2Seq模型和Attention机制等。然后介绍BERT的基础Transformer模型，这个模型最初用于机器翻译，但是它提出的Self-Attention被用于替换传统的RNN/LSTM/GRU模型。再然后是介绍BERT出现之前的Universal Sentence Embedding模型，包括ELMo和OpenAI GPT。最后介绍BERT模型，介绍代码分析和案例，通过解决实际问题加深理解。