业界总结 | BERT的花式玩法

大家好，我是对白。
BERT在工业界落地已经很普遍了，主要在搜索、推荐和NLP中广泛应用，我将自己运用BERT的心得总结如下：
BERT在工业界的落地：新数据预训练、多任务、蒸馏/裁剪、双塔的在线应用； 如何蒸馏模型； 在BERT基础上有哪些有效的改进点； 如何融入知识图谱； 相关性的框架：考虑到业务效果，必要的前置/后置规则可能有效；两阶段分别解决不相关、以及区分强相关/一般相关； 多业务场景；
下面就带大家一起看看阿里、美团和百度等公司是如何将BERT应用在业务中并提升业务指标的。

业界实践
一、百度-ERNIE（艾尼）

论文：ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding
github：http://github.com/PaddlePaddle/ERNIE
改进点：引

业界总结 | BERT的花式玩法最先出现在Python成神之路。