BERT采用双向语言模型，从而真正实现了双向学习的目标。在特征提取方面采用Transformer中的Encoder，所以在长期依赖并行处理方面都取得了很好的效果。但BERT也在一些缺点主要体现在如下几个方面：

·1)训练方法与测试方法不一致。因训练时把输人序列的15%随机置换为MASK标记，但这个标记在测试或微调时是不存在的，因为会影响模型性能。

·2)对被置换的MASK标记。BERT的损失两数使用约等号，也就是假设那些被标记的词在给定非标记的词的条件下是独立的，但是我们前面分析过这个假设并不(总是)成立。

下面我们通过一个例子来说明，比如"New York is a city"。假设我们标记"Ne【资 ;源 之.家.】w"和"York"两个词，给定is acity的条件下"New"和"York"并不独立。因为"New York"是一个实体，看到"New"后面出现"York"的概率要比"old"后面出现"York"的概率大得多。

当然还有其他一些待改进的地方，如模型参数量比较庞大时，自然语言理解任务效果较好，但自然语言生成任务效果欠佳，段与段之间缺乏依赖关系等。

针对这些缺点人们又提出了很多新的模型，例如XLNet ALBERT ELECTRA等模型，这些模型均从不同角度对BERT进行了优化。

而对结构化数据使用神经网络或深度学习架构进行分析时，首先需要对连续特征类别特征进行处理。处理的方式很多：对连续特征一般进行【资 ;源 之.家.】分段或分桶处理，当然也可不做处里；对分类特征则可以将其转换为数字独热编码或Embedding；如果类别力度很粗，建议转换为独热编码；如果粒度较细建议转换为Embedding，最后拼接这些数据作为网络的输入层。

版权声明 1 本网站名称：资源之家
2 本站永久网址：https://www.ziyuanzj.cn/
3 本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长 QQ2332379进行删除处理。
4 本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5 互联网转载资源会有一些其他联系方式，请大家不要盲目相信，被骗本站概不负责！
6 本网站部分内容只做项目揭秘，无法一对一教学指导，每篇文章内都含项目全套的教程讲解，请仔细阅读。
7 本站分享的所有平台仅供展示，本站不对平台真实性负责，站长建议大家自己根据项目关键词自己选择平台。
8 因文章发布时间和您阅读文章时间存在时间差，有些项目红利期可能已经过了，能不能赚钱需要自己判断，本网站仅做资源分享，不做任何收益保障。
9 本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。