您好,欢迎来到外链网!
当前位置:外链网 » 站长资讯 » 专业问答 » 文章详细 订阅RssFeed

zliang.zdlpk.ner官网,ner framework

来源:互联网 浏览:160次 时间:2023-04-08
如何修正NLP问题的bad case NLP.TM | 近期做NER的反思 一、数据增强

在NLP层面思考数据量不足(冷启动)的问题,数据增强其实是一个还不错的策略。

调整词句顺序。短句用词维度,长句可以n-gram或者是句子级别的调换顺序。 对NER,可以把特定槽位里面的词替换为其他同类型的词,当然文本分类也可以这么做。(收益大) 总结规则模板,直接生成数据。(收益不小) 复制粘贴。(数据量少时收益不明显,数据量大以后有少量收益) 复制粘贴也是有技巧的,例如拿一些比较差的bad case的特色case生成纠正后放入训练集。

便宜香港vps注意:不要盲目地就做这个数据增强,而是在进行了一轮试验后,经过bad case分析发现一些数据量问题或者是覆盖率不足的问题时,再来尝试数据增强,毕竟数据增强是会引入过拟合风险的。

二、开源数据优化

?NER优化,首先采用的就是加开源数据,会有很好的泛化效果:

积累语料: