基于知识蒸馏的多层神经网络语言模型训练方法与装置

本发明公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置，该方法首先构建BERT语言模型和多层BILSTM模型作为教师模型和学生模型，其中所构建的BERT语言模型中有六层transformer，多层BILSTM模型中有三层BILSTM网络；然后将文本语料集进行预处理后，对BERT语言模型进行训练得到训练好的教师模型；再基于知识蒸馏技术将预处理后的文本语料集输入到多层BILSTM模型训练学生模型，在学习教师模型中的嵌入层、隐藏层以及输出层之时，通过线性变换将不同空间表示进行计算。基于训练好的学生模型，可将文本进行向量转换，进而训练下游网络更好地进行文本分类。本发明可以有效提升文本预训练效率以及文本分类任务的精确度。

1、为了保障您的权益，客服人员会在您提交订单10分钟内与您确认订单信息，请保持手机畅通。

2、平台办理变更手续期间需要您提供企业社会信用代码（企业用户）、公章扫描件（企业用户）、联系地址、第一发明人姓名与身份证号等信息，请您积极配合。

3、用户在支付尾款页面填写收货地址和发票信息，我们会将专利证书、专利手续合格通知书、专利登记薄副本和发票一同邮寄到您指定的地址。

1、分阶段付款，如果因平台原因导致专利变更手续无法完成，平台在3个工作日内全额退还用户已支付款项。

2、保证专利状态真实有效，承诺无年费滞纳金、恢复费等额外费用。

3、科易网专属律师事务所将对交易全程监督，确保所有交易合同及相关文件合法有效。