针对固态硬盘(solid state drive,SSD)剩余使用寿命预测中故障样本数据较少的问题,提出一种基于Transformer预训练的固态硬盘剩余使用寿命(remaining useful life,RUL)预测方法。首先使用基于注意力机制的神经网络模型Transformer对存储磁盘中的硬盘驱动器(hard disk drive,HDD)进行预训练,得到一个硬盘驱动器剩余使用寿命初始模型,再用数据量少的固态硬盘数据对该模型进行精调,最后实现对固态硬盘设备的剩余使用寿命进行有效的预测。实验结果表明:建立的固态硬盘剩余使用寿命回归模型在40天以内的寿命预测中可以达到较好的效果。
针对农业领域文本信息密度大、语义模糊、特征稀疏的特点,提出一种基于MacBERT(MLM as correction-BERT)、深度金字塔卷积网络(DPCNN)和注意力机制(Attention)的农业文本分类模型,命名为MacBERT—DPCNN—Attention(MDA)。首先,使用MacBERT模型充分提取农业类文本内容的上下文信息,强化文本的语义特征表示。然后,DPCNN模型通过其多层卷积神经网络和池化操作,有效捕获文本的局部特征。最后,注意力机制进一步增强农业文本序列的特征表达。结果表明,与其他主流模型如BERT—DPCNN、BERT—CNN、BERT—RNN相比,MDA模型在农业文本分类任务上的精确率提升1.04%以上,召回率提升0.95%以上,F1值提升0.14%以上。表明所提模型在解决农业领域文本分类问题方面的有效性和优越性。
