水分含量（moisture content,mc）在海参腌制过程中起着重要作用。较高的mc会导致胶原纤维断裂，使海参在储存过程中更容易受损，较低的mc会降低海参的口感和营养价值。准确控制海参腌制过程中mc的含量，对海参的口感品质和商品价值具有重要意义。
大量研究使用高光谱成像（hyperspectral imaging,hsi）和低场核磁共振（low field nuclear magnetic resonance,lf-nmr）研究水的迁移和变化并预测mc。hsi是一种用于探测浅水表面物理和化学性质的快速、无损监测技术。lf-nmr是另一种流行的无创检测技术，用于监测食品中水分状态的变化和水分迁移。低频核磁共振之所以有效，是因为当电磁脉冲（electromagnetic pulse, emp）在垂直方向辐射时，氢质子由于能量从低能级到高能级的转变而处于不稳定状态，而当emp消失时，这一过程是可逆的。对于海参浅层表面复杂的棘皮结构和内部复杂的腔体、体壁等结构，hsi和lf-nmr联合检测可以更准确地预测mc。
深度学习（deeplearning, dl）网络可以减少模型对人类经验的依赖，提高模型的泛化能力。cs（cuckoo search）优化算法通过提取数据的显著特征实现降维，可以有效提高基于小样本空间和低类间差异数据的模型性能。因此，本研究基于hsi和lf-nmr数据，采用dl网络和cs优化算法联合构建预测模型，对盐渍海参的mc进行预测分析。
具体研究目标如下：（1）分别针对hsi和lf-nmr数据构建基于变种cs算法的mc深度学习预测模型；（2）通过探索模型的性能，确定了hsi和lf-nmr的最优模型；（3）根据最优模型和核磁共振成像（magnetic resonance imaging, mri），分别基于hsi和lf-nmr数据可视化mc分布；（4）构建基于融合数据的mc的fusion-net dl（fdl）预测模型，并与以往基于单一数据的模型进行比较，选择最终的最优模型。
试验设计
大连工业大学王慧慧教授团队利用image-λ-n17e近红外高光谱成像系统（江苏双利合谱公司）获取了510个不同腌制处理下的海参高光谱影像（图1a）。高光谱数据由350张640×803像素的单波段光谱图像组成，波长范围为934.8 ~ 1710.6 nm。如图1e所示，将盐渍海参样品置于核磁共振分析仪（niumag电气公司）中进行lf-nmr测，得到如图1f所示的横向松弛曲线。每个腌制周期取同一样品进行mri分析，通过自旋回波成像序列获得mc在不同腌制时间的氢质子mri（图1g）。
数据的强相关性可能导致“维度诅咒”，有必要对冗余的高维信息进行降维处理。使用cs算法选择特征，如图1h所示。针对不同的应用领域，cs有不同的变体，本研究使用的三个变体分别为traditional-cs（tcs）、binary-cs（bcs）和chaotic-cs（ccs）。
将降维后的数据输入到相应的模型中进行训练，选择最优模型（图1i），实现mc分布变化的可视化（图1j）。在本文中，mc的预测模型包括基于高光谱数据的单独dl模型、基于lf-nmr数据的单独dl模型和基于hsi和lf-nmr数据的fdl模型。对于hsi数据，dl框架中使用了两个1d卷积层，分别包含32个和64个卷积核，大小为1×3（图2a）。
对于lf-nmr数据，dl框架的总体结构与上述hsi相同。
图1研究流程图
图2多种深度学习模型。基于光谱的深度学习模型（a）；基于lf-nmr的深度学习模型（b）；融合深度学习模型（c）。
类可降解塑料和不可降解塑料共计1020个样本的高光谱影像（图1）。其波长范围为380 ~ 1038 nm，波段数为520。在每个样本的高光谱图像的中心区域选择一个像素大小为60 × 60的采样区域作为感兴趣区域，获取其平均光谱，并对其进行sg滤波和snv预处理。
cnn主要由卷积层、池化层和全连接层组成，其中全连接层的核心操作是卷积和池化。卷积提取了多波段高光谱特征，同时充分保持了特征之间的位置关系。池化可以减小特征图的大小，可以保留最关键的信息，有效防止网络过拟合。同时，通过池化可以减少网络中的节点数量，有效提高了网络的计算效率。resnet由两个卷积层组成，卷积核大小为3 × 3，填充和步长为1（图2）。将原始特征与挖掘特征相结合，可以有效避免塑料高光谱图像深度特征提取中的特征退化问题。
本文将静态卷积层替换为动态卷积层，在不增加网络深度和宽度的前提下提高了计算效率。根据卷积核的自适应性，动态卷积层具有鲁棒的表示能力。动态卷积层结构如图3所示。首先，对全局位置信息进行平均池化压缩；然后，将压缩后的信息通过全连接层映射到激活层，其中relu为激活函数。激活信息通过全连接层映射到softmax层。最后，softmax层输出k个权值用于核聚合。k表示参与核聚合的卷积核的个数，k的增加会导致模型的复杂度增加。在大多数情况下，softmax层的输出值相对稀疏，因此只有一小部分卷积核可以跨层优化，导致神经网络在训练过程中收敛缓慢。因此，减少softmax层中的注意力是必要的，这样可以使训练更有效。计算公式如1所示，当t = 1时，公式为原始softmax层。利用dy-kernel自适应提取高光谱数据的特征，然后依次通过bn和relu得到最终输出。
（1）
本文提出了自适应提取塑料高光谱数据特征的dy-resnet方法，该方法主要由包含动态卷积层的残差块组成。图4显示了dy-resnet的结构，包括一个卷积层、一个bn层、四个动态卷积残差块（dr-block）、两个池化层、一个flatten层和一个全连接层。
图1 高光谱塑料检测系统
图2残差块结构
图3动态卷积层结构
图4dy-resnet的结构
结论
在动态卷积层中，参数k和t显著影响稳定性和精度。如果k过大，虽然模型具有更强的表达能力，但优化所有卷积核和注意力更加困难，网络更容易出现过拟合。在softmax层中，t控制了注意力权值的稀疏性，适当的t可以使模型在早期训练中更有效。因此，有必要确定k和t的最优值。如图5所示，当k较小时，模型的训练时间和分类稳定性都较好。然而，k的数量限制了动态卷积核的自适应能力，降低了模型的分类精度和f1-score。当k设置为4时，既保证了模型的分类性能，又充分考虑了训练时间。t越大，模型的稳定性越高。但是，当t过于大时，模型的分类性能会下降，因此将t设为31。
图5 不同参数的动态卷积层
可降解和不可降解塑料的分类结果如表1所示。虽然dy-resnet、resnet、dy-cnn和cnn模型都取得了很好的分类效果，但提出的dy-resnet模型的识别效果更好。dy-resnet模型的识别准确率为99.06%，f1-score为98.86%，kappa为97.73%。此外，对比cnn和resnet模型的分类结果可以看出，残差连接的引入更有助于挖掘高光谱数据的深层特征。dy-resnet模型的精度、f1-score和kappa分别比resnet模型高1.53%、1.85%和3.71%，表明动态卷积层可以有效提高模型在高光谱数据挖掘中的适应性和表征能力。
不同模型的混淆矩阵如图6所示。可以看出，四种分类模型的分类效果都很好，说明该分类模型是有效的。此外，可以看到resnet、dy-cnn和cnn模型将一些不可降解塑料预测为可降解塑料，这可能是由于训练集中样本数量不平衡造成的。然而，dy-resnet模型可以避免由于训练集各类别样本数量不平衡而导致的错误预测。
表1四种网络模型的2-分类实验结果
图6四种方法对可降解塑料和不可降解塑料的分类结果。dy-resnet（a）, dy-cnn（b）, resnet（c）,cnn（d）
为了进一步验证dy-resnet在塑料识别中的有效性，分别使用dy-resnet、resnet、dy-cnn和cnn模型对17种样品进行分类。4个模型在全连接层的输出神经元数量从2个变为17个，4个模型的其他结构和超参数不变。17种塑料的分类结果见表2。总体而言，dyresnet的分类性能优于其他模型，其准确率为89.76%，f1-score为89.68%，kappa为89.13%。与cnn相比，dy-resnet中的残差连接可以有效提取塑料高光谱图像的深层特征。在5个独立实验中，dy-resnet的模型精度最高，表明其具有最好的识别稳定性。残差连接和动态卷积层的引入可以有效地提高模型的稳定性。
测试集样本的预测标签与实际标签形成的混淆矩阵如图7所示。可以看出，这四种模型都能有效识别标记为0、6、7、8、9、11、12、13、14、15的样本。但值得注意的是，四种模型在识别标签2和标签10的样品时存在一些错误，主要是将标签2的样品部分归类为标签3，将标签10的样品部分归类为标签11。这主要是由于，除了碳酸钙外，标签2和标签3对应的样品在成分材料上是相同的。除淀粉外，标签10和11对应的样品在组成材料上是相同的。上述样品中相似的成分使得所收集的高光谱图像难以区分，这就是它们被错误分类的原因。
表2四种网络模型的17种分类实验结果
图7四种方法对17种塑料的分类结果。dy-resnet（a）, dy-cnn（b）, resnet（c）,cnn（d）
合理解释本研究提出的方法在塑料识别任务中取得良好的效果十分必要。grad-cam可用于可视化基于cnn模型的模型识别过程。如图8（a）所示，在区分可降解和不可降解塑料时，dy-resnet提取的特征光谱波段分布在可见光和近红外范围内。此外，用于识别不可降解塑料的关键特征主要分布在580 ~ 860 nm范围内，用于识别可降解塑料的关键特征主要分布在680 ~ 1030 nm范围内。如图8（b）所示，dy-resnet提取的特征光谱波段在区分17种塑料时也分布在可见光和近红外范围内。总体而言，用于识别塑料种类的特征光谱波段主要集中在560 ~ 860nm范围内。然而，每种塑料的特征光谱波段的分布范围是不同的。例如，标记为15的样品的特征光谱波段主要集中在可见光范围，而标记为12的样品的特征光谱波段主要集中在近红外范围。因此，选择380 ~ 1038 nm光谱波段进行塑料识别，有助于充分探索不同塑料在不同光谱波段的特性。
图8用于塑料识别的特征光谱可视化。2分类实验（a）, 17分类实验（b）
作者信息
门洪，博士，东北电力大学自动化工程学院教授，博士生导师。
主要研究方向：智能感知与模式识别。
参考文献：
xia, x., wang, m., shi, y., huang, z., liu, j., men, h., & fang, h. (2023). identification of white degradable and non-degradable plastics in food field: a dynamic residual network coupled with hyperspectral technology. spectrochim acta a mol biomol spectrosc, 296, 122686.