一、研究内容：

受到NLP领域中Transformer成功应用的启发，将Transformer的思想迁移到双时相遥感影像变化检测中。以飞桨赛题《基于深度学习的遥感影像智能解释平台》为基础，对所给的基线模型进行优化，并尝试提出一种新的网络模型，以期达到更好的预测效果。

二、研究方案及进度安排：

（一）准备阶段（3月25日至4月24日）

1. 确定论文选题

2. 查询相关资料了解该领域的相关进展

（二）试验阶段（4月24日至5月10日）

为了提高模型预测的准确率，可以从以下几个方面进行实验：

1. 确定骨干网络的选取

2. 为了增大感受野，在网络中加入空洞卷积和金字塔池化

3. 参考Swin Transformer对原来的模型进行修改

4. 为了降低计算的复杂度，对注意力机制中的Q、K、V矩阵进行压缩

5. 上采样的过程中使用不同的插值方法

6. 对原来的数据集进行扩展

（三）总结阶段（5月10日至5月18日）

1. 根据之前做的东西撰写论文

2. 对原来网络的不足之处进行修改

三、进度完成情况：

1. 掌握了双时相遥感影像变化检测的整个执行流程。

2. 对孪生网络有了一个初步的了解和认识。

3. 理解了Transformer模型和注意力机制的原理。

4. 学习了空洞卷积的原理。

5. 对数据集进行了扩展。

四、已完成的研究工作及成果：

1. 搭建好了程序的基本框架，能够正常运行，后期只需要根据需求来进行修改。

2. 尝试对骨干网络进行修改，结果表明使用ResNet34训练的模型效果最好，F1-Score最高为0.80584。

3. 对数据集进行扩展，通过处理S2Looking数据集样本标签，使其满足本模型训练的要求，实现数据集的使训练样本数由原来的605对图像，增加为4405对图像。

4. 上采样时采用双线性插值法和双三次插值法进行对比，结果显示双三次插值法比双线性插值法的F1-Score提高了0.004。

5. 卷积层数的增加会使图像的尺寸越来越小，从而导致图像的有一些边缘信息损失，造成模型对一些小的建筑物的变化不敏感。为了解决这一问题采用了空洞卷积，在不改变卷积核大小的情况下，增大卷积核的感受野，提高模型对小建筑物变化检测的精确度。结果表明，使用空洞卷积的模型比没有使用空洞卷积的模型，在测试集上的F1-Score提高了0.03。

6. 在计算注意力α的时候，通过序列压缩技术，将Q、K、V矩阵的维度由原来的 H × W × C 变为 [(H × W) / R] × C 从而将时间复杂度由原来的 O((HW)^2) 降为 O([(HW)^2] / R)。

五、后期拟完成的研究工作及进度安排：

1. 在特征提取网络的最后一层加入金字塔池化层，提取多尺寸目标信息。

2. 参考Swin Transformer对原来的模型进行修改和优化。

3. 5月18日前完成论文的初步撰写。

六、存在的问题及困难：

1. 随着ResNet网络层数的增多，应该可以学到更多的特征细节，但是实验结果显示ResNet50和ResNet101的训练模型得到的F1-Score要低于ResNet34。起初考虑到可能是因为数据集太少，导致欠拟合。然后，又考虑对数据集进行扩展，结果对数据集进行扩展并没有提高模型在测试集上的F1-Score。

2. 对网络结构不是太熟悉，经常出现输入、输出张量维度不匹配的问题。

七、导师意见：

签名：

日期：

八、专业审核意见：

签名：

日期：

九、学院意见：

签名：

公章：

日期：