本发明公开了一种基于深度学习的SAR与可见光遥感图像融合方法，其采用的融合模型包括特征提取部分、融合部分和图像重建部分。训练融合模型所用的总体损失函数中至少包括相似度损失和亮度分布损失；相似度损失使用预处理模型提取各模态特征，并利用熵值和标准差计算量化了可见光与SAR图像中重要信息保留的程度；亮度分布损失使用Gram矩阵测量特征相关性，然后得到融合结果图像与原始SAR图像在特征分布上的不一致程度。本发明不仅实现了不同分辨率特征的互补，保证了SAR图像中的反射强度信息与可见光图像中的细节信息的有效结合，而且能够突显在融合结果中的SAR信息，保留关键特征，并提升视觉质量和信息的完整性。