Remote Sensing and GIS Applications in Environmental Sciences

Unsupervised fusion of remote sensing images using a multiscale generative adversarial network

Document Type : Original Article

Authors

1 Department of Communication Eng., Faculty of Electrical and Computer Eng., Babol Noshirvani University of Technology, Babol, Iran.

2 Babol Noshirvani University of Technology

10.22034/rsgi.2024.62934.1094

Abstract

In pansharpening, a low-resolution multispectral image (LRMS) and a high-resolution panchromatic image (PAN) are fused to produce a high-resolution multispectral image (HRMS). Recent studies have shown that convolutional neural networks can be used for sharpening remote sensing images with excellent results. However, there are still two major problems that need to be resolved. Despite the lack of ideal HRMS images for learning, most current methods require more effort to generate simulated data. On the other hand, these methods usually ignore the rich spatial information in panchromatic images. To address these issues, we have proposed an unsupervised fusion framework based on a multiscale dense network called UMP-GAN for pansharpening. This framework, which employs generative adversarial networks, can be trained directly on full-resolution images without requiring any preprocessing step. First, a multiscale dense generator network is proposed to extract features from original input images to generate HRMS images. In the following, two separate discriminator networks are used to protect the spectral information and spatial details of the input images in the final image. Therefore, the proposed method provides the possibility of training two discriminating networks, each of which has a different and complementary task. Finally, new lost functions are proposed to perform training under unsupervised settings. This method can deepen the exchange of gradient information between the generator network and the discriminator networks. The results from WorldView-2, GaoFen-2, and QuickBird satellite images show that the proposed method performs better than other state-of-the-art models in the fusion of remote sensing images.

Keywords

Main Subjects

در پنشارپنینگ، یک تصویر چندطیفی با وضوح پایین (LRMS) و یک تصویر تک‌رنگ با وضوح بالا (PAN) برای تولید یک تصویر چندطیفی با وضوح بالا (HRMS)‌ ترکیب می‌شوند. مطالعات اخیر نشان داده‌اند که شبکه‌های عصبی کانولوشن می‌توانند برای پنشارپنینگ تصاویر سنجش از دور با نتایج عالی مورد استفاده قرار گیرند. با‌ این حال، همچنان دو مشکل اساسی وجود دارد که باید برطرف شوند. از یک سو، باوجود نبود تصاویر‌ایده‌آل HRMS برای یادگیری، اکثر روش‌های فعلی نیاز به تلاش بیشتری برای تولید داده‌های شبیه‌سازی شده دارند. از سوی دیگر، این روش‌ها معمولاً اطلاعات مکانی غنی موجود در تصاویر تک‌رنگ را نادیده می‌گیرند. برای پرداختن به این مسائل، در این مقاله، با استفاده از شبکه‌های مخالف مولد، یک چهارچوب ادغام بدون نظارت مبتنی‌بر یک شبکه متراکم چندمقیاسی به نام UMP-GAN برای پنشارپنینگ تصاویر سنجش از دور طراحی شده است که می‌تواند مستقیماً بر روی تصاویر با وضوح کامل بدون نیاز به هیچ گونه پیش‌پردازشی آموزش ببیند. ابتدا، یک شبکه مولد متراکم چندمقیاسی برای استخراج ویژگی‌ها از تصاویر ورودی اصلی برای تولید تصاویر HRMS پیشنهاد می‌شود. در ادامه، دو شبکه تفکیک‌کننده مجزا برای حفاظت از اطلاعات طیفی و جزئیات مکانی موجود در تصاویر ورودی استفاده می‌گردد. بنابراین، روش پیشنهادی امکان آموزش دو شبکه تفکیک‌کننده را فراهم می‌کند، که هر کدام وظیفه متفاوت و مکملی دارند. در نهایت، برای بهبود کیفیت تصویر ادغام شده و اجرای آموزش تحت تنظیمات بدون نظارت، توابع هزینه جدیدی پیشنهاد می‌شود. این روش می‌تواند تبادل اطلاعات گرادیان میان شبکه مولد و شبکه‌های تفکیک‌کننده را عمیق‌تر کند، فرآیند آموزش شبکه را بهینه نماید و هم‌گرایی شبکه را تسریع کند. تصاویر ماهواره‌های WorldView-2 (WV2)، GaoFen-2 (GF2)  و QuickBird (QB) برای شبیه سازی و تایید روش پیشنهادی مورد استفاده قرار گرفته‌اند. نتایج ‌‌نشان داده‌اند که روش پیشنهادی در ادغام تصاویر سنجش از دور بهتر از سایر مدل‌های معتبر پیشین عمل می‌کند.

  1. Maneshi, H. Ghassemian and M. Imani. (2020). Sparse Representation of Injected Details for MRA-Based Pansharpening. IEEE India Geoscience and Remote Sensing Symposium (InGARSS), Ahmedabad, India, 86–89.
  2. Zhou, Q. Liu and Y. Wang. (2021). PGMAN: An Unsupervised Generative Multiadversarial Network for Pansharpening. in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 6316–6327.

Te-Ming Tu, P. S. Huang, Chung-Ling Hung and Chien-Ping Chang. (2004). A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. in IEEE Geoscience and Remote Sensing Letters, 1(4), 309–312.

  1. A. Laben and B. V. Brower. (2000). Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening. U.S. Patent 6011875.
  2. P. Shah, N. H. Younan and R. L. King. (2008). An Efficient Pan-Sharpening Method via a Combined Adaptive PCA Approach and Contourlets. in IEEE Transactions on Geoscience and Remote Sensing, 46(5), 1323–1335.
  3. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2020). CNNs hard voting for multi-focus image fusion.Journal of Ambient Intelligence and Humanized Computing, 11, 1749–1769.

Johnson, A. Alahi, and L. Fei-Fei. (2016). Perceptual losses for real-time style transfer and super-resolution. in Proc. Eur. Conf. Comput. Vis., 694–711.

  1. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2019). Ensemble of CNN for multi-focus image fusion. Information Fusion, 51, 201–214.
  2. Ledig et al. (2017). Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 105–114.
  3. P. Kingma and M. Welling. (2014). Auto-Encoding Variational Bayes,” in Int. Conf. Learn. Representations, 1–14.
  4. Goodfellow et al. (2014). Generative adversarial nets,” in Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, Eds. Red Hook, NY, USA: Curran Associates, 2672–2680. [Online]. Available: http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
  5. Masi, D. Cozzolino, L. Verdoliva, and G. Scarpa. (2016). Pansharpening by convolutional neural networks. Remote Sens., 8(7), 594–615.
  6. Yang, X. Fu, Y. Hu, Y. Huang, X. Ding, and J. Paisley. (2017). PanNet: A deep network architecture for pan-sharpening. in Proc. IEEE Int. Conf. Comput. Vis., 5449–5457.
  7. He, X. Zhang, S. Ren, and J. Sun. (2016). Deep residual learning for image recognition. in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 770–778.
  8. Yuan, Y. Wei, X. Meng, H. Shen, and L. Zhang. (2018). A multiscale and multidepth convolutional neural network for remote sensing imagery pansharpening. IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., 11(3), 978–989.
  9. Wang, Y. Li, L. Ma, Z. W. Bai, and J. C. W. Chan. (2019). Going deeper with densely connected convolutional neural networks for multispectral pansharpening. Remote Sens., 11(22), 19.
  10. Peng, L. Liu, J. Wang, E. Zhang, X. Zhu, et al. (2021). PSMD-Net: A Novel Pan-Sharpening Method Based on a Multiscale Dense Network. in IEEE Transactions on Geoscience and Remote Sensing, 59(6), 4957–4971.
  11. Liu, Q. Liu, and Y. Wang. (2020). Remote sensing image fusion based on two-stream fusion network. Inf. Fusion, 55, 1–15.
  12. Wald, T. Ranchin, and M. Mangolini. (1997). Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images. Photogramm. Eng. Remote Sens., 63(6), 691–699.
  13. Liu, H. Zhou, Q. Xu, X. Liu and Y. Wang. (2021). PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-Sharpening. in IEEE Transactions on Geoscience and Remote Sensing, 59(12), 10227–10242.
  14. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. Paul Smolley. (2017). Least squares generative adversarial networks. in Proc. IEEE Int. Conf. Comput. Vis.,2794–2802.
  15. Ma, W. Yu, C. Chen, P. Liang, X. Guo, and J. Jiang. (2020). Pan-GAN: An unsupervised pan-sharpening method for remote sensing image fusion. Inf. Fusion, 62, 110–120.
  16. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger. (2017). Densely connected convolutional networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2261–2269.

Zhou Wang and A. C. Bovik. (2002). A universal image quality index,” in IEEE Signal Processing Letters, 9(3), 81–84.

  1. P. Kingma and J. Ba. (2017). Adam: A method for stochastic optimization. arXiv:1412.6980.
  2. Wald. (2000). Quality of high resolution synthesised images: Is there a simple criterion?. in Proc. 3rd Conf. “Fusion Earth Data: Merging Point Meas., Raster Maps Remotely Sensed Images”, 99–103.
  3. Vivone. (2019). Robust band-dependent spatial-detail approaches for panchromatic sharpening. IEEE Trans. Geosci. Remote Sens., 57(9), 6421–6433.
  4. R. Gillespie, A. B. Kahle, and R. E. Walker. (1987). Color enhancement of highly correlated images. II. Channel ratio and ‘chromaticity’ transformation techniques. Remote Sensing of Environment, 22(3), 343–365.
  5. Liu. (2000). Smoothing filter-based intensity modulation: A spectral preserve image fusion technique for improving spatial details. International Journal of Remote Sensing, 21(18), 3461–3472.
  6. Shao, Z. Lu, M. Ran, L. Fang, J. Zhou and Y. Zhang. (2020). Residual Encoder–Decoder Conditional Generative Adversarial Network for Pansharpening. in IEEE Geoscience and Remote Sensing Letters, 17(9), 1573–1577.
Remote Sensing and GIS Applications in Environmental Sciences
Volume 4, Issue 11
August 2024
Pages 104-76
  • Receive Date: 15 August 2024
  • Accept Date: 17 October 2024