نشریه کاربرد سنجش از دور و سیستم اطلاعات جغرافیایی در علوم محیطی

ادغام بدون نظارت تصاویر سنجش از دور با استفاده از شبکه‌ی مخالف مولد چند مقیاسی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکترای گروه مهندسی مخابرات، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی نوشیروانی بابل

2 استادگروه مهندسی برق-مخابرات، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی نوشیروانی بابل

10.22034/rsgi.2024.62934.1094

چکیده

در پنشارپنینگ، یک تصویر چندطیفی با وضوح پایین (LRMS) و یک تصویر تک‌رنگ با وضوح بالا (PAN) برای تولید یک تصویر چندطیفی با وضوح بالا (HRMS)‌ ترکیب می‌شوند. مطالعات اخیر نشان داده‌اند که شبکه‌های عصبی کانولوشن می‌توانند برای پنشارپنینگ تصاویر سنجش از دور با نتایج عالی مورد استفاده قرار گیرند. با‌ این حال، همچنان دو مشکل اساسی وجود دارد که باید برطرف شوند. از یک سو، با وجود نبود تصاویر‌ایده‌آل HRMS برای یادگیری، اکثر روش‌های فعلی نیاز به تلاش بیشتری برای تولید داده‌های شبیه‌سازی شده دارند. از سوی دیگر، این روش‌ها معمولاً اطلاعات مکانی غنی موجود در تصاویر تک‌رنگ را نادیده می‌گیرند. برای پرداختن به این مسائل، در این مقاله، با استفاده از شبکه‌های مخالف مولد، یک چهارچوب ادغام بدون نظارت مبتنی‌بر یک شبکه متراکم چندمقیاسی به نام UMP-GAN برای پنشارپنینگ تصاویر سنجش از دور طراحی شده است که می‌تواند مستقیماً بر روی تصاویر با وضوح کامل بدون نیاز به هیچ گونه پیش‌پردازشی آموزش ببیند. ابتدا، یک شبکه مولد متراکم چندمقیاسی برای استخراج ویژگی‌ها از تصاویر ورودی اصلی برای تولید تصاویر HRMS پیشنهاد می‌شود. در ادامه، دو شبکه تفکیک‌کننده مجزا برای حفاظت از اطلاعات طیفی و جزئیات مکانی موجود در تصاویر ورودی استفاده می‌گردد. در نهایت، برای اجرای آموزش تحت تنظیمات بدون نظارت، توابع هزینه جدیدی پیشنهاد می‌شود. این روش می‌تواند تبادل اطلاعات گرادیان میان شبکه مولد و شبکه‌های تفکیک‌کننده را عمیق‌تر کند. نتایج حاصل از تصاویر ماهواره‌هایWorldView-2 ،GaoFen-2 وQuickBird ‌‌نشان داده‌اند که روش پیشنهادی در ادغام تصاویر سنجش از دور بهتر از سایر مدل‌های معتبر پیشین عمل می‌کند.

تازه های تحقیق

در این مقاله، یک مدل متراکم چندمقیاسی بدون نظارت مبتنی‌بر شبکه‌ مخالف مولد به نام UMP-GAN برای مسئله پنشارپینگ تصاویر سنجش از دور پیشنهاد شده است. روش پیشنهادی پنشارپنینگ را به عنوان یک مسئله چند وظیفه‌ای، یعنی حفظ هم‌زمان اطلاعات طیفی از یک تصویر چندطیفی (LRMS) و جزئیات مکانی از یک تصویر تک‌رنگ (PAN) فرموله می‌کند. این سیستم شامل یک شبکه مولد و دو شبکه تفکیک‌کننده برای کاهش اعوجاج‌های طیفی و مکانی در تصویر ادغام شده است. به منظور دستیابی به آموزش بدون نظارت و هم‌چنین  بهبود هر چه بیشتر عمل‌کرد مدل پیشنهادی، شاخص بدون مرجع QNR به تابع هزینه شبکه مولد اضافه می‌شود. به عنوان یکی از مزایای روش‌های بدون نظارت، UMP-GAN می‌تواند بر روی تصاویر با وضوح کاهش یافته و یا تصاویر با وضوح کامل بدون نیاز به تصویر مرجع آموزش داده شود. هم‌چنین، مدل ارائه شده بر روی تصاویر اصلی PAN و LRMS بدون نیاز به هیچ مرحله‌ پیش‌پردازش برای حفظ سازگاری با محیط کاربرد عملی توسعه داده شده است. آزمایش‌های گسترده‌ بر روی مجموعه داده‌هایWorldview-2 (WV2) ،  GaoFen-2 (GF2)و QuickBird (QB) نشان می‌دهند که الگوریتم پیشنهادی معیارهای ارزیابی بهتری را به دست می‌آورد و توزیع اطلاعات طیفی و جزئیات مکانی پایه را به خوبی با از دست دادن اندک اطلاعات تحت شرایط بدون نظارت در تصویر ادغام شده، حفظ می‌نماید. علاوه‌براین، یک بررسی فراتر نیز برای نشان دادن اعتبار روش پیشنهادی انجام شده است. عمل‌کرد مناسب در آزمایش بر روی تصاویر با وضوح کامل و نتایج رضایت‌بخش در تصاویر با مقیاس کاهش یافته، توانایی قدرتمند مدل UMP-GAN را نشان می‌دهد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Unsupervised fusion of remote sensing images using a multiscale generative adversarial network

نویسندگان [English]

  • Mehrshad Barimani 1
  • Ali Aghagolzadeh 2

1 Department of Communication Eng., Faculty of Electrical and Computer Eng., Babol Noshirvani University of Technology, Babol, Iran.

2 Babol Noshirvani University of Technology

چکیده [English]

In pansharpening, a low-resolution multispectral image (LRMS) and a high-resolution panchromatic image (PAN) are fused to produce a high-resolution multispectral image (HRMS). Recent studies have shown that convolutional neural networks can be used for sharpening remote sensing images with excellent results. However, there are still two major problems that need to be resolved. Despite the lack of ideal HRMS images for learning, most current methods require more effort to generate simulated data. On the other hand, these methods usually ignore the rich spatial information in panchromatic images. To address these issues, we have proposed an unsupervised fusion framework based on a multiscale dense network called UMP-GAN for pansharpening. This framework, which employs generative adversarial networks, can be trained directly on full-resolution images without requiring any preprocessing step. First, a multiscale dense generator network is proposed to extract features from original input images to generate HRMS images. In the following, two separate discriminator networks are used to protect the spectral information and spatial details of the input images in the final image. Therefore, the proposed method provides the possibility of training two discriminating networks, each of which has a different and complementary task. Finally, new lost functions are proposed to perform training under unsupervised settings. This method can deepen the exchange of gradient information between the generator network and the discriminator networks. The results from WorldView-2, GaoFen-2, and QuickBird satellite images show that the proposed method performs better than other state-of-the-art models in the fusion of remote sensing images.

کلیدواژه‌ها [English]

  • Remote Sensing Image Fusion
  • Multiscale Dense Block
  • Pansharpening
  • Convolutional Neural Networks
  • Generative Adversarial Networks
  • Unsupervised Learning

در پنشارپنینگ، یک تصویر چندطیفی با وضوح پایین (LRMS) و یک تصویر تک‌رنگ با وضوح بالا (PAN) برای تولید یک تصویر چندطیفی با وضوح بالا (HRMS)‌ ترکیب می‌شوند. مطالعات اخیر نشان داده‌اند که شبکه‌های عصبی کانولوشن می‌توانند برای پنشارپنینگ تصاویر سنجش از دور با نتایج عالی مورد استفاده قرار گیرند. با‌ این حال، همچنان دو مشکل اساسی وجود دارد که باید برطرف شوند. از یک سو، باوجود نبود تصاویر‌ایده‌آل HRMS برای یادگیری، اکثر روش‌های فعلی نیاز به تلاش بیشتری برای تولید داده‌های شبیه‌سازی شده دارند. از سوی دیگر، این روش‌ها معمولاً اطلاعات مکانی غنی موجود در تصاویر تک‌رنگ را نادیده می‌گیرند. برای پرداختن به این مسائل، در این مقاله، با استفاده از شبکه‌های مخالف مولد، یک چهارچوب ادغام بدون نظارت مبتنی‌بر یک شبکه متراکم چندمقیاسی به نام UMP-GAN برای پنشارپنینگ تصاویر سنجش از دور طراحی شده است که می‌تواند مستقیماً بر روی تصاویر با وضوح کامل بدون نیاز به هیچ گونه پیش‌پردازشی آموزش ببیند. ابتدا، یک شبکه مولد متراکم چندمقیاسی برای استخراج ویژگی‌ها از تصاویر ورودی اصلی برای تولید تصاویر HRMS پیشنهاد می‌شود. در ادامه، دو شبکه تفکیک‌کننده مجزا برای حفاظت از اطلاعات طیفی و جزئیات مکانی موجود در تصاویر ورودی استفاده می‌گردد. بنابراین، روش پیشنهادی امکان آموزش دو شبکه تفکیک‌کننده را فراهم می‌کند، که هر کدام وظیفه متفاوت و مکملی دارند. در نهایت، برای بهبود کیفیت تصویر ادغام شده و اجرای آموزش تحت تنظیمات بدون نظارت، توابع هزینه جدیدی پیشنهاد می‌شود. این روش می‌تواند تبادل اطلاعات گرادیان میان شبکه مولد و شبکه‌های تفکیک‌کننده را عمیق‌تر کند، فرآیند آموزش شبکه را بهینه نماید و هم‌گرایی شبکه را تسریع کند. تصاویر ماهواره‌های WorldView-2 (WV2)، GaoFen-2 (GF2)  و QuickBird (QB) برای شبیه سازی و تایید روش پیشنهادی مورد استفاده قرار گرفته‌اند. نتایج ‌‌نشان داده‌اند که روش پیشنهادی در ادغام تصاویر سنجش از دور بهتر از سایر مدل‌های معتبر پیشین عمل می‌کند.

  1. Maneshi, H. Ghassemian and M. Imani. (2020). Sparse Representation of Injected Details for MRA-Based Pansharpening. IEEE India Geoscience and Remote Sensing Symposium (InGARSS), Ahmedabad, India, 86–89.
  1. Maneshi, H. Ghassemian and M. Imani. (2020). Sparse Representation of Injected Details for MRA-Based Pansharpening. IEEE India Geoscience and Remote Sensing Symposium (InGARSS), Ahmedabad, India, 86–89.
  2. Zhou, Q. Liu and Y. Wang. (2021). PGMAN: An Unsupervised Generative Multiadversarial Network for Pansharpening. in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 6316–6327.

Te-Ming Tu, P. S. Huang, Chung-Ling Hung and Chien-Ping Chang. (2004). A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. in IEEE Geoscience and Remote Sensing Letters, 1(4), 309–312.

  1. A. Laben and B. V. Brower. (2000). Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening. U.S. Patent 6011875.
  2. P. Shah, N. H. Younan and R. L. King. (2008). An Efficient Pan-Sharpening Method via a Combined Adaptive PCA Approach and Contourlets. in IEEE Transactions on Geoscience and Remote Sensing, 46(5), 1323–1335.
  3. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2020). CNNs hard voting for multi-focus image fusion.Journal of Ambient Intelligence and Humanized Computing, 11, 1749–1769.

Johnson, A. Alahi, and L. Fei-Fei. (2016). Perceptual losses for real-time style transfer and super-resolution. in Proc. Eur. Conf. Comput. Vis., 694–711.

  1. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2019). Ensemble of CNN for multi-focus image fusion. Information Fusion, 51, 201–214.
  2. Ledig et al. (2017). Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 105–114.
  3. P. Kingma and M. Welling. (2014). Auto-Encoding Variational Bayes,” in Int. Conf. Learn. Representations, 1–14.
  4. Goodfellow et al. (2014). Generative adversarial nets,” in Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, Eds. Red Hook, NY, USA: Curran Associates, 2672–2680. [Online]. Available: http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
  5. Masi, D. Cozzolino, L. Verdoliva, and G. Scarpa. (2016). Pansharpening by convolutional neural networks. Remote Sens., 8(7), 594–615.
  6. Yang, X. Fu, Y. Hu, Y. Huang, X. Ding, and J. Paisley. (2017). PanNet: A deep network architecture for pan-sharpening. in Proc. IEEE Int. Conf. Comput. Vis., 5449–5457.
  7. He, X. Zhang, S. Ren, and J. Sun. (2016). Deep residual learning for image recognition. in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 770–778.
  8. Yuan, Y. Wei, X. Meng, H. Shen, and L. Zhang. (2018). A multiscale and multidepth convolutional neural network for remote sensing imagery pansharpening. IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., 11(3), 978–989.
  9. Wang, Y. Li, L. Ma, Z. W. Bai, and J. C. W. Chan. (2019). Going deeper with densely connected convolutional neural networks for multispectral pansharpening. Remote Sens., 11(22), 19.
  10. Peng, L. Liu, J. Wang, E. Zhang, X. Zhu, et al. (2021). PSMD-Net: A Novel Pan-Sharpening Method Based on a Multiscale Dense Network. in IEEE Transactions on Geoscience and Remote Sensing, 59(6), 4957–4971.
  11. Liu, Q. Liu, and Y. Wang. (2020). Remote sensing image fusion based on two-stream fusion network. Inf. Fusion, 55, 1–15.
  12. Wald, T. Ranchin, and M. Mangolini. (1997). Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images. Photogramm. Eng. Remote Sens., 63(6), 691–699.
  13. Liu, H. Zhou, Q. Xu, X. Liu and Y. Wang. (2021). PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-Sharpening. in IEEE Transactions on Geoscience and Remote Sensing, 59(12), 10227–10242.
  14. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. Paul Smolley. (2017). Least squares generative adversarial networks. in Proc. IEEE Int. Conf. Comput. Vis.,2794–2802.
  15. Ma, W. Yu, C. Chen, P. Liang, X. Guo, and J. Jiang. (2020). Pan-GAN: An unsupervised pan-sharpening method for remote sensing image fusion. Inf. Fusion, 62, 110–120.
  16. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger. (2017). Densely connected convolutional networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2261–2269.

Zhou Wang and A. C. Bovik. (2002). A universal image quality index,” in IEEE Signal Processing Letters, 9(3), 81–84.

  1. P. Kingma and J. Ba. (2017). Adam: A method for stochastic optimization. arXiv:1412.6980.
  2. Wald. (2000). Quality of high resolution synthesised images: Is there a simple criterion?. in Proc. 3rd Conf. “Fusion Earth Data: Merging Point Meas., Raster Maps Remotely Sensed Images”, 99–103.
  3. Vivone. (2019). Robust band-dependent spatial-detail approaches for panchromatic sharpening. IEEE Trans. Geosci. Remote Sens., 57(9), 6421–6433.
  4. R. Gillespie, A. B. Kahle, and R. E. Walker. (1987). Color enhancement of highly correlated images. II. Channel ratio and ‘chromaticity’ transformation techniques. Remote Sensing of Environment, 22(3), 343–365.
  5. Liu. (2000). Smoothing filter-based intensity modulation: A spectral preserve image fusion technique for improving spatial details. International Journal of Remote Sensing, 21(18), 3461–3472.
  6. Shao, Z. Lu, M. Ran, L. Fang, J. Zhou and Y. Zhang. (2020). Residual Encoder–Decoder Conditional Generative Adversarial Network for Pansharpening. in IEEE Geoscience and Remote Sensing Letters, 17(9), 1573–1577.

     

    1. Maneshi, H. Ghassemian and M. Imani. (2020). Sparse Representation of Injected Details for MRA-Based Pansharpening. IEEE India Geoscience and Remote Sensing Symposium (InGARSS), Ahmedabad, India, 86–89.
    2. Zhou, Q. Liu and Y. Wang. (2021). PGMAN: An Unsupervised Generative Multiadversarial Network for Pansharpening. in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 6316–6327.

    Te-Ming Tu, P. S. Huang, Chung-Ling Hung and Chien-Ping Chang. (2004). A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. in IEEE Geoscience and Remote Sensing Letters, 1(4), 309–312.

    1. A. Laben and B. V. Brower. (2000). Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening. U.S. Patent 6011875.
    2. P. Shah, N. H. Younan and R. L. King. (2008). An Efficient Pan-Sharpening Method via a Combined Adaptive PCA Approach and Contourlets. in IEEE Transactions on Geoscience and Remote Sensing, 46(5), 1323–1335.
    3. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2020). CNNs hard voting for multi-focus image fusion.Journal of Ambient Intelligence and Humanized Computing, 11, 1749–1769.

    Johnson, A. Alahi, and L. Fei-Fei. (2016). Perceptual losses for real-time style transfer and super-resolution. in Proc. Eur. Conf. Comput. Vis., 694–711.

    1. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2019). Ensemble of CNN for multi-focus image fusion. Information Fusion, 51, 201–214.
    2. Ledig et al. (2017). Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 105–114.
    3. P. Kingma and M. Welling. (2014). Auto-Encoding Variational Bayes,” in Int. Conf. Learn. Representations, 1–14.
    4. Goodfellow et al. (2014). Generative adversarial nets,” in Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, Eds. Red Hook, NY, USA: Curran Associates, 2672–2680. [Online]. Available: http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
    5. Masi, D. Cozzolino, L. Verdoliva, and G. Scarpa. (2016). Pansharpening by convolutional neural networks. Remote Sens., 8(7), 594–615.
    6. Yang, X. Fu, Y. Hu, Y. Huang, X. Ding, and J. Paisley. (2017). PanNet: A deep network architecture for pan-sharpening. in Proc. IEEE Int. Conf. Comput. Vis., 5449–5457.
    7. He, X. Zhang, S. Ren, and J. Sun. (2016). Deep residual learning for image recognition. in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 770–778.
    8. Yuan, Y. Wei, X. Meng, H. Shen, and L. Zhang. (2018). A multiscale and multidepth convolutional neural network for remote sensing imagery pansharpening. IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., 11(3), 978–989.
    9. Wang, Y. Li, L. Ma, Z. W. Bai, and J. C. W. Chan. (2019). Going deeper with densely connected convolutional neural networks for multispectral pansharpening. Remote Sens., 11(22), 19.
    10. Peng, L. Liu, J. Wang, E. Zhang, X. Zhu, et al. (2021). PSMD-Net: A Novel Pan-Sharpening Method Based on a Multiscale Dense Network. in IEEE Transactions on Geoscience and Remote Sensing, 59(6), 4957–4971.
    11. Liu, Q. Liu, and Y. Wang. (2020). Remote sensing image fusion based on two-stream fusion network. Inf. Fusion, 55, 1–15.
    12. Wald, T. Ranchin, and M. Mangolini. (1997). Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images. Photogramm. Eng. Remote Sens., 63(6), 691–699.
    13. Liu, H. Zhou, Q. Xu, X. Liu and Y. Wang. (2021). PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-Sharpening. in IEEE Transactions on Geoscience and Remote Sensing, 59(12), 10227–10242.
    14. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. Paul Smolley. (2017). Least squares generative adversarial networks. in Proc. IEEE Int. Conf. Comput. Vis.,2794–2802.
    15. Ma, W. Yu, C. Chen, P. Liang, X. Guo, and J. Jiang. (2020). Pan-GAN: An unsupervised pan-sharpening method for remote sensing image fusion. Inf. Fusion, 62, 110–120.
    16. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger. (2017). Densely connected convolutional networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2261–2269.

    Zhou Wang and A. C. Bovik. (2002). A universal image quality index,” in IEEE Signal Processing Letters, 9(3), 81–84.

    1. P. Kingma and J. Ba. (2017). Adam: A method for stochastic optimization. arXiv:1412.6980.
    2. Wald. (2000). Quality of high resolution synthesised images: Is there a simple criterion?. in Proc. 3rd Conf. “Fusion Earth Data: Merging Point Meas., Raster Maps Remotely Sensed Images”, 99–103.
    3. Vivone. (2019). Robust band-dependent spatial-detail approaches for panchromatic sharpening. IEEE Trans. Geosci. Remote Sens., 57(9), 6421–6433.
    4. R. Gillespie, A. B. Kahle, and R. E. Walker. (1987). Color enhancement of highly correlated images. II. Channel ratio and ‘chromaticity’ transformation techniques. Remote Sensing of Environment, 22(3), 343–365.
    5. Liu. (2000). Smoothing filter-based intensity modulation: A spectral preserve image fusion technique for improving spatial details. International Journal of Remote Sensing, 21(18), 3461–3472.
    6. Shao, Z. Lu, M. Ran, L. Fang, J. Zhou and Y. Zhang. (2020). Residual Encoder–Decoder Conditional Generative Adversarial Network for Pansharpening. in IEEE Geoscience and Remote Sensing Letters, 17(9), 1573–1577.
نشریه کاربرد سنجش از دور و سیستم اطلاعات جغرافیایی در علوم محیطی
دوره 4، شماره 11
مرداد 1403
صفحه 104-76
  • تاریخ دریافت: 25 مرداد 1403
  • تاریخ پذیرش: 26 مهر 1403