نوع مقاله : مقاله پژوهشی

نویسندگان

• علی آقاگل زاده ¹
• مهرشاد بریمانی ²

¹ استادگروه مهندسی برق-مخابرات، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی نوشیروانی بابل

² دانشجوی دکترای گروه مهندسی مخابرات، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی نوشیروانی بابل

چکیده

در پنشارپنینگ، یک تصویر چندطیفی با وضوح پایین (LRMS) و یک تصویر تک‌رنگ با وضوح بالا (PAN) برای تولید یک تصویر چندطیفی با وضوح بالا (HRMS)‌ ترکیب می‌شوند. مطالعات اخیر نشان داده‌اند که شبکه‌های عصبی کانولوشن می‌توانند برای پنشارپنینگ تصاویر سنجش از دور با نتایج عالی مورد استفاده قرار گیرند. با‌ این حال، همچنان دو مشکل اساسی وجود دارد که باید برطرف شوند. از یک سو، با وجود نبود تصاویر‌ایده‌آل HRMS برای یادگیری، اکثر روش‌های فعلی نیاز به تلاش بیشتری برای تولید داده‌های شبیه‌سازی شده دارند. از سوی دیگر، این روش‌ها معمولاً اطلاعات مکانی غنی موجود در تصاویر تک‌رنگ را نادیده می‌گیرند. برای پرداختن به این مسائل، در این مقاله، با استفاده از شبکه‌های مخالف مولد، یک چهارچوب ادغام بدون نظارت مبتنی‌بر یک شبکه متراکم چندمقیاسی به نام UMP-GAN برای پنشارپنینگ تصاویر سنجش از دور طراحی شده است که می‌تواند مستقیماً بر روی تصاویر با وضوح کامل بدون نیاز به هیچ گونه پیش‌پردازشی آموزش ببیند. ابتدا، یک شبکه مولد متراکم چندمقیاسی برای استخراج ویژگی‌ها از تصاویر ورودی اصلی برای تولید تصاویر HRMS پیشنهاد می‌شود. در ادامه، دو شبکه تفکیک‌کننده مجزا برای حفاظت از اطلاعات طیفی و جزئیات مکانی موجود در تصاویر ورودی استفاده می‌گردد. در نهایت، برای اجرای آموزش تحت تنظیمات بدون نظارت، توابع هزینه جدیدی پیشنهاد می‌شود. این روش می‌تواند تبادل اطلاعات گرادیان میان شبکه مولد و شبکه‌های تفکیک‌کننده را عمیق‌تر کند. نتایج حاصل از تصاویر ماهواره‌هایWorldView-2 ،GaoFen-2 وQuickBird ‌‌نشان داده‌اند که روش پیشنهادی در ادغام تصاویر سنجش از دور بهتر از سایر مدل‌های معتبر پیشین عمل می‌کند.

کلیدواژه‌ها

• ادغام تصاویر سنجش از دور
• بلوک‌ متراکم چندمقیاسی
• پنشارپنینگ
• شبکه‌های عصبی کانولوشن
• شبکه‌های مخالف مولد
• یادگیری بدون نظارت

موضوعات

• سنجش از دور و سیستم اطلاعات جغرافیایی

عنوان مقاله [English]

Unsupervised fusion of remote sensing images using a multiscale generative adversarial network

نویسندگان [English]

• Ali Aghagolzadeh ¹
• Mehrshad Barimani ²

¹ Babol Noshirvani University of Technology

² Department of Communication Eng., Faculty of Electrical and Computer Eng., Babol Noshirvani University of Technology, Babol, Iran.

چکیده [English]

In pansharpening, a low-resolution multispectral image (LRMS) and a high-resolution panchromatic image (PAN) are fused to produce a high-resolution multispectral image (HRMS). Recent studies have shown that convolutional neural networks can be used for sharpening remote sensing images with excellent results. However, there are still two major problems that need to be resolved. Despite the lack of ideal HRMS images for learning, most current methods require more effort to generate simulated data. On the other hand, these methods usually ignore the rich spatial information in panchromatic images. To address these issues, we have proposed an unsupervised fusion framework based on a multiscale dense network called UMP-GAN for pansharpening. This framework, which employs generative adversarial networks, can be trained directly on full-resolution images without requiring any preprocessing step. First, a multiscale dense generator network is proposed to extract features from original input images to generate HRMS images. In the following, two separate discriminator networks are used to protect the spectral information and spatial details of the input images in the final image. Therefore, the proposed method provides the possibility of training two discriminating networks, each of which has a different and complementary task. Finally, new lost functions are proposed to perform training under unsupervised settings. This method can deepen the exchange of gradient information between the generator network and the discriminator networks. The results from WorldView-2, GaoFen-2, and QuickBird satellite images show that the proposed method performs better than other state-of-the-art models in the fusion of remote sensing images.

کلیدواژه‌ها [English]

• Remote Sensing Image Fusion
• Multiscale Dense Block
• Pansharpening
• Convolutional Neural Networks
• Generative Adversarial Networks
• Unsupervised Learning