Project

This article proposes a spatiotemporal (ST) fusion framework robust against diverse noise for satellite images, named temporally similar structure-aware ST fusion (TSSTF). ST fusion is a promising approach to address the tradeoff between the spatial and temporal resolutions of satellite images. In real-world scenarios, observed satellite images are severely degraded by noise due to measurement equipment and environmental factors. Therefore, some recent studies have focused on enhancing the robustness of ST fusion methods against noise. However, existing noise-robust ST fusion approaches often fail to capture fine spatial structure, leading to oversmoothing and artifacts. To address this issue, TSSTF introduces two key mechanisms: temporally guided total variation (TGTV) and temporally guided edge constraint (TGEC). TGTV is a weighted total variation (TV)-based regularization that promotes spatial piecewise smoothness while preserving structural details, guided by a reference high spatial resolution (HR) image acquired on a nearby date. TGEC enforces consistency in edge locations between two temporally adjacent images, while allowing for spectral variations. We formulate the ST fusion task as a constrained optimization problem incorporating TGTV and TGEC, and develop an efficient algorithm based on a preconditioned primal–dual splitting (P-PDS) method. The experimental results demonstrate that TSSTF performs comparably to state-of-the-art methods in noise-free cases and outperforms them under noisy conditions. 

本論文では，多様なノイズに対して頑健な衛星画像の時空間合成（spatiotemporal fusion: ST fusion）フレームワークである，時間的構造類似性を考慮した時空間合成（temporally similar structure-aware ST fusion: TSSTF）を提案する．時空間合成は，衛星画像における空間解像度と時間解像度のトレードオフを解決する有望なアプローチである．実環境における衛星画像では，観測機器や環境要因に起因するノイズが避けられないなるため，時空間合成の文脈でも，ノイズに対する頑健性を向上させる研究が行われている．しかし，既存のノイズロバストな時空間合成手法では，細かな空間構造を十分に捉えられず，過度な平滑化やアーティファクトが生じるという課題がある．この問題に対処するため，TSSTFでは，時間誘導全変動（temporally guided total variation: TGTV）と時間誘導エッジ制約（temporally guided edge constraint: TGEC）という二つの主要な機構を導入する．TGTVは，近接した日時に取得された高空間解像度画像に基づいて，構造的な詳細を保持しつつ，空間的な区分的平滑性を促進する重み付き全変動（total variation: TV）型の正則化である．TGECは，スペクトル変化を許容しながら，時間的に隣接する二つの画像間でエッジ位置の整合性を課す制約である．本論文では，TGTVおよびTGECを組み込んだ制約付き最適化問題として時空間合成タスクを定式化し，preconditioned primal–dual splitting に基づく効率的な求解アルゴリズムを開発する．実験結果により，TSSTFはノイズのない場合には最先端手法と同等の性能を示し，ノイズが存在する場合にはそれらを上回る性能を示すことが確認された．

@ARTICLE{11404183,

  author={Isono, Ryosuke and Ono, Shunsuke},

  journal={IEEE Transactions on Geoscience and Remote Sensing}, 

  title={Temporally Similar Structure-Aware Spatiotemporal Fusion of Satellite Images}, 

  year={2026},

  volume={64},

  number={},

  pages={1-18},

  keywords={Noise;Spatial resolution;Optimization;Noise measurement;Satellite images;Total variance;Image edge detection;Spatiotemporal phenomena;Sensors;Noise robustness;Constrained optimization;primal–dual splitting method;remote sensing;spatiotemporal fusion (ST fusion);total variation (TV)},

  doi={10.1109/TGRS.2026.3666482}

}

• official (OA)

• arXiv

• GitHub