Cross-Biome Feature Importance Stability Analysis for SAR-based Flood Mapping with Random Forests

Flood mapping using machine learning methods such as Random Forests (RF) requires informed feature selection. Yet the stability of feature-importance rankings across different biomes has not been evaluated specifically for RF-based flood delineation. In this study, we investigate the consistency of RF feature-importance rankings in a binary flood-classification task primarily based on Synthetic Aperture Radar (SAR) imagery. The feature stack comprises 13 variables, including 9 SAR-based features (Sentinel-1 VV and VH polarizations and their temporal-change metrics) and 4 contextual features such as land cover and topographic indices. The classification task was conducted across 15 flood events spanning five distinct biomes: (1) Deserts and Xeric Shrublands, (2) Tropical and Subtropical Moist Broadleaf Forests, (3) Temperate Broadleaf and Mixed Forests, (4) Temperate Coniferous Forests, and (5) Mediterranean Forests, Woodlands and Scrub. We evaluated three feature-attribution methods. SHAP provides a game-theoretic framework for feature attribution and is widely recognized for its consistency and interpretability. Mean Decrease in Impurity (MDI), computed during tree growth, is the most commonly used importance metric for RF models. Permutation importance (MDA) offers a model-agnostic approach that assesses importance by measuring the reduction in model accuracy when feature values are randomly shuffled. Both feature cardinality and feature correlation were considered during interpretation. All experiments were repeated across 10 independent iterations to account for random variability. We first examined feature-importance rankings independently across the three subsample studies within each biome to establish baseline intra-biome variability, followed by quantification of inter-biome variability to assess whether feature-importance patterns transfer across different environmental conditions. Preliminary results from select biomes indicate stable rankings for SAR-based features, with VV and VH event polarizations dominating the decision boundary, while contextual descriptors, particularly terrain indices such as Height Above the Nearest Drainage, exhibit greater variability both within and between biomes. Understanding the transferability of feature importance patterns and feature stacks across biomes is critical for developing an RF-based flood-mapping pipeline that operates reliably under diverse environmental conditions worldwide and ultimately builds user trust in the resulting products.

La mappatura delle inondazioni mediante classificatori di apprendimento automatico come il Random Forest (RF) dipende da una selezione informata delle feature; tuttavia, la stabilità delle classifiche di importanza delle feature in ambienti contrastanti non è stata valutata in modo sistematico per la delineazione delle inondazioni basata su RF. Questo studio esamina la coerenza delle classifiche di importanza delle feature di RF in un compito di classificazione binaria delle inondazioni basato principalmente su immagini radar ad apertura sintetica (SAR). È stato costruito uno stack di tredici feature nove variabili derivate dal SAR (polarizzazioni VV e VH di Sentinel1, i relativi rapporti polarimetrici e metriche di variazione temporale) e quattro variabili contestuali (pendenza, altezza sul drenaggio più vicino [HAND], distanza euclidea dall'acqua [EDTW] e copertura del suolo) per quindici eventi alluvionali distribuiti su cinque biomi globali: Deserti e arbusteti xerici; Foreste umide tropicali e subtropicali di latifoglie; Foreste temperate di latifoglie e miste; Foreste temperate di conifere; e Foreste, boschi e macchia mediterranea. Sono stati confrontati tre metodi di attribuzione dell'importanza (Mean Decrease in Impurity [MDI], importanza per permutazione [MDA] e SHapley Additive exPlanations [SHAP]) e, nell'interpretazione, si è tenuto conto anche della cardinalità e della correlazione delle feature; tutti gli esperimenti sono stati ripetuti su dieci iterazioni indipendenti (esecuzioni ripetute del modello, ciascuna con un seed casuale e un'estrazione del campione di addestramento indipendenti). I tre metodi di attribuzione possono ordinare in modo differente le feature correlate e di bassa importanza; in questo studio essi concordano sul predittore principale all'interno di ciascun bioma, ma divergono per le feature di importanza intermedia e correlate, sottolineando l'utilità di riportare più di un metodo. Le classifiche di importanza delle feature sono state analizzate dapprima all'interno di ciascun bioma e successivamente tra i diversi biomi. La retrodiffusione (backscatter) SAR post-evento, in particolare VV Post, è risultata il predittore delle inondazioni più costantemente importante e trasferibile, mentre VH Post (pur essendo in media altrettanto importante) ha mostrato forti variazioni tra i biomi, risultando dominante nelle foreste tropicali ma indebolendosi negli ambienti di conifere e mediterranei. Elemento cruciale, l'importanza delle feature si è rivelata dipendente dal bioma: i descrittori del terreno hanno superato la retrodiffusione SAR nei biomi mediterraneo (pendenza) e delle latifoglie temperate (HAND), mentre VH Post e la pendenza hanno mostrato la maggiore variabilità tra i biomi. Questi risultati mostrano che i pattern di importanza delle feature non si trasferiscono in modo uniforme tra i diversi ambienti: un risultato centrale per la costruzione di pipeline di mappatura delle inondazioni affidabili e applicabili su scala globale, basate su RF (e, più in generale, sull'apprendimento automatico), e per rafforzare la fiducia degli utenti nei prodotti che ne derivano.