Nature重磅：AI擊敗最先進全球洪水預(yù)警系統(tǒng)，提前7天預(yù)測河流洪水，每年挽救數(shù)千人生命
原創(chuàng) 學(xué)術(shù)頭條 學(xué)術(shù)頭條
洪水是最常見的自然災(zāi)害類型，全球有近 15 億人（約占世界人口的 19%）直接面臨嚴重洪水事件的巨大風(fēng)險。洪水還造成巨大的物質(zhì)損失，每年造成全球經(jīng)濟損失約 500 億美元。
近年來，人類造成的氣候變化進一步增加了一些地區(qū)的洪水頻率。然而，目前的預(yù)報方法主要依賴沿河而建的觀測站，其在全球的分布并不均勻，這就導(dǎo)致未經(jīng)測量的河流更難預(yù)報，其負面影響主要體現(xiàn)在發(fā)展中國家。升級預(yù)警系統(tǒng)，使這些人群能夠獲得準確、及時的信息，每年可以挽救數(shù)千人的生命。
那么，如何在全球范圍內(nèi)進行可靠的洪水預(yù)報？人工智能（AI）模型或許大有可為。
如今，來自 Google Research 洪水預(yù)測團隊的 Grey Nearing 及其同事開發(fā)的人工智能模型，通過利用現(xiàn)有的 5680 個測量儀進行訓(xùn)練，可預(yù)測未測量流域在 7 天預(yù)測期內(nèi)的日徑流。
隨后，他們將該人工智能模型與全球領(lǐng)先的短期和長期洪水預(yù)測軟件——全球洪水預(yù)警系統(tǒng)（GloFAS）進行了對比測試。結(jié)果顯示，該模型同日預(yù)測準確率與當(dāng)前系統(tǒng)相當(dāng)甚至更高。
此外，該模型在預(yù)測重現(xiàn)窗口（return window）期為五年的極端天氣事件時，其準確性與 GloFAS 預(yù)測重現(xiàn)窗口期為一年的事件時的準確性相當(dāng)或更高。
相關(guān)研究論文以“Global prediction of extreme floods in ungauged watersheds”為題，已發(fā)表在權(quán)威科學(xué)期刊 Nature 上。
研究團隊表示，該模型能對未測流盆地的小規(guī)模和極端洪水事件做出預(yù)警，且預(yù)警期比之前的方法都更長，并可提高發(fā)展中地區(qū)獲得可靠洪水預(yù)報的機會。
提前7天，AI是如何做到的？
那么，這一人工智能模型如何能給出可靠的洪水預(yù)報呢？
據(jù)論文描述，該研究使用了一種叫做長短期記憶（LSTM）網(wǎng)絡(luò)的人工智能模型來進行河流流量的預(yù)測。這個模型的設(shè)計有點像我們的大腦，它可以從一系列的氣象數(shù)據(jù)中學(xué)習(xí)并預(yù)測未來的河流流量，分為編碼器和解碼器兩部分。
圖｜基于 LSTM 的河流預(yù)報模型架構(gòu)。兩個 LSTM 依次應(yīng)用，一個接收歷史天氣數(shù)據(jù)，另一個接收預(yù)測天氣數(shù)據(jù)。模型輸出為每個預(yù)報時間步的流量概率分布參數(shù)。
首先，編碼器負責(zé)從上一段時間內(nèi)的氣象數(shù)據(jù)中提取信息，它從過去的天氣情況中理解河流流量的變化情況。它將歷史氣象數(shù)據(jù)轉(zhuǎn)化為可供解碼器使用的信息形式的作用。通過學(xué)習(xí)氣象數(shù)據(jù)中的特征和時間模式，模型對過去氣象情況形成抽象理解，為后續(xù)的流量預(yù)測提供了關(guān)鍵性的輸入。
編碼器則通過接收一系列氣象數(shù)據(jù)（比如降水量、溫度、輻射等）作為輸入，學(xué)習(xí)如何提取這些數(shù)據(jù)中的關(guān)鍵特征信息。這些特征信息可能包括季節(jié)性變化、氣象事件（如暴雨、高溫等）以及它們對河流流量的影響。
同時，編碼器能夠捕獲氣象數(shù)據(jù)之間的時間依賴關(guān)系。這意味著它不僅僅考慮當(dāng)前時刻的氣象情況，還考慮了之前一段時間內(nèi)的氣象變化趨勢。通過對歷史數(shù)據(jù)的學(xué)習(xí)，編碼器能夠理解氣象數(shù)據(jù)的時間序列模式，并將其納入到模型中。
在編碼器中，LSTM 網(wǎng)絡(luò)被用來處理時間序列數(shù)據(jù)。LSTM 具有內(nèi)部記憶單元，可以記住過去的信息，并根據(jù)當(dāng)前的輸入來更新內(nèi)部狀態(tài)。這使得編碼器能夠在處理長期依賴關(guān)系時表現(xiàn)優(yōu)異，并在建模過程中保留重要的歷史信息。
最終，編碼器將歷史氣象數(shù)據(jù)轉(zhuǎn)化為一個潛在的表示形式，這個表示形式包含了對過去氣象情況的理解和總結(jié)。這個表示形式是編碼器的輸出，并傳遞給解碼器，用于未來流量的預(yù)測。
然后，解碼器部分使用這些信息來預(yù)測未來幾天的河流流量。它考慮了當(dāng)前的氣象預(yù)報，以及過去的天氣對未來流量的影響。這樣，就可以得到未來一周的流量預(yù)測。
解碼器在模型中負責(zé)將歷史氣象信息和未來預(yù)測結(jié)合起來，生成對未來河流流量的預(yù)測，并輸出相應(yīng)的流量概率分布。
解碼器首先接收來自編碼器的潛在表示形式，這個表示形式包含了歷史氣象數(shù)據(jù)的抽象理解。解碼器利用這些信息來理解過去的氣象條件對河流流量的影響，并建立起歷史數(shù)據(jù)與未來預(yù)測之間的聯(lián)系。
解碼器同時接收未來的氣象預(yù)測數(shù)據(jù)作為輸入。這些預(yù)測數(shù)據(jù)通常包括了未來幾天的降水量、溫度等氣象指標。解碼器將歷史信息和未來預(yù)測結(jié)合起來，通過學(xué)習(xí)它們之間的關(guān)系來預(yù)測未來的河流流量。
在理解了歷史氣象條件和未來預(yù)測之后，解碼器通過一個獨立的 LSTM 網(wǎng)絡(luò)來生成對未來河流流量的預(yù)測。這個網(wǎng)絡(luò)可以理解為一個時間序列的生成器，根據(jù)過去的信息和未來的預(yù)測來生成流量序列。
解碼器不僅僅預(yù)測未來的河流流量值，還輸出一個概率分布。具體來說，模型使用一個單邊拉普拉斯分布來描述流量的不確定性，預(yù)測每個時間步的流量值時，輸出一個單邊拉普拉斯分布的參數(shù)，而不是一個確定的值。這使得模型能夠考慮到流量預(yù)測的不確定性，為決策提供了更多的信息。
最終的流量預(yù)測結(jié)果是通過集成多個解碼器模型的輸出得到的。模型使用了三個獨立訓(xùn)練的解碼器 LSTM 網(wǎng)絡(luò)，然后將它們的預(yù)測結(jié)果取中值，從而減少預(yù)測的方差并提高預(yù)測的穩(wěn)定性。
真實效果怎么樣？
研究人員收集了大量的氣象數(shù)據(jù)和河流流量數(shù)據(jù)，來訓(xùn)練這一模型。這些數(shù)據(jù)來自于不同的數(shù)據(jù)源，包括氣象預(yù)報、歷史記錄和地理信息。通過將數(shù)據(jù)標準化處理，模型得以正確理解它們。
然后，數(shù)據(jù)分成兩種類型：訓(xùn)練集和測試集。訓(xùn)練集用于訓(xùn)練模型，而測試集則用于評估模型的性能。研究人員使用了一種“交叉驗證”的方法，以確保模型在不同的時間和地點都能夠有效地工作。
最后，研究團隊評估了模型的性能，并與現(xiàn)有的流量預(yù)測模型進行了比較。
研究團隊采用了常見的誤差指標來量化模型預(yù)測值與實際觀測值之間的差異。由于模型預(yù)測的不只是未來流量的具體數(shù)值，而且還給出了流量預(yù)測的不確定性，因此他們使用了概率積分變換（PIT）圖來評估預(yù)測分布的準確性。
研究團隊還通過與其他流量預(yù)測模型的對比來評估所提出模型的性能。這包括了傳統(tǒng)的物理模型和其他機器學(xué)習(xí)模型。通過比較不同模型的誤差指標，可以直觀地展示所提模型在準確性和可靠性上的優(yōu)勢。
另外，研究團隊還采用了特定的流域或河流作為案例研究，應(yīng)用模型于實際情境中，并詳細分析模型在不同季節(jié)、不同氣候條件下的預(yù)測性能。這有助于評估模型在實際應(yīng)用中的可行性和穩(wěn)定性。
除了量化指標，研究團隊也還對模型預(yù)測的不確定性進行了深入分析。這包括評估不同來源的不確定性（如輸入數(shù)據(jù)的不確定性、模型結(jié)構(gòu)的不確定性等）對預(yù)測結(jié)果的影響，以及模型如何在存在不確定性的情況下仍然提供有用的預(yù)測。
結(jié)果顯示，模型展現(xiàn)了較高的精確度和召回率，尤其是對于短期回報周期的事件。這意味著模型能夠準確地識別出洪水事件，并且錯過的事件較少。
結(jié)合精確度和召回率，模型在不同回報周期的事件上獲得了較高的 F1 score，表明了其在準確性和全面性之間取得了良好的平衡。
此外，通過雙側(cè) Wilcoxon 符號秩檢驗，模型的預(yù)測結(jié)果在統(tǒng)計上顯著優(yōu)于基準模型。這證明了模型在洪水預(yù)測方面的有效性。
Cohen's d 指標顯示，模型性能改進的效果是顯著的，這進一步驗證了模型相對于傳統(tǒng)方法的優(yōu)勢。
在 Nash–Sutcliffe 效率和 Kling-Gupta 效率等水文指標上，模型同樣顯示了良好的預(yù)測精度和對水文過程變化的敏感性。
不足與展望
然而，該研究也存在一些局限性。
例如，實驗采用的樣本可能較小，限制了研究結(jié)果的普遍適用性和統(tǒng)計功效。研究所用的數(shù)據(jù)集的多樣性存在不足，這可能影響模型的泛化能力。采用的模型復(fù)雜度較高，可能導(dǎo)致計算成本增加并限制了其可解釋性和便捷性。
另外，研究聚焦于特定任務(wù)或領(lǐng)域，可能限制了方法的廣泛應(yīng)用；這個方法缺乏長期影響的評估，使得對模型隨時間變化的表現(xiàn)理解不足，評估標準可能無法全面反映模型性能；且對現(xiàn)有技術(shù)的改進程度可能相對有限。
對此，研究團隊表示，未來的工作需要進一步將洪水預(yù)報的覆蓋范圍擴大到全球更多地點，以及其他類型的洪水相關(guān)事件和災(zāi)害，包括山洪和城市洪水。人工智能技術(shù)也將繼續(xù)發(fā)揮關(guān)鍵作用，幫助推動科學(xué)研究，促進氣候行動。
參考鏈接：
https://www.nature.com/articles/s41586-024-07145-1
https://blog.google/technology/ai/google-ai-global-flood-forecasting/
Nature重磅：AI擊敗最先進全球洪水預(yù)警系統(tǒng)，提前7天預(yù)測河流洪水，每年挽救數(shù)千人生命
洪水是最常見的自然災(zāi)害類型，全球有近 15 億人（約占世界人口的 19%）直接面臨嚴重洪水事件的巨大風(fēng)險。洪水還造成巨大的物質(zhì)損失，每年造成全球經(jīng)濟損失約 500 億美元。
近年來，人類造成的氣候變化進一步增加了一些地區(qū)的洪水頻率。然而，目前的預(yù)報方法主要依賴沿河而建的觀測站，其在全球的分布并不均勻，這就導(dǎo)致未經(jīng)測量的河流更難預(yù)報，其負面影響主要體現(xiàn)在發(fā)展中國家。升級預(yù)警系統(tǒng)，使這些人群能夠獲得準確、及時的信息，每年可以挽救數(shù)千人的生命。
那么，如何在全球范圍內(nèi)進行可靠的洪水預(yù)報？人工智能（AI）模型或許大有可為。
如今，來自 Google Research 洪水預(yù)測團隊的 Grey Nearing 及其同事開發(fā)的人工智能模型，通過利用現(xiàn)有的 5680 個測量儀進行訓(xùn)練，可預(yù)測未測量流域在 7 天預(yù)測期內(nèi)的日徑流。
隨后，他們將該人工智能模型與全球領(lǐng)先的短期和長期洪水預(yù)測軟件——全球洪水預(yù)警系統(tǒng)（GloFAS）進行了對比測試。結(jié)果顯示，該模型同日預(yù)測準確率與當(dāng)前系統(tǒng)相當(dāng)甚至更高。
此外，該模型在預(yù)測重現(xiàn)窗口（return window）期為五年的極端天氣事件時，其準確性與 GloFAS 預(yù)測重現(xiàn)窗口期為一年的事件時的準確性相當(dāng)或更高。
相關(guān)研究論文以“Global prediction of extreme floods in ungauged watersheds”為題，已發(fā)表在權(quán)威科學(xué)期刊 Nature 上。
研究團隊表示，該模型能對未測流盆地的小規(guī)模和極端洪水事件做出預(yù)警，且預(yù)警期比之前的方法都更長，并可提高發(fā)展中地區(qū)獲得可靠洪水預(yù)報的機會。
提前7天，AI是如何做到的？
那么，這一人工智能模型如何能給出可靠的洪水預(yù)報呢？
據(jù)論文描述，該研究使用了一種叫做長短期記憶（LSTM）網(wǎng)絡(luò)的人工智能模型來進行河流流量的預(yù)測。這個模型的設(shè)計有點像我們的大腦，它可以從一系列的氣象數(shù)據(jù)中學(xué)習(xí)并預(yù)測未來的河流流量，分為編碼器和解碼器兩部分。
圖｜基于 LSTM 的河流預(yù)報模型架構(gòu)。兩個 LSTM 依次應(yīng)用，一個接收歷史天氣數(shù)據(jù)，另一個接收預(yù)測天氣數(shù)據(jù)。模型輸出為每個預(yù)報時間步的流量概率分布參數(shù)。
首先，編碼器負責(zé)從上一段時間內(nèi)的氣象數(shù)據(jù)中提取信息，它從過去的天氣情況中理解河流流量的變化情況。它將歷史氣象數(shù)據(jù)轉(zhuǎn)化為可供解碼器使用的信息形式的作用。通過學(xué)習(xí)氣象數(shù)據(jù)中的特征和時間模式，模型對過去氣象情況形成抽象理解，為后續(xù)的流量預(yù)測提供了關(guān)鍵性的輸入。
編碼器則通過接收一系列氣象數(shù)據(jù)（比如降水量、溫度、輻射等）作為輸入，學(xué)習(xí)如何提取這些數(shù)據(jù)中的關(guān)鍵特征信息。這些特征信息可能包括季節(jié)性變化、氣象事件（如暴雨、高溫等）以及它們對河流流量的影響。
同時，編碼器能夠捕獲氣象數(shù)據(jù)之間的時間依賴關(guān)系。這意味著它不僅僅考慮當(dāng)前時刻的氣象情況，還考慮了之前一段時間內(nèi)的氣象變化趨勢。通過對歷史數(shù)據(jù)的學(xué)習(xí)，編碼器能夠理解氣象數(shù)據(jù)的時間序列模式，并將其納入到模型中。
在編碼器中，LSTM 網(wǎng)絡(luò)被用來處理時間序列數(shù)據(jù)。LSTM 具有內(nèi)部記憶單元，可以記住過去的信息，并根據(jù)當(dāng)前的輸入來更新內(nèi)部狀態(tài)。這使得編碼器能夠在處理長期依賴關(guān)系時表現(xiàn)優(yōu)異，并在建模過程中保留重要的歷史信息。
最終，編碼器將歷史氣象數(shù)據(jù)轉(zhuǎn)化為一個潛在的表示形式，這個表示形式包含了對過去氣象情況的理解和總結(jié)。這個表示形式是編碼器的輸出，并傳遞給解碼器，用于未來流量的預(yù)測。
然后，解碼器部分使用這些信息來預(yù)測未來幾天的河流流量。它考慮了當(dāng)前的氣象預(yù)報，以及過去的天氣對未來流量的影響。這樣，就可以得到未來一周的流量預(yù)測。
解碼器在模型中負責(zé)將歷史氣象信息和未來預(yù)測結(jié)合起來，生成對未來河流流量的預(yù)測，并輸出相應(yīng)的流量概率分布。
解碼器首先接收來自編碼器的潛在表示形式，這個表示形式包含了歷史氣象數(shù)據(jù)的抽象理解。解碼器利用這些信息來理解過去的氣象條件對河流流量的影響，并建立起歷史數(shù)據(jù)與未來預(yù)測之間的聯(lián)系。
解碼器同時接收未來的氣象預(yù)測數(shù)據(jù)作為輸入。這些預(yù)測數(shù)據(jù)通常包括了未來幾天的降水量、溫度等氣象指標。解碼器將歷史信息和未來預(yù)測結(jié)合起來，通過學(xué)習(xí)它們之間的關(guān)系來預(yù)測未來的河流流量。
在理解了歷史氣象條件和未來預(yù)測之后，解碼器通過一個獨立的 LSTM 網(wǎng)絡(luò)來生成對未來河流流量的預(yù)測。這個網(wǎng)絡(luò)可以理解為一個時間序列的生成器，根據(jù)過去的信息和未來的預(yù)測來生成流量序列。
解碼器不僅僅預(yù)測未來的河流流量值，還輸出一個概率分布。具體來說，模型使用一個單邊拉普拉斯分布來描述流量的不確定性，預(yù)測每個時間步的流量值時，輸出一個單邊拉普拉斯分布的參數(shù)，而不是一個確定的值。這使得模型能夠考慮到流量預(yù)測的不確定性，為決策提供了更多的信息。
最終的流量預(yù)測結(jié)果是通過集成多個解碼器模型的輸出得到的。模型使用了三個獨立訓(xùn)練的解碼器 LSTM 網(wǎng)絡(luò)，然后將它們的預(yù)測結(jié)果取中值，從而減少預(yù)測的方差并提高預(yù)測的穩(wěn)定性。
真實效果怎么樣？
研究人員收集了大量的氣象數(shù)據(jù)和河流流量數(shù)據(jù)，來訓(xùn)練這一模型。這些數(shù)據(jù)來自于不同的數(shù)據(jù)源，包括氣象預(yù)報、歷史記錄和地理信息。通過將數(shù)據(jù)標準化處理，模型得以正確理解它們。
然后，數(shù)據(jù)分成兩種類型：訓(xùn)練集和測試集。訓(xùn)練集用于訓(xùn)練模型，而測試集則用于評估模型的性能。研究人員使用了一種“交叉驗證”的方法，以確保模型在不同的時間和地點都能夠有效地工作。
最后，研究團隊評估了模型的性能，并與現(xiàn)有的流量預(yù)測模型進行了比較。
研究團隊采用了常見的誤差指標來量化模型預(yù)測值與實際觀測值之間的差異。由于模型預(yù)測的不只是未來流量的具體數(shù)值，而且還給出了流量預(yù)測的不確定性，因此他們使用了概率積分變換（PIT）圖來評估預(yù)測分布的準確性。
研究團隊還通過與其他流量預(yù)測模型的對比來評估所提出模型的性能。這包括了傳統(tǒng)的物理模型和其他機器學(xué)習(xí)模型。通過比較不同模型的誤差指標，可以直觀地展示所提模型在準確性和可靠性上的優(yōu)勢。
另外，研究團隊還采用了特定的流域或河流作為案例研究，應(yīng)用模型于實際情境中，并詳細分析模型在不同季節(jié)、不同氣候條件下的預(yù)測性能。這有助于評估模型在實際應(yīng)用中的可行性和穩(wěn)定性。
除了量化指標，研究團隊也還對模型預(yù)測的不確定性進行了深入分析。這包括評估不同來源的不確定性（如輸入數(shù)據(jù)的不確定性、模型結(jié)構(gòu)的不確定性等）對預(yù)測結(jié)果的影響，以及模型如何在存在不確定性的情況下仍然提供有用的預(yù)測。
結(jié)果顯示，模型展現(xiàn)了較高的精確度和召回率，尤其是對于短期回報周期的事件。這意味著模型能夠準確地識別出洪水事件，并且錯過的事件較少。
結(jié)合精確度和召回率，模型在不同回報周期的事件上獲得了較高的 F1 score，表明了其在準確性和全面性之間取得了良好的平衡。
此外，通過雙側(cè) Wilcoxon 符號秩檢驗，模型的預(yù)測結(jié)果在統(tǒng)計上顯著優(yōu)于基準模型。這證明了模型在洪水預(yù)測方面的有效性。
Cohen's d 指標顯示，模型性能改進的效果是顯著的，這進一步驗證了模型相對于傳統(tǒng)方法的優(yōu)勢。
在 Nash–Sutcliffe 效率和 Kling-Gupta 效率等水文指標上，模型同樣顯示了良好的預(yù)測精度和對水文過程變化的敏感性。
不足與展望
然而，該研究也存在一些局限性。
例如，實驗采用的樣本可能較小，限制了研究結(jié)果的普遍適用性和統(tǒng)計功效。研究所用的數(shù)據(jù)集的多樣性存在不足，這可能影響模型的泛化能力。采用的模型復(fù)雜度較高，可能導(dǎo)致計算成本增加并限制了其可解釋性和便捷性。
另外，研究聚焦于特定任務(wù)或領(lǐng)域，可能限制了方法的廣泛應(yīng)用；這個方法缺乏長期影響的評估，使得對模型隨時間變化的表現(xiàn)理解不足，評估標準可能無法全面反映模型性能；且對現(xiàn)有技術(shù)的改進程度可能相對有限。
對此，研究團隊表示，未來的工作需要進一步將洪水預(yù)報的覆蓋范圍擴大到全球更多地點，以及其他類型的洪水相關(guān)事件和災(zāi)害，包括山洪和城市洪水。人工智能技術(shù)也將繼續(xù)發(fā)揮關(guān)鍵作用，幫助推動科學(xué)研究，促進氣候行動。
參考鏈接：
https://www.nature.com/articles/s41586-024-07145-1
https://blog.google/technology/ai/google-ai-global-flood-forecasting/
｜點擊關(guān)注我 👇 記得標星｜
