Meteorológiai Adatasszimiláció

Átírás

1 Meteorológiai Adatasszimiláció 2017 November 17 összeállította: Bölöni Gergely

2 Tartalom

3 Numerikus el rejelzés: a hidro-termodinamikai egyenletek (HTE) numerikus megoldása a HTE megoldása vegyes feladat parciális dierenciál egyenlet kezdeti és peremértékek megadásával Adatasszimiláció: a kezdeti feltételek megadása Lényeges a pontosság a HTE rendszer megoldásának kezdeti feltételekre való érzékenysége miatt ("a légkör kaotikus viselkedése")

4 Kezdeti feltételekre való érzékenység

5 Kezdeti feltételekre való érzékenység

6 Kezdeti feltételekre való érzékenység Referencia analízis El rejelzés "jó" kezdeti feltételb l El rejelzés "rossz" kezdeti feltételb l

7 Adatasszimiláció: dinamikai-statisztikai becslés a légkör valós állapotára Milyen igényeket támasztunk? használjunk minden rendelkezésünkre álló információt (meggyelések, modell, tudás a légkörr l) optimálisan "ötvözzük" ezeket (minimális becslési hiba) vegyük gyelembe a felhasznált információk hibáját a becslés legyen összhangban a HTE dinamikai egyenleteivel

8 1D: egyetlen térbeli pont egyetlen változó x x a becslést adunk x t -re (a valós állapotra) rendelkezésünkre állnak y 1 és y 2 meggyelések ɛ 1 és ɛ 2 hibával terhelve y 1 = x t + ɛ 1 y 2 = x t + ɛ 2 x a = ˆx t = f(y 1, y 2 )

9 Feltesszük, hogy: a mérések torzítatlanok (nincs szisztematikus hiba) E(ɛ 1 ) = E(ɛ 2 ) = 0 a mérési hibák szórásnégyzete ismert σ 2 1 = E(ɛ 2 1) σ 2 2 = E(ɛ 2 2) a mérési hibák korrelálatlanok E(ɛ 1 ɛ 2 ) = 0

10 Kérdés: x a = f(y 1, y 2 ) =? Több megközelítés léztezik: 1 Legkisebb négyzetek módszere 2 Maximum-likelihood módszer

11 Legkisebb négyzetek módszere Szeretnénk, hogy y 1 = x t + ɛ 1 y 2 = x t + ɛ 2 k 1 =? k 2 =? x a = k 1 y 1 + k 2 y 2 a becslés torzítatlan legyen: E(x a x t ) = 0 k 1 + k 2 = 1 a négyzetes hiba minimális legyen σ 2 a = E((x a x t ) 2 ) = min

12 : feladat (1) Mutassuk meg, hogy y 1 = x t + ɛ 1 y 2 = x t + ɛ 2 k 1 =? k 2 =? x a = k 1 y 1 + k 2 y 2 E(x a x t) = 0 k 1 + k 2 = 1

13 Legkisebb négyzetek módszere } x a = k 1y 1 + k 2y 2 k 1 + k 2 = 1 x a = k 1y 1 + (1 k 1)y 2 Feladat: min σ 2 a(k 1) σ 2 a(k 1) = E((x a x t) 2 ) = E((k 1(x t + ɛ 1) + (1 k 1)(x t + ɛ 2) x t) 2 ) = E((k 1ɛ 1 + (1 k 1)ɛ 2) 2 ) = k 2 1E(ɛ 2 1) + 2k 1(1 k 1)E(ɛ 1ɛ 2) + (1 k 1) 2 E(ɛ 2 2) = k 2 1σ (1 k 1) 2 σ 2 2 min k 1 szerinti derivált 0

14 Legkisebb négyzetek módszere k 1 = σ2 2 σ σ2 2 k 2 = 1 k 1 = σ2 1 σ σ2 2 A becslés: x a = σ2 2 y 1 + σ2 1 y 2 σ1 2 + σ2 2 σ1 2 + σ2 2 A becslés megbízhatósága: 1 σ 2 a = 1 σ σ 2 2 = i 1 σ 2 i minden meggyelés növeli a megbízhatóságot

15 : feladat (2) Tudjuk σ 2 a = k2 1 σ2 1 + σ k2 2 σ k 1 = σ1 2 + σ2 2 σ1 2 k 2 = 1 k 1 = σ1 2 + σ2 2 Mutassuk meg, hogy 1 σ 2 a = 1 σ σ2 2 = i 1 σ 2 i

16 Maximum-likelihood módszer A meteorológiai mez k "jól" modellezhet k Normális eloszlású valószín ségi változókként x N (m, σ 2 ) f(x) = ) 1 ( σ 2π exp (x m)2 2σ 2

17 Maximum-likelihood módszer Az y 1, y 2 mérések független becslést adnak x t-re x várható értékkel és σ 1, σ 2 szórással: f(y 1) = f(y 2) = ) 1 (y1 x)2 exp ( σ 1 2π 2σ1 2 ) ( 1 σ 2 2π exp (y2 x)2 2σ 2 2 Becslés: x a az együttes s r ségfüggvény x szerinti maximuma: x a max x f(y 1)f(y 2)

18 Maximum-likelihood módszer

19 Maximum-likelihood módszer x a max x = max x x a min x f(y 1)f(y 2) ( 1 σ exp 1σ 22π ( 1 (y 1 x) σ1 2 2 ( 1 (y 1 x) 2 2 σ1 2 ) (y 2 x) 2 σ )) (y 2 x) 2 2 σ 2 2 x a = 1 σ 2 a = σ 2 2 σ1 2 + y 1 + σ2 1 σ2 2 σ1 2 + σ = 1 σ1 2 σ2 2 σ 2 i i y 2 minden meggyelés növeli a megbízhatóságot

20 : feladat (3) Mutassuk meg, hogy argmin x ( 1 (y 1 x) 2 2 σ (y 2 x) 2 ) σ2 2 σ1 2 2 σ2 2 = x a = σ1 2 + y 1 + σ2 2 σ1 2 + y 2 σ2 2

21 Példa: y 1 = 5, σ 1 = 1 y 2 = 10, σ 2 = 2 x a = 6, σ a = 0.8

22 Összefoglalás: Normális eloszlású hibák esetén a legkisebb négyzetek módszere és a maximum-likelihood módszerek ekvivalensek Legkisebb négyzetek módszere Optimális Interpoláció (OI) (Lineáris regresszió) Maximum-likelihood módszer Variációs módszer (veszteség függvény) p x a = k iy i k i =? i=1 J(x) = 1 2 p (x y i) 2 i=1 σ 2 i argminj(x) =? x

23 Modell el rejelzés használata a becslésben 1D: egyetlen térbeli pont egyetlen változó x x a becslést adunk x t-re (a valós állapotra) rendelkezésünkre állnak x b modell el rejelzés illetve y meggyelés ɛ b és ɛ o hibával terhelve x b = x t + ɛ b y = x t + ɛ o x a = ˆx t = f(x b, y) E(ɛ b ) = E(ɛ o) = 0 E(ɛ b ɛ o) = 0 σb 2 = E(ɛ 2 b), σo 2 = E(ɛ 2 o) ismertek

24 Legkisebb négyzetek módszere σ2 o k 1 = σb 2 + σ2 o x a = k 1x b + k 2y σ2 b k 2 = 1 k 1 = σb 2 + σ2 o = x b + (k 1 1)x b + k 2y = x b k 2x b + k 2y = x b + k 2(y x b ) x a = x b + σ2 b σb 2 + (y x b ) σ2 o Maximum-likelihood módszer J(x) = 1 (x x b ) (x y) 2 2 σb 2 2 σo 2

25 Adatasszimiláció: dinamikai modell meggyelésekkel való "frissítése" statisztikailag optimális módon... kék nyilak: a változónk id beli alakulása (x a x b ) a PDE (dinamikai modell) által y: meggyelések x b : modell el rejelzés azaz "background" (rst guess) x a: "analízis", vagyis a valós állapot (x t ) lehet legjobb becslése x b és y alapján

26 N 10 7 modell rácspont egy id pillanatban A dinamikus modell a Navier-Stokes egyenletek (nem-lineáris PDE) P 10 5 meggyelést (y) használunk analízisenként: felszíni, repül gépes, m holdas, radar, Wind-proler, stb. Az y meggyelések nem esnek a modell rácspontokba x és nem feltétlenül közvetlenül a modellezett mennyiségeket mérik

27 A globális meggyel hálózat

28 Felszíni meggyelések Rádiószondák

29 Repül gépes meggyelések

30 M holdas meggyelések

31 Modell tér (R N, N 10 7 ) Meggyelési tér (R P, P 10 5 )

32 Modell tér (R N, N 10 7 ) Meggyelési tér (R P, P 10 5 ) x x R N ɛ b ɛ b R N ɛ a ɛ a R N σb 2 B N N = E(ɛ b ɛ T b ) σa 2 A N N = E(ɛ aɛ T a ) y y R P ɛ o ɛ o R P σ 2 o R P P = E(ɛ oɛ o T ) Kapcsolat a két tér közt: H : R N R P a nem-lineáris meggyelési operátor, tehát H(x b ) "szimulált meggyeléseket" ad H P N = H x a tangens lineáris közelítése H-nak H T N P a transzponáltja (adjungált) H-nak

33 Több dimenziós felírás optimális interpoláció (Legkisebb négyzetek módszere) x a = x b + K(y H(x b )) K = BH T (HBH T + R) 1 variációs veszteségfüggvény (Maximum-likelihood módszer) J(x) = 1 2 (x x b) T B 1 (x x b ) (y H(x))T R 1 (y H(x)) Áll: a fenti két módszer ekvivalenciája több dimenzióban is igaz amennyiben H = H lineáris

34 A veszteségfüggvény inkrementális alakja J(x) = 1 2 (x x b) T B 1 (x x b ) (y H(x))T R 1 (y H(x)) Feltételezzük, hogy x b egy elég jó becslés azaz a szükséges δx = x x b korrekció kicsi lesz Ilyen módon H(x) = H(x b + δx) H(x b ) + H x (x)δx + 2 H x 2 (x) δ2 x H(x b ) + Hδx J(δx) = 1 2 δxt B 1 δx (y H(x b) Hδx) T R 1 (y H(x b ) Hδx) = 1 2 δxt B 1 δx (d Hδx)T R 1 (d Hδx) ahol d = y H(x b ).

35 A veszteségfüggvény gradiense Néhány mátrix m velet (AB) T = B T A T y = x T Ad y x = Ad y = d T Ax y x = AT x y = xt Ax y x = 2Ax 2J(δx) = δx T B 1 δx + (d Hδx) T R 1 (d Hδx) = δx T B 1 δx + d T R 1 d d T R 1 Hδx δx T H T R 1 d + δx T H T R 1 Hδx 0 = 2 δx J = 2B 1 δx a H T R 1 d H T R 1 d + 2H T R 1 Hδx a = (B 1 + H T R 1 H)δx a H T R 1 d x a = x b + (B 1 + H T R 1 H) 1 H T R 1 (y H(x b )) Áll: (B 1 + H T R 1 H) 1 H T R 1 = K = BH T (HBH T + R) 1

36 Áll: (B 1 + H T R 1 H) 1 H T R 1 = BH T (HBH T + R) 1 Biz: H T R 1 (HBH T + R) = (B 1 + H T R 1 H)BH T H T R 1 HBH T + H T = H T + H T R 1 HBH T A variációs és az optimális interpoláció ekvivalensek de csak lineáris meggyelési operátor esetén Ha a meggyelési operátor nem-lineáris, a variációs módszer jobb becslést ad

37 Összegzés: az adatasszimiláció során az analízis egyenlet megoldásával (BLUE - Best Linear Unbiased Estimate) lapjuk a becsült kezdeti mez t x a = x b + K(y H(x b )) A meggyelések a K súly (gain) mátrix függvényében adnak hozzájárulásokat a rst guess-hez. K = BH T (HBH T + R) 1 A súlyfüggvény a B és R kovariancia mátrixok (megbízhatóság) kombinációjából áll. ( ) A = (I KH)B σa 2 = 1 σ2 b σo 2 + σb 2 σb 2 Az analízis hiba mindig kisebb a background hibánál, azaz a meggyelések mindig javítanak a rst guess-en!

38 Adatasszimilációs ciklus: BLUE + dinamikai modell Az analízis egyenlet: = x i b + K i (y i H(x i b )) K i = B i H T (HB i H T + R) 1 x a i Az id beli fejl dést leíró dinamikai egyenlet: x b i+1 = M(x a i ) M: a nem-lineáris modell operátor (Navier-Stokes egynlet diszkretizációja)

39 kék nyilak: a változónk id beli alakulása: x b = M(x a) y: meggyelések x b : a "background" (rst guess) x a: "analízis", vagyis a valós állapot (x t ) lehet legjobb becslése x b és y alapján

40 Megvalósítási problémák: optimális interpoláció x a = x b + K(y H(x b )) K = BH T (HBH T + R) 1 Probléma: invertálni kell a (HBH T + R) mátrixot a fenti mátrix dimenziója O(10 5 ) ekkora mátrix invertálása nagyon költséges lokális megoldás kis dimenzióban a globális megoldás a lokális megoldások együttese inkonzisztencia a határokon

41 Megvalósítási problémák: variációs módszer J(δx) = 1 2 δxt B 1 δx (d Hδx)T R 1 (d Hδx) ahol δx = x x b és d = y H(x b ). Probléma: x dimenziója nagy (10 7 ) a gradiens számolása nem triviális a gradiens soha nem lesz pontosan nulla iteratív keres (minimalizáló) algoritmusok használata (pl. konjugált gradiens)

42 Megvalósítási problémák: variációs módszer J(δx) = 1 2 δxt B 1 δx (d Hδx)T R 1 (d Hδx)

43 Észrevételek: a variációs módszer "globális" míg az optimális interpoláció "lokális" az optimális interpoláció csak lineáris meggyelési operátor esetén használható a variációs módszer nem követeli meg, hogy a meggyelési operátor lineáris legyen (az "outer loop"-ok lehet séget adnak a nem-lineáris kapcsolat gyelembevételére) példák nem-lineáris meggyelési operátorra: m holdas sugárzási értékek, radar reektivitás, GPS az új meggyelési technikák megkövetelik a variációs módszer használatát egy speciális példa nem-lineáris "meggyelési" operátorra amikor olyan meggyeléseket is felhasználunk, amelyek nem szigorúan az analízis id pontjára vonatkoznak, hanem egy ahhoz közeli id beli ablakban történnek: 3DVAR 4DVAR

44 3DVAR Egy adott id pillanatra vonatkozó "background"-ot javítjuk az aktuális meggyelésekkel Az analízis egy 3D-s mez : x a az állapotvektor egy adott id pillanatban H(x) egy adott id pontbeli interpoláció illetve transzformáció 4DVAR Egy id beli (4D) trajektóriát illesztünk egy adott id intervallumban (asszimilációs ablak) tett meggyelésekhez Az analízis egy trajektória: x a az állapotvektor id beli sorozata H(x) magában foglalja a dinamikus modell integrálását

45

46 Kármán Tódor: az els "National Medal of Science" t illette és J. F. Kenndy adta át neki 2017 November 17 Meteorológiai Adatasszimiláció

47 Az ɛ b background hiba áramlásfügg viselkedése (ALADIN modell, OMSZ) így B = E(ɛ b ɛ T b ) is áramlás- (id járás) függ!

48 Kérdés: milyen egyenlet írja le a B mátrix id beli fejl dését?

49 Kérdés: milyen egyenlet írja le a B mátrix id beli fejl dését? Emlékeztet : B i+1 = E(ɛ i+1 x b i+1 = M(x a i ) b ɛ i+1 T b )

50 Kérdés: milyen egyenlet írja le a B mátrix id beli fejl dését? Emlékeztet : B i+1 = E(ɛ i+1 x b i+1 = M(x a i ) b ɛ i+1 T b ) vezessük be a ɛ M modell hibát: ɛ i+1 M = x t i+1 M(x t i )

51 Emlékeztet : x b i+1 x t i+1 = M(x i a ) (1) = M(x i t ) + ɛ i+1 M (2)

52 Emlékeztet : (2) - (1): x b i+1 x t i+1 x t i+1 x b i+1 = M(x i a ) (1) = M(x i t ) + ɛ i+1 M (2) = M(x t i ) M(x a i ) + ɛ i+1 M M(x t i x a i ) + ɛ i+1 M ahol M = M x a tangens lineáris közelítése az M nem-lineáris modell operátornak.

53 Emlékeztet : (2) - (1): x b i+1 x t i+1 x t i+1 x b i+1 = M(x i a ) (1) = M(x i t ) + ɛ i+1 M (2) = M(x t i ) M(x a i ) + ɛ i+1 M M(x t i x a i ) + ɛ i+1 M ahol M = M x a tangens lineáris közelítése az M nem-lineáris modell operátornak. A hiba id beli fejl dését leíró dinamikai legynlet ɛ i+1 b Mɛ i a + ɛ i+1 M

54

55 Taylor sor: M(x a + δx) = M(x a ) + M x δx + 2 M x (δx)2 +...

56 Taylor sor: M(x a + δx) = M(x a ) + M x δx + 2 M x (δx) ahol δx = x t x a M(x t ) = M(x a ) + M x (x t x a ) + 2 M x (x t x a )

57 Taylor sor: M(x a + δx) = M(x a ) + M x δx + 2 M x (δx) ahol δx = x t x a M(x t ) = M(x a ) + M x (x t x a ) + 2 M x (x t x a ) ahol M x = M és mindent magasabb rend elhanyagolunk: M(x t ) M(x a ) M(x t x a )

58 Emlékeztet : B i+1 = E(ɛ i+1 b ɛ i+1 T b ) (3) ɛ i+1 b Mɛ i a + ɛ i+1 M (4)

59 Emlékeztet : B i+1 = E(ɛ i+1 b ɛ i+1 T b ) (3) ɛ i+1 b Mɛ i a + ɛ i+1 M (4) Behelyettesítve (4)-t (3)-be és a E(ɛ a ɛ M ) = 0 feltétellel: B i+1 E[(Mɛ i a + ɛ i+1 M )(Mɛi a + ɛ i+1 ME(ɛ i aɛ i T a )M T + E(ɛ i+1 M = MA i M T + Q i+1 M )T ] ɛi+1 T M )

60 Emlékeztet : B i+1 = E(ɛ i+1 b ɛ i+1 T b ) (3) ɛ i+1 b Mɛ i a + ɛ i+1 M (4) Behelyettesítve (4)-t (3)-be és a E(ɛ a ɛ M ) = 0 feltétellel: ahol Q i+1 = E(ɛ i+1 M B i+1 E[(Mɛ i a + ɛ i+1 M )(Mɛi a + ɛ i+1 ME(ɛ i aɛ i T a )M T + E(ɛ i+1 M = MA i M T + Q i+1 ɛi+1 M M )T ] ɛi+1 T M ) T ) a modell hiba kovariancia mátrix.

61 B id beli fejl dését leíró egyenlet B i+1 MA i M T + Q i+1 (5) egyenletek EKF=BLUE+(5)

62 egyenletek Az analízis egyenlet: = x i b + K i (y i H(x i b )) K i = B i H T (HB i H T + R) 1 x a i A i = (I K i H)B i Az id beli fejl dést leíró dinamikai egyenletek: x b i+1 = M(x a i ) B i+1 MA i M T + Q i+1

63 Mi a hozzáadtott értéke a BLUE-hoz? Mennyiben segít egy áramlásfügg B mátrix? Demo: nem-lineáris idealizált modell (Lorenz 63) δx δy δz δt = σ(y x) δt = x(ρ z) y δt = xy βz BLUE és EKF a Lorenz 63 modellel (Evensen 2009) Fortran kód elérhet :

64

65

66

67

68 Megvalósítási problémák: Egy légköri modellben B = MAM T + Q kiszámítása 2 N integrálást igényel a tangens lineáris és adjungált modellekkel. A tangens lineáris (M) és adjungált (M T ) kódok folyamatos extra "karbantartást" igényelnek mivel ezeket a nem-lineáris modell kód soronkénti deriválásával és transzponálásával nyerjük. Az A és B mátrixok dimenziója nagy (N N ) és a memóriában kell tárolni ket egyenletek megoldása során. A egyenleteket a tangens lineáris modell Taylor sorának másodrend nél nagyobb tagjai elhagyásával kapjuk. A tangens lineáris (és adjungált) közelítés javítható magasabb rend lezárással de ez tovább növeli a számítási költségeket. Ensemble (EnKF) (Evensen, 1994)