Hrátky s obrázky
28. 5. 2008
Často se stává, že i při sebevětší snaze se nepodaří pořídit dokonalý snímek – brání tomu omezení spočívající v samotných přístrojích, nevhodné prostředí nebo neodstranitelný pohyb. Vědci však přišli na způsob, jak z několika nedokonalých obrazů vytvořit jeden lepší – tento postup se jmenuje fúze digitálního obrazu. Ta využívá skutečnosti, že chyby se vyskytují náhodně a v každém obrázku v jiné části. Metoda funguje ve dvou krocích. Nejdříve se obrázky transformují na sebe a pak už v oblasti překryvu lze kouzlit: odstranit rozmazání a zvýšit rozlišení.
Často se stává, že ani při sebevětší snaze nepořídíme dokonalý snímek – brání tomu nevhodné světelné podmínky, pohyb objektů, chvění ruky nebo dokonce omezení spočívající v samotných přístrojích.
Někdy zase chceme vidět, zda člověk za keřem neskrývá zbraň, nebo jaké povahy je útvar zobrazený různými lékařskými metodami. Potřebovali bychom snímat ve více spektrálních pásmech zároveň, nebo mít snímek s vyšším rozlišením. To často není technicky proveditelné. Vědci však přišli na způsob, jak z několika nedokonalých obrazů vytvořit jeden lepší – postup se nazývá fúze digitálního obrazu.
Prof. Ing. Jan Flusser, DrSc., Ústav teorie informace a automatizace AV ČR: Postup je založený na myšlence, že nafotografujeme několik nekvalitních obrázků téhož objektu a myšlenka hlavní je v tom, že v každém nekvalitním obrázku je schována nějaká trochu jiná informace, a kombinováním těchto několika málo kvalitních obrázků vy dostanete jeden, který je kvalitní.
Snímky totiž mohou mít malé rozlišení, mohou být rozmazané nebo zašuměné. Takto mohou dopadnout fotografie textů umístěných na vibrujících objektech, například v továrních halách, kde přitom nelze zkrátit dobu expozice kvůli špatnému osvětlení. A toto je výsledek dosažený fúzováním tří snímků.
Barbara Zitová, Ph.D., Ústav teorie informace a automatizace AV ČR: Metoda vyvinutá naším oddělením může pomoci lidem za situací, kdy například jste v muzeu, kde je zakázáno fotit s bleskem, a vy byste přesto rádi doma měli svůj nejhezčí obrázek, který se vám tam líbil.
Obrázek se musí nafotit víckrát. Pak se ovšem liší různým rozmazáním a natočením. V prvním kroku se najdou odpovídající struktury a pomocí nich se fotky srovnají. A pak už přistoupí matematická metoda pro zvýšení rozlišení. Vzniká snímek lepší kvality. Vpravo je pro srovnání původní obrázek.
Barbara Zitová, Ph.D., Ústav teorie informace a automatizace AV ČR: Samozřejmě není to metoda pouze pro muzea nebo kostely, kde nemůžete použit blesk.
Tento postup lze využít i v leteckém snímkování. Nejdříve se obrázky transformují na sebe – říká se tomu registrace obrazu. K tomu je třeba nalézt body, které si navzájem odpovídají. A pak se v oblasti překryvu může kouzlit: odstranit rozmazání a zvýšit rozlišení.
Podobné postupy vyvíjí několik pracovišť ve světě, ale jejich metody většinou vyžadují mnoho dalších podpůrných údajů, jako je typ aparátu, rychlost pohybu, ohnisková vzdálenost, nebo vzdálenost od objektu. Česká metoda to nepotřebuje.
Prof. Ing. Jan Flusser, DrSc., Ústav teorie informace a automatizace AV ČR: To zpracování je vlastně řešení nějaké složité soustavy rovnic. A ta soustava rovnic se nedá řešit, protože je tam málo známých věcí a spousta neznámých. A jeden ze způsobů je převést to řešení soustavy na úlohu hledání minima nějaké vhodné funkce.
Tato kriteriální funkce nabývá své minimální hodnoty právě na ideálním obrázku, a co je důležité – našim vědcům se podařilo najít způsob, jak toto minimum nalézt. Protože metoda nepotřebuje žádné vnější parametry, je možné ji použít i zpětně, když jsme zjistili, že obrázky nejsou dobré, a přitom jsme s tím předem nepočítali.
Takto jsme mohli využít výhody stojícího objektu. Co ale když se pohybuje? I tady si vědci věděli rady. Nejprve například pořídili sérii obrázků registrační značky auta. Jak je vidět, na žádném snímku není registrační značka zřetelná, ani když snímky na obrazovce zvětšujeme. Může za to zejména malé rozlišení kamery a chvění ruky. Následující postup už je obdobný jako v předcházejících případech. Proběhne první registrace – obrázky se sesadí na sebe a vyřízne zadek auta s registrační značkou. Na a pak se uplatní množství výpočtů, které poskytnou zaostřený obraz s vyšším rozlišením a v podstatě nahradí optický zoom, jak jej můžeme vidět dole. Uplatnění je nabíledni.
Další použití se nabízí u kamer s malým rozlišením, například webových kamer nebo kamer v bezpečnostních systémech. Pomocí originálního českého softwaru lze vyrobit jedno video nebo jeden snímek lepší kvality, a to z pouhých čtyř sousedních obrázků. U bezpečnostních kamer to znamená, ze pachatel může být identifikován. Největší omezení ale spočívá v tom, že metoda neumí pracovat s videozáznamem, kde se různé objekty pohybují různou rychlostí a směrem. Naši vědci však na řešení této úlohy pracují.
Podobná metoda umí vytvořit jeden ostrý snímek ze série obrázků trojrozměrného objektu, které byly pořízeny s různým zaostřením. Toto je prvok třídy radiolária. Pod mikroskopem tento organizmus nikdy neuvidíte zaostřený celý. Proto se pořídí až sto řezů s různou hloubkou ostrosti. Pak se spustí proces fúze. Program totiž dokáže posoudit, která část snímku je nejostřejší, a rozhodne se, kterou tedy využije. Vědci pak mohou vytvořit i trojrozměrnou rekonstrukci organizmu, protože byl známý údaj, na jaké roviny byl mikroskop zaostřený, takže je možné určit vzdálenost jednotlivých bodů od objektivu.
Ing. Filip Šroubek, Ph.D., Ústav teorie informace a automatizace AV ČR: Není to plná 3D rekonstrukce, protože my nevidíme skrz ten objekt. My rekonstruujeme jenom jeho povrch.
Všechny tyto postupy patří do oboru umělé inteligence. Metoda fúzování obrazu umožňuje několikanásobně zvýšit informační hodnotu snímku, a to až za hranici rozlišení samotných senzorů. Tento postup označuje anglický termín „super-resolution“.
Prof. Ing. Jan Flusser, DrSc., Ústav teorie informace a automatizace AV ČR: Je to něco, kde člověk dostává nějakou vyšší informaci, o které ani nevěděl, že existuje, kterou si vlastně v tom obrázku nedokáže ani představit a je pro něj strašně překvapující, a to i pro odborníky, je potom strašně překvapující, když ten výsledek vidí.
Vědci z Ústavu teorie informace a automatizace byli natolik úspěšní, že v roce 2007 obdrželi za svou práci Cenu předsedy Grantové agentury České republiky. I když byl projekt původně motivován potřebami solární astronomie, lze jej uplatnit i při snímkování Země, v bezpečnostních systémech, při internetové komunikaci i při diagnostice v medicíně. Půvab zpracování obrazu spočívá také v tom, že abstraktní matematika tu nabývá forem a výsledků, které může vidět a využít i laik.
Autor: Šárka Speváková