OmniTouch

Jednou z velkých revolucí v oblasti výpočetní techniky byly dotykové obrazovky. Přinesli nový způsob interakce s počítačem, ať už pomocí speciálního ukazovátka, nebo pomocí prstu. V roce 2011 šel Microsoft ještě dále a představil OmniTouch, projekt, díky kterému je možné se dotýkat jakéhokoli povrchu. Základní myšlenkou je připevnění kamery a projektoru na rameno, které promítá obrazovku a čte stisknuté klávesy uživatele. Možnosti jsou nekonečné, což nám umožňuje proměnit naši ruku, zeď, prostěradlo nebo jakýkoli jiný povrch na dotykovou obrazovku.

Jak funguje OmniTouch: rozpoznávání úhozů

Nejdůležitější součástí projektu OmniTouch je sledování polohy a hloubky prstů, abychom věděli, kde se uživatel dotýká. K tomu byla v prototypu použita hloubkově citlivá kamera PrimeSense. Na rozdíl od běžné kamery, která měří barvy, PrimeSense měří vzdálenost každého bodu na obrázku od čočky fotoaparátu. Přesnost 1 mm a minimální dosah 20 cm jsou hlavní výhody oproti kameře Kinect, která byla v projektu původně použita.

"

Aby OmniTouch lokalizoval prsty, nejprve zachytí hloubkovou mapu (A). Poté se vypočítá mapa sklonu>"

V (B) můžete vidět mapu převedenou do barev: červená znamená, že v kladném směru osy X nebo Y je menší hloubka (nahoru nebo doprava) a modrá znamená, že je menší hloubka v záporném směru osy X nebo Y (dolů nebo doleva).Fialová znamená, že nedochází k téměř žádné změně hloubky.

U této mapy software hledá svislé válcové řezy, povrch, který se přibližuje ke kameře, pak zůstává a nakonec se vzdaluje. Co to bylo za prst, když jím přejížděl z jedné strany na druhou, wow. Na barevné mapě vyhledejte červenou část, poté fialovou část a poté modrou část, všechny na stejné vertikální ose.

Možní kandidáti jsou filtrováni podle výšky, aby se odfiltrovalo vše, co nemůže být prstem (například 2 milimetry vysoký válec nelze rozpoznat jako prst, takže je vyřazen). Na obrázku (C) můžete vidět všechny identifikované části prstů.

Jakmile to uděláte, všechny svislé části se spojí a vytvoří prst (obrázek D). Prsty, které mohou být příliš krátké, jsou vyřazeny a předpokládá se, že vzhledem k tomu, že uživatel je pravák, krajní levá část prstu je špička.A voila, nyní víme, kam uživatel ukazuje na .

Jak nyní poznáme, že se prst dotýká povrchu? Říkají tomu záplavová výplň, ale bude známější, když vám řeknu, že je to jako plnění kbelíkem s barvou.

Technika je jednoduchá: najděte prostřední bod prstu a začněte vyplňovat pixely nahoru, doleva a doprava s tolerancí 13 milimetrů. To znamená, že vyplní pixel pouze v případě, že rozdíl mezi jeho hloubkou a hloubkou středu prstu je menší než 13 milimetrů.

Pokud se váš prst ničeho nedotýká, vyplní se pouze pixely odpovídající vašemu prstu. Pokud se dotknete ruky, naplní se mnohem více. Na obrázku můžete vidět, co se stane, pokud je prst ve vzduchu (vlevo) nebo se dotýká ruky (vpravo). Když překročíte určitý okraj vyplněných pixelů, software odešle klepnutí nebo kliknutí na odpovídající místo.

Jak OmniTouch funguje: Promítání obrazu

I když je rozpoznávání prstů ústřední částí, nemůžeme zapomenout, že OmniTouch musí také promítat obraz na jakýkoli povrch. K tomu slouží i hloubková komora. Všechny povrchy v obraze jsou detekovány pomocí algoritmu propojených komponent, který velmi efektivně detekuje propojené body v obraze.

Jakmile byly odstraněny povrchy menší než ruka, přistoupíme k upevnění středu nebo referenčního bodu pro promítání obrazu. Tento bod pomáhá detekovat orientaci povrchu a umožňuje tak vytvořit obraz, který nevypadá zkresleně.

Další obtížný bod nastává, pokud jde o detekci velikosti povrchu.Vzhledem k tomu, že okraje povrchů nelze dostatečně dobře rozpoznat, používá OmniTouch střední hodnotu a směrodatnou odchylku bodů komponent k jejich klasifikaci do pěti bodů: ruka, paže, notebook, stěna a stůl. Každý z nich má určitou velikost a střed obrázku.

Software generuje obraz, který se má promítnout, se všemi daty a zkresluje jej tak, aby se na povrchu zobrazil správně. Poté předá obraz projektoru, který jej zobrazí na jakémkoli povrchu.

Přesná technologie s mnoha možnostmi

Testy používané k měření přesnosti OmniTouch.

Při testování se OmniTouch ukázal jako velmi přesná technologie. 96,5% přesnost, pokud jde o rozpoznání kliknutí, velmi dobrý údaj a ještě více vzhledem k tomu, že se jedná o prototyp.Pokud jde o velikost rozhraní, s tlačítky o průměru 2 centimetry by bylo rozpoznáno 95 % úhozů.

Tato maximální velikost je nezbytná pro rozhraní promítané v ruce. Na jiných površích ve větší vzdálenosti, jako je stůl nebo stěna, může být zmenšena na 15 milimetrů, což je víceméně stejná velikost doporučená pro tlačítko na běžné dotykové obrazovce.

"

Pokud jde o možnosti, jsou nekonečné. S prototypem vznikl pultík k malování: na zeď jste kreslili a levou rukou jste si vybírali barvy. Používá se také jako zvýrazňovač>"

Nejzajímavější je ale to, co zmiňují na konci dokumentu: možnosti, které OmniTouch otevírá, když přestaneme uvažovat o dvourozměrných površích a využijeme tvarů těla ke změně způsobu komunikujeme s počítačem.

"

OmniTouch je skutečně vzrušující projekt, jak svou technikou, tak svými možnostmi. Brzy si o něm povíme zase ve speciálu Budoucnost podle Microsoft>"

V systému Xataka Windows | Budoucnost podle Microsoftu Další informace | OmniTouch