AI do MS HoloLens 2

Motivační systém 2024

Řešitel: Ing. Petr Kropík, Ph.D. (Fakulta elektrotechnická)

Rozšířená realita se učí rozpoznávat svět kolem nás. Projekt vedený Petrem Kropíkem z Fakulty elektrotechnické ZČU integroval do brýlí Microsoft HoloLens 2 umělou inteligenci pro rozpoznávání objektů a spouštění animací. Studenti tak mohou v reálném čase vidět technické přístroje doplněné o interaktivní informace – přímo ve výuce. Na realizaci projektu se podílel i student Jakub Racek.

Pomocí algoritmu YOLOv8 se podařilo vytvořit softwarový modul, který umožňuje rozpoznávat elektrotechnická zařízení přímo přes brýle MS HoloLens 2. Jakmile systém objekt identifikuje, spustí v rozhraní rozšířené reality doprovodné vizualizace a animace, například popisky, schémata nebo procesy v pohybu. Vývojáři pracovali v prostředí Unity a zaměřili se na efektivní propojení mezi rozpoznáváním obrazu a interaktivní prezentací. Testování probíhalo v reálných podmínkách laboratoří Katedry elektrotechniky a počítačového modelování a potvrdilo funkčnost systému.

Díky propojení AI a rozšířené reality vzniká nástroj, který přináší studentům technických oborů zcela nový způsob vnímání a porozumění složitým zařízením.

— Ing. Petr Kropík, Ph.D.

Do konce roku 2024 se tým věnoval optimalizaci rozpoznávacích modelů a ladění přesnosti systému. V lednu 2025 byl projekt finálně testován a prezentován širší odborné veřejnosti. Cílem bylo vytvořit plně funkční nástroj, který najde uplatnění v interaktivní výuce, zejména při práci s technickými modely, a zároveň inspirovat další obory k podobnému využití AI v rozšířené realitě.