KTU mokslininkų sukurtas žmogaus 3D atvaizdavimo metodas pasitarnaus telemedicinai

Mokslininkai įsitikinę, kad artimiausiu metu medikai galės konsultuoti pacientus jų namuose, pasitelkdami virtualios realybės įrankius. Šiandien tobulinami erdvinės žmogaus figūros rekonstrukcijos metodai ateityje bus pasiekiami dideliam pacientų ir gydytojų ratui.

Kauno technologijos universiteto (KTU) mokslininkų komanda sukūrė giliuoju mokymusi pagrįstą erdvinės (3D) žmogaus figūros atkūrimo metodą, kai kamera mato tik dalinį, riboto kampo vaizdą. Pagrindinis metodo privalumas – reikalauja santykinai mažai finansinių ir technologinių išteklių, aukštas gautų vaizdų suglaudinimas ir lengvas suderinamumas su esamais virtualios realybės įrankiais. Metodas buvo sukurtas naudojant realų duomenų rinkinį. Klinikinis tyrimas nuotolinei medicininei reabilitacijai planuojamas artimoje ateityje.

Sparti kompiuterinės regos (angl. computer vision) ir trimačio objekto vaizdavimo pažanga leidžia kurti virtualios realybės įrankius ir išplėsti jų taikymo sritį. Nors šiandien virtualios realybės programos daugiausiai naudojamos pramogų, kartais – edukaciniais tikslais, trimačio vaizdo atkūrimo poreikis auga daugelyje sričių, įskaitant ir mediciną.

„Esu įsitikinęs, kad ateityje dauguma komunikacijos formatų bus susiję su trimate aplinka, virtualia realybe – ar tai bus apsilankymas pas gydytoją, ar žiūrimo filmo aplinkos tyrinėjimas vaikščiojant scenoje ir žiūrint ką veikia aktoriai (pavyzdžiui, jų akimis). Šiandien jau turime „holografines“ vaizdo konferencijų sistemas, kurios leidžia susitikimo dalyviams kalbėtis taip, lyg jie bendrautų realiame gyvenime“, – sako KTU Informatikos fakulteto Multimedijos inžinerijos katedros tyrėjas Rytis Maskeliūnas.

Pagrindiniai šiuo metu naudojamų trimačio vaizdo atkūrimo sprendimų trūkumai susiję su būtinybe naudoti keletą kamerų kad nufilmuotų objektą iš visų pusių, itin sudėtingu kelių kamerų siunčiamos vaizdo informacijos sinchronizavimu ir vaizdo apdorojimui reikalinga skaičiavimo galia, dėl kurios dažnai pilna objekto rekonstrukcija yra nepraktiška ir per brangi.

Nematomoms objekto pusėms atkurti panaudotas dirbtinis intelektas

Šioms problemoms spręsti KTU informatikų komanda, vadovaujama R. Maskeliūno, pasiūlė giliuoju mokymusi pagrįstą metodą, leidžiantį atkurti pilną žmogaus laikysenos taškų debesį (angl. point cloud) naudojant giluminės kameros vaizdą. Eksperimentui buvo naudojamas realus duomenų rinkinys su asmenų, atliekančių fizinės reabilitacijos pratimus, įrašais. Algoritmų mokymui, subjektams filmuoti iš priekio ir iš šono buvo naudojamos dvi gylio kameros (jutikliai).

„Kamera mato tik dalį vaizdo: pavyzdžiui, jei ji filmuoja vaizdą iš priekio, vaizdas iš galo yra nematomas; jei kažkas užstoja vaizdą, kamera nemato, kas yra už kliūties. Šioje situacijoje nematomos vaizdo dalys atkuriamos mašininio mokymo metodais“, – teigia R. Maskeliūnas.

Algoritmams įveiklinti buvo pritaikytas penkių etapų mokymo metodas. Galutinius vaizdo rezultatus vertino ekspertai. Pastebėta, kad pasinaudojant mokslininkų sukurtu metodu atkurtas vaizdas turi tik nedidelių trūkumų, kurių dauguma atsirado netoli galūnių.

Eksperimente buvo naudojama įprasta komercinė gylio kamera, suteikianti trimatį taškų debesies vaizdą. Kurdami metodą mokslininkai naudojo dvi kameras, kurios leido gauti išsamesnį vaizdą, reikalingą dirbtinio intelekto algoritmų mokymui. Tokiu būdu buvo sumažinta rizika neteisingai apmokyti DI atkuriant nematomas vietas.

Proveržis nuotolinei medicinos diagnostikai: padės diagnozuoti traumas ir laikysenos sutrikimus

Maskeliūno teigimu, sveikatos priežiūros srityje trimatis žmogaus vaizdas yra itin svarbus, kai reikia diagnozuoti įvairias traumas, susijusias su stuburo sužalojimais, problemas, kurios gali kilti dėl netaisyklingos laikysenos ir įvairiais kitais tikslais.

„Pavyzdžiui, gydytojas gali paprašyti savo paciento atlikti paprastą užduotį, tarkim, paliesti nosį ar pasukti petį. Norėdamas visapusiškai pamatyti, kaip žmogus lenkiasi, sukasi ir kaip keičiasi jo laikysena, gydytojas turi matyti pacientą kaip trimatį subjektą, galėti apžvelgti jį iš visų pusių ir kampų, – teigia R. Maskeliūnas, – be abejo, žmogus savęs negalės nufilmuoti iš visų pusių. Mūsų sprendimas leistų telefono kamera pačiam nusifilmuoti savo kūną (tarkim matomą tik iš vienos pusės, kampu ar kitokiu vienu rakursu) ir nusiųsti tą filmuką gydytojui. O jau mūsų algoritmai gydytojui leistų pažiūrėti kaip išlinko paciento nugara.“

Anot R. Maskeliūno, tai, kad mokslininkų išvystytas metodas gali būti lengvai integruojamas ir pritaikomas, gali lemti, kad jis taps populiariu trimačio vaizdo rekonstrukcijos metodu.

„Telemedicina, įskaitant nuotolinę diagnostiką, tampa vis populiaresnė. Realaus pasaulio patirties perteikimo metodai, nereikalaujantys didelių išteklių ar sudėtingos įrangos, turi didelį potencialą būti pritaikyti ateityje“, – sako KTU tyrėjas R. Maskeliūnas.

Aukščiau aprašytas KTU mokslininkų tyrimas publikuotas „IEEE Sensors“ moksliniame žurnale praėjusių metų pabaigoje.