Nors UEFA Europos futbolo čempionatas eina į pabaigą, laukia pačios svarbiausios finalinės varžybos, nulemsiančios čempionų titulą gausiančią šalį. Kol laukiama rezultatų, Kauno technologijos universiteto (KTU) mokslininkai siūlo tiesiogines futbolo varžybų transliacijas tobulinantį metodą – kompleksinę sistemą, kuri pagerintų žiūrovų patirtį, pašalindama dėl persidengiančių kamerų kampų atsirandančius vizualinius trukdžius.
Viena iš galimų tiesioginių transliacijų metu atsirandančių problemų – atsitiktinis operatorių pasirodymas vienas kito kadruose. Tokie atvejai ne tik atitraukia dėmesį nuo svarbiausių rungtynių momentų – dėl žiūrovų nepasitenkinimo transliuotojai gali prarasti dalį pajamų.
„Prestižinius turnyrus filmuoja daugiau nei devynios kameros, todėl persidengiantys vaizdai ir yra pagrindinė problema, smarkiai varžanti operatorių komandą. Vengdami užfiksuoti vieni kitus, jie praleidžia kritinius varžybų momentus, o taip prarandamas kontekstas, transliacija tampa mažiau dinamiška ir neįtraukianti“, – aiškina S. Postupaiev.
Vizualinių trukdžių pašalinimui sukūrė algoritmą
Naujosios sistemos veikimui ir kūrimui buvo panaudotas YOLOv8 modelis – moderniausia objektų aptikimo sistema, žinoma dėl savo greičio ir tikslumo. YOLOv8, kuris yra žodžių junginio „Tu žiūri tik vieną kartą“ (angl. You only look once) santrumpa, gali aptikti ir suklasifikuoti objektus vaizduose vienu metu, todėl idealiai tinka realaus laiko renginiams, o šiuo atveju – tiesioginėms futbolo transliacijoms.
„Jis veikia padalydamas vaizdą į tinklelį ir numatydamas kiekvieno tinklelio langelio ribinius laukus, klasių tikimybes ir segmentavimo poligonus. Tai leidžia nustatyti ir segmentuoti pasirodžiusius operatorius vaizdo kadruose“, – sako Serhii Postupaiev, neseniai baigęs KTU Dirbtinio intelekto informatikos studijas bei su šiuo projektu įgijęs magistro laipsnį.
„Šis terminas giliojo mokymosi srityje reiškia prarastų ar sugadintų vaizdų ir vaizdo įrašų dalių atkūrimo procesą. Konkrečiai šiuo atveju jis naudojamas operatorių pašalinimui iš futbolo transliacijų“, – sako S. Postupaiev.
Aiškindamas jos veikimą KTU alumnas iš Ukrainos sako, jog tai – technologija, pagrįsta dirbtiniu intelektu (DI) ir kompiuterine rega, analizuojanti vaizdo įrašų kadrus nepageidaujamų objektų aptikimui, o pašalintas vietas užpildanti atitinkamomis fono detalėmis. Pakeisti kadrai tada transliuojami žiūrovams, užtikrinant įtaigesnę ir profesionalesnę transliaciją.
„Tinklas numato trūkstamas arba užtušuotas vaizdo dalis, naudodamasis aplinkinių pikselių kontekstu. Dažymo modelis sukuria tikėtiną ir vizualiai nuoseklų trūkstamos srities foną, užtikrindamas, kad tekstūros, raštai ir spalvos vientisai susilietų su likusia vaizdo dalimi“, – pabrėžia prof. R. Maskeliūnas.
Dėmesys sutelktas ne tik į veiksmo fiksavimą
Naudojant šią naująją technologiją, futbolo rungtynių transliacija gerokai patobulės, o vienas iš privalumų – sklandesnė žiūrėjimo patirtis.
„Transliacija atrodys labiau ištobulinta ir profesionalesnė, be trikdžių, kuriuos sukelia operatoriai, pasirodantys ten, kur neturėtų. Šis patobulinimas sumažins atvejus, kai dėl blaškančių kadrų praleidžiami svarbūs rungtynių momentai“, – pabrėžia S. Postupaiev.
„Pritaikius šį algoritmą, transliuojančios bendrovės galės išbandyti naujoviškus kameros kampus, filmavimo perspektyvas ir efektus, taip atgaivindamos rungtynes naujais ir įdomiais būdais“, – sako jis.
Be to, objektų pašalinimo iš vaizdo įrašų technologija gali neapsiriboti vien tiesioginėmis transliacijomis, bet ir pagerinti prieš ir po rungtynių atliekamą analizę ar atkurti archyvinę medžiagą.
Be to, išradimas pritaikomas ne vien futbolui, bet ir kitoms sporto šakoms, pavyzdžiui, salės futbolui ar krepšiniui, kuriose susiduriama su panašiais transliavimo iššūkiais.
„Tai dar viena iliustracija, ką gali šiuolaikinės dirbtinio intelekto programos. Dažnai girdime apie taikymus medicinoje, o čia turime į vartotojus orientuotą požiūrį – redaguoti nepatinkančius, kadrus gadinančius vaizdus. Ateityje tokios technologijos galės, pavyzdžiui, pašalinti reklamas arba pakeisti jas kitomis, taip nuolat atnaujindamos turinį tokiu tikslumu, kurio žmogaus akis nepastebės“, – panaudojimo galimybes apsvarsto KTU Informatikos fakulteto profesorius R. Maskeliūnas.
Straipsnį „Real-time camera operator segmentation with YOLOv8 in football video broadcasts“ galima rasti čia.
