Korábbi jelentések az AVT osztálytól
- Érdekel a tanulmány
- Diákok
- Munkavállaló
- Újságírók
- gazdaság
- Médiatechnológiai Intézet
- Otthoni AVT
- emberek
- Tanítás
- kutatás
- Publikációk
- Szoftver/Letöltések
- Tézisek
- archívum
- Korábbi jelentések az AVT osztálytól
- Befejezett projektek (2013 előtt)
- Értekezések és habilitációk
- Események
Korábbi jelentések az AVT osztálytól
21. IEEE Nemzetközi Szimpózium a multimédiáról (2019 IEEE ISM), 2019. december 9–11., San Diego, USA
Rakesh Rao Ramachandra Rao, Steve Göring, Werner Robitza, Bernhard Feiten, Alexander Raake
AVT-VQDB-UHD-1: Nagyméretű videominőségi adatbázis az UHD-1 számára
4K televíziós képernyők, vagy akár nagyobb felbontásúak is elérhetők a piacon. Ráadásul a video streaming szolgáltatók képesek 4K felbontásban és azon túl is streamelni a videókat. Ezért egyre fontosabbá válik a videó minőségének megfelelő megértése, különösen a 4K videók esetében . Ennek érdekében ebben a cikkben bemutatjuk a 4K ultra-nagyfelbontású, rövid időtartamú videók szubjektív és objektív minőségi értékelését, hasonlóan a DASH szegmenshosszakhoz.
Első lépésként négy szubjektív minőségértékelési tesztet hajtottunk végre a 4K videók tömörített változatain. A videókat három különböző videokodek használatával kódolták: H.264, HEVC és VP9. A tömörített videók felbontása 360p és 2160p között változott, a képkockasebesség 15 és 60 fps között változott. Az összes forrás 4K tartalmat 60 kép/mp sebességgel használtuk. Rossz minőségű feltételeket vontunk be a bitráta, a felbontás és a framerátus tekintetében annak biztosítására, hogy a tesztek a feltételek széles skáláját lefedjék, és hogy pl. az ezen adatokra betanított lehetséges modellek általánosabbak és a valós alkalmazások szélesebb körére alkalmazhatók. A szubjektív minőségértékelés eredményeit elemzik, hogy felmérjék a különböző tényezők, például a bitráta, a felbontás, a képkockasebesség és a tartalom hatását.
A második lépésben minden videóra különböző korszerű objektív minőségi modelleket alkalmaztak, és azok teljesítményét elemezték a szubjektív értékelésekhez képest, pl. a Netflix VMAF-jét használva. A videókat, a szubjektív pontszámokat, a MOS és a szekvenciánkénti megbízhatósági intervallumokat, valamint az objektív pontszámokat nyilvánosságra hozzuk, hogy a közösség további kutatásokra felhasználja.
Link a videókhoz:
21. IEEE nemzetközi műhely a multimédiás jelfeldolgozásról (MMSP), 2019. szeptember, Kuala Lumpur, Malajzia
A. Singla, W. Robitza és A. Raake
A szubjektív minőségvizsgálati módszerek összehasonlítása az összes irányú videó minőségértékeléshez
Legjobb papír díj
Dominik Keller (AVT Osztály), Tamara Seybold (ARRI München), Janto Skowronek (korábban AVT Osztály) és Alexander Raake (AVT Osztály) megkapta a legjobb papír díjat a 11. Nemzetközi Konferencián A Multimédia Tapasztalat Minőségéről (QoMEX 2019) Berlinben.
Szponzorációs díjak a területen végzettek számára
Másodszor került megrendezésre a Förderverein Elektrotechnik und Informationstechnik e. V. Ilmenau a TU Ilmenau Villamosmérnöki és Informatikai Karával kapcsolatban kiemelkedő tézisekért járó támogatói díját. A felajánlott díj kitüntetéssel honorálta a hallgatók eredményeit a június végi nyilvántartásból való törlés során. Szerencsére az Audiovizuális Technológiai Kutatócsoport két tézisét, amelyeket ipari partnerekkel készítettek, kiemelkedőnek ítélték el magas fokú interdiszciplinaritás és tudományos megközelítés, valamint végrehajtásuk miatt.
Gratulálunk a díjazottaknak Anton Schuberthez, aki egy tömörített szélessávú audio kodek megvalósításával foglalkozott a járművezetői kommunikációhoz az autósportban, és Keller Dominiknek, aki a mozifilmek textúradimenzióinak azonosításán és elemzésén dolgozott szenzor értékelési módszerek segítségével.
IMT a türingiai államképviselet berlini nyári fesztiválján
2019-ben a médiatechnológiai intézet (IMT) képviseltette magát a türingiai államképviselet berlini nyári fesztiválján. Két szakterület osztozott a standon. Az audiovizuális technológiai részleg különlegesen előállított tartalommal demonstrálta a Full HD és UHD felbontású videotartalmak különböző hatásait. Ezenkívül 360 ° -os videókat (virtuális valóság) mutattak be, amelyeket a helyszínen hoztak létre, és amelyeket percepciós tesztekhez használnak. A virtuális valóság magával ragadó észlelése magában foglalja a megfelelő térbeli hangjelenetet is. Ezért az Elektronikus Médiatechnika részleg mikrofon tömb segítségével megmutatta, hogyan készülnek ezek a 360 ° -os hangfelvételek, és az eredmény hallhatóvá válik az állványon.
Nyári időben sok érdeklődő látogató volt. Bodo Ramelow türingiai miniszterelnök többek között Brandenburg és Raake professzorokat magyarázta el neki a technológiával. Az esemény során Stephan Fremerey, dr. Stephan Werner és Matthias Döring.
Dominik Keller, Tamara Seybold, Janto Skowronek és Alexander Raake
A mozgóképek textúradimenzióinak és videóminőségének értékelése szenzoros értékelési technikák segítségével
Az Audiovizuális Technológiai Osztály tagjai és az Oscar-díjas ARRI (Arnold & Richter Cine Technik) közötti együttműködés eredményeként megkapta a legjobb papír díjat az idei 11. Int. Konferencia a multimédia élmény minőségéről (QoMEX 2019).
A QoMEX 2019 konferencián bemutatott tanulmányban összehasonlítjuk a különféle mozgásinterpolációs (MI) algoritmusok 360 ° -os videóminőségre (QoE) gyakorolt hatását. Ehhez szubjektív tesztet végeztünk 12 video szakértő nézővel, miközben páros összehasonlító teszt módszert alkalmaztunk. Négy különböző 20 másodperces, 30 képkocka/s sebességű 360 ° -os forrás tartalmat interpoláltunk a népszerű fejre szerelt kijelzők natív 90 Hz-es frissítési gyakoriságára három különböző MI algoritmus segítségével. Ezt követően összehasonlítottuk egymással ezt a 90 kép/mp videót, hogy megvizsgáljuk a QoE-re gyakorolt hatást. Az algoritmusok kapcsán kiderült, hogy az ffmpeg keverék nem vezet a QoE jelentős javulásához, míg az MCI és a pillangófolyamat ezt teszi. Ezenkívül arra a következtetésre jutottunk, hogy a 360 ° -os, gyors és hirtelen mozgásokat tartalmazó videóknál az MCI-t kell előnyben részesíteni a pillangó helyett, míg a pillangó inkább a lassú és közepes mozgású videóknál. Míg összehasonlítjuk a 90 kép/mp interpolált videók megjelenítéséhez szükséges időt, az ffmpeg keverék a leggyorsabb, míg az MCI és a pillangó sokkal több időre van szükség.
Megjelent a 26. IEEE konferencián a virtuális valóságról és a 3D felhasználói felületekről, 2019. március, Oszaka, Japán
A. Singla, R. R. R. Rao, S. Göring és A. Raake: A média QoE, a szimulátor betegségének és jelenlétének értékelése az összes irányú videókhoz különböző tesztprotokollokkal
A körsugárzó videók QoE további összetevőket tartalmaz, mint például a szimulátoros betegség és a jelenlét. Ebben a cikkben egy sor tesztet mutatunk be, amelyek különböző tesztprotokollokat hasonlítanak össze az integrált minőség, a szimulátoros megbetegedés és a sokirányú videók jelenlétének értékelése érdekében egy teszt során, fejre szerelt kijelzőként használva a HTC Vive Pro-t. A minőségi minősítésekhez az ötpontos ACR skálát használták. Ezenkívül a jól bevált szimulátor betegség kérdőív és PresenceQuestionnaire módszereket alkalmazták, egyszer teljes verzióban, egyszer pedig csak egyetlen integrált skálával, annak elemzésére, hogy a jelenlét és a szimulátoros betegség csak egyetlen skála segítségével rögzíthető-e.
Ashutosh Singla, miközben plakátját az IEEE VR japán konferenciáján mutatta be
Tizenegyedik nemzetközi konferencia a multimédia élmény minőségéről (QoMEX) (QoMEX 2019). Berlin, Németország. 2019. június
Steve Göring, Rakesh Rao Ramachandra Rao, Alexander Raake
nofu - Könnyű, nem referencia pixel alapú videominőségi modell a játéktartalomhoz
A játékvideók streaming szolgáltatásainak népszerűsége óriási mértékben megnőtt az elmúlt években, pl. Twitch és a Youtube Gaming. A klasszikus video streaming alkalmazásokhoz képest a játékvideókra további követelmények vonatkoznak. Például fontos, hogy a videókat csak kis késéssel továbbítsák élőben. Ezenkívül a felhasználók alacsony stagnálási, várakozási időre és általában magas videominőségre számítanak a streaming során, pl. http-alapú adaptív streaming használatával. Ezek a követelmények különböző kihívásokhoz vezetnek a minőségi előrejelzéshez a streamelt játékvideók esetében. Leírjuk az újonnan kifejlesztett funkciókat és egy nem referencia videominőségű gépi tanulási modellt, amely csak a rögzített videót használja a videó minőségi pontszámainak előrejelzéséhez. Különböző értékelési kísérletekben összehasonlítjuk a javasolt nofu modellünket a korszerű csökkentett vagy teljes referencia modellekkel és mérőszámokkal.
Ezenkívül egy nem referencia alapmodellt képeztünk ki a brisque + niqe funkciók felhasználásával. Megmutatjuk, hogy modellünk hasonló vagy jobb teljesítményű, mint más modellek. Ezenkívül a nofu felülmúlja a VMAF-et a szubjektív játék QoE előrejelzéséhez, annak ellenére, hogy a nofu nem igényel referencia videót.
scatter_plot_mos_nofu: a játékadatok eredményei és a szubjektív pontszám-előrejelzés
7. európai műhely a vizuális információ feldolgozásáról (EUVIP), Tampere (Finnország), 2018. november 26–28. (Http://www.tut.fi/euvip2018/)
Steve Goering, Alexander Raake
deimeq - Mély neurális hálózaton alapuló hibrid, nem referencia képminőségi modell
A jelenleg nem használt referencia képminőség-értékelési modellek többnyire kézzel készített jellemzőkön (jel, számítógépes látás stb.) Vagy mély neurális hálózatokon alapulnak. A DNN-ek használata a képminőség előrejelzéséhez számos problémához vezet, pl. a bemeneti méret korlátozott; nagyobb felbontás növeli a feldolgozási időt és a memóriafelhasználást. A nagy bemeneteket a kép javításával és a minőségi pontszám összesítésével kezelik. Tiszta foltos megközelítésben az alképek közötti kapcsolatok elvesznek.
Ezenkívül hatalmas adatkészletre van szükség a DNN alapból történő kiképzéséhez, bár csak kicsi, annotációval ellátott adatkészletek állnak rendelkezésre. Hibrid megoldást (deimeq) nyújtunk a képminőség előrejelzésére
A DNN szolgáltatás kinyerése véletlenszerű erdészeti modellekkel kombinálva Először is, a deimeq egy előre betanított DNN-t használ a funkciók kibontásához hierarchikus részkép-megközelítésben, ezzel elkerülhető a hatalmas képzési adatkészlet. Továbbá a javasolt alkép-megközelítés megkerüli a tiszta javítást az alképek közötti hierarchikus kapcsolatok miatt. Másodszor, a deimeq kiterjeszthető a legmodernebb modellek jelalapú szolgáltatásaival. A megközelítés értékeléséhez szigorú kereszt-adatkészlet értékelést választunk a Live-2 és a TID2013 adatkészletekkel, több előre betanított DNN-lel. Végül megmutatjuk, hogy a deimeq és annak változatai jobban vagy hasonlóan teljesítenek, mint más módszerek.
Human Vision and Electronic Imaging 2019, Burlingame (Kalifornia, USA), 2019. január 13–17. (Http://www.imaging.org/site/IST/IST/Conferences/EI/Symposium_Overview.aspx)
Steve Göring, Julian Zebelein, Simon Wedel, Dominik Keller, Alexander Raake
Elemezze és megjósolja az UHD videó tartalmának érzékelhetőségét
720p, Full-HD, 4K, 8K,. a kijelző felbontása erősen növekszik az elmúlt idő alatt. Számos video streaming szolgáltató azonban jelenleg legfeljebb 4K/UHD-1 felbontású videókat közvetít. Figyelembe véve, hogy a normál videonézők tipikus nappaliban élvezik videóikat, ahol a nézési távolság meglehetősen nagy, felmerül a kérdés, hogy még nagyobb felbontás is felismerhető-e. A következő cikkben az UHD érzékelhetőség problémáját elemezzük az alacsonyabb felbontásokkal összehasonlítva. Első lépésként szubjektív videotesztet hajtottunk végre, amely a rövid, tömörítetlen videoszekvenciákra összpontosított, és két különböző vizsgálati módszert hasonlított össze ugyanazon forrás videó két ábrázolásának párhuzamos megkülönböztetésére különböző felbontásokban.
Kiválasztottunk egy kiterjesztett csíkos módszert és egy időbeli kapcsolási módszert. Megállapítottuk, hogy az időbeli váltás alkalmasabb az UHD videotartalmak felismerésére. Továbbá kifejlesztettünk olyan funkciókat, amelyek felhasználhatók egy gépi tanulási rendszerben annak megjóslására, hogy van-e előnye egy adott videó UHD-val történő bemutatásának vagy sem.
A különböző modellek ezen jellemzők alapján történő értékelése az érzékelhető különbségek előrejelzése érdekében jó teljesítményt mutat a rendelkezésre álló tesztadatokkal kapcsolatban. Megvalósított rendszerünk felhasználható az UHD forrásvideók ellenőrzésére vagy a streaming alkalmazások optimalizálására.