Met stereoscopie's ondergang, zijn hologrammen de weg vooruit naar echte 3D? Zo ja, hoe kunt u meedoen? Laten we het uitzoeken.
Degenen die beweren dat driedimensionale en op diepte gebaseerde video de toekomst van beweging is, hebben vaak gevestigde belangen. Ze kunnen echter gelijk hebben, aangezien efficiëntere compressietechnieken en snellere pijplijnen zoals 5G de weg bereiden voor data-intensieve 360-video. In zekere zin zijn hologrammen een natuurlijke ontwikkeling.
Volumetrics verschilt ook van motion of performance capture, hoewel beide technieken vaak samenwerken en afhankelijk zijn van dieptemetingen.
Simpel gezegd, MoCap is het vastleggen van beweging met sensoren die in een pak worden gedragen. Volumetric legt alles binnen een fysiek gebied vast en produceert 3D-informatie via een zogenaamde puntenwolk of 3D-polygoongaas. De gegevens van beide worden vervolgens doorgegeven aan VFX-studio's om te manipuleren en te renderen.
Er zijn echter enkele logistieke nadelen. De datasnelheden werden met de oude stereoscopie (twee kanalen) minstens verdubbeld. Cinematografie met een hogere framesnelheid - waarbij je soms in 3D fotografeerde - betekende nog meer gegevens en efficiëntere opslagplannen.
Bij volumetrische video draait alles om onderdompeling, en daarvoor zijn meerdere opnamepunten nodig - meestal worden meer dan 100 camera's, infrarood en RGB, gebruikt om een volume te creëren.
Als gevolg hiervan kan volumetrische video-opname ongeveer 16 GB aan gegevens per minuut verzamelen voordat er iets wordt bewerkt.
Waar volumetrische video wint
Zoals vermeld in onze inleiding tot hologrammen, is de distributie van deze nieuwe vorm van 3D in de entertainmentindustrie nog niet volgehouden. Producthologrammen zullen enorm zijn, vooral voor smartphones en andere draagbare apparaten.
In 2017 presenteerde Barbie bijvoorbeeld een holografische robotpop die reageert op spraakopdrachten. In hetzelfde jaar deden Verizon en Korea Telecom de eerste holografische oproep met behulp van 5G-technologie. Om de oproep mogelijk te maken, werden twee hologrammen gevormd. Maar veel industrieën begrijpen de behoefte aan sensoren die diepte weerspiegelen; het is als het ontbrekende ingrediënt, waardoor ze intelligenter en behulpzamer worden voor mensen.
Maar in de mediawereld belooft volumetrie ook efficiëntie toe te voegen aan postproductiekanalen door het proces van vastleggen en animeren te vereenvoudigen. De gelijkenis, de authentieke uitvoering en de garderobe van een acteur kunnen allemaal in hetzelfde proces worden vastgelegd. Vastgelegde gegevens kunnen worden gebruikt voor levering van zowel Previs als hoge resolutie. Vastgelegde prestaties kunnen ook worden gebruikt in realtime-engines zoals Unreal en Unity.
Als producent van software voor het bewerken en coderen van hologrammen, heeft Arcturus de kosten vergeleken tussen volumetrische opname en meer traditionele VFX CG-productie. Hun onderzoek vergelijkt de kosten, tijd en personeelsniveaus tussen VFX-productie en volumetrische videoproductie.
Bijvoorbeeld:voor het maken van tekens, het gebruik van traditionele CG kan tussen de 10 en 60 dagen duren voor de grotere films. Volumetrische video's kunnen in minder dan 24 uur menselijke activa creëren. De kosten voor CG kunnen oplopen tot $ 70.000, terwijl volumetrische video voor dezelfde operatie $ 15.000 kan zijn.
De teamgroottes zijn ook verschillend, met 10-20 CG-artiesten die aan dezelfde activa werken, terwijl voor volumetrische video-opname slechts 2-3 mensen nodig zijn om activa te produceren. Dat leidt tot het proces, dat voor CG meestal lang is omdat het handmatig is, terwijl volumetrie in wezen een geautomatiseerde oefening is.
Hoe te beginnen met Volumetric Video
Je hebt misschien al een volumetrische video meegemaakt zonder het te weten. Voor degenen onder ons die XBOX-gamers waren en zijn, bracht Microsoft in 2010 een accessoire uit met de naam Kinect. Het idee is dat je gebaren of lichaamsbeweging je zou bevrijden van een fysieke controller. De camerasensoren, inclusief infrarooddetectoren, produceerden een basisdieptepuntenwolk die een 20-punts skelet voorstelt.
Het was destijds revolutionair, maar leek nooit aan te slaan en het gebruik ervan werd in 2017 door Microsoft stopgezet voor gaming.
De technologie wordt nu echter verkocht als onderdeel van Azure Kinect DK, dat technologie voor dieptedetectie gebruikt voor verschillende sectoren, zoals gezondheidszorg, productie en detailhandel. Hun ontwikkelkit is beschikbaar voor ongeveer $ 400 en biedt een 1MP dieptecamera, 360˚ microfoonarray, 12MP RGB-camera en oriëntatiesensor.
Aangezien het meten van diepte voor alle sensoren belangrijker wordt, zullen er duizenden gebruiksscenario's zijn, en dat is waar Microsoft met dit product naartoe gaat.
Een voorbeeld of use case is een autoverhuurbedrijf in de VS dat dieptecamera's gebruikt om terugkerende auto's te scannen op eventuele schade aan het lichaam. De voertuigen worden gescand bij inlevering en diepte-informatie zal eventuele misvormingen of deuken laten zien. Dit snelle, automatische proces hoeft de huurder niet op zijn woord te geloven voor extra hobbels tijdens het huren.
Bedrijven zoals EF EVE kunnen de output van meerdere Azure Kinects gebruiken en volumetrische video produceren. Het is een nieuwe dienstensector voor bedrijven die nieuw zijn in volumetrische video en niet het budget hebben voor een groot aantal cameravolumes.
Andere camera's zoals RealSense van Intel voorzien ook in de groeiende behoefte aan dieptesensoren. Use cases variëren van robotica tot gezichtsautorisatie. Ze bereiden zich zelfs voor op interactie tussen robot en mens door middel van skeletbewegingen en gebaren. "Mensen volgen" kijkt naar meer algemene gebruiksscenario's, zoals het monitoren en analyseren van menigten.
Als je wilt gaan experimenteren met volumetrische video, moet je een dieptesensor hebben, maar niet zo essentieel als Kinect was. Het publiek kende LiDAR niet echt totdat Apple besloot om vanaf de twaalf modellen een sensor in hun iPhones te plaatsen.
LiDAR is een laserscanmethode die wordt gebruikt om landschappen of gebouwen te meten en vast te leggen om 3D-scans en dieptekaarten te maken.
LiDAR produceert 3D-puntenwolken, die rekening houden met elk punt in de ruimte in een scène of object. Als je de pixels van LiDAR vergelijkt met 2D-pixels, voegt de dieptesensor de Z-diepte-informatie toe aan de X- en Y-coördinaten.
Bedrijven zoals Depthkit bieden software waarmee u uw LiDAR-iPhone of zelfs een betere camera kunt vastleggen met een afzonderlijke dieptesensor.
Hier is een informatieve zelfstudie over hoe u dit moet doen. Onder deze video staan enkele voorbeelden van de klanten van Depthkit.
Prestaties vastleggen via sensoren die op het lichaam worden gedragen, 360˚-camera's geven je enig gevoel van diepte, maar lijken nu een beetje ouderwets.
Er zijn echter andere manieren om diepte voor uw projecten te creëren, zoals bijvoorbeeld fotogrammetrie. Meerdere foto's van een onderwerp worden vanuit verschillende hoeken genomen en door computationele algoritmen aan elkaar genaaid om 3D-modellen te genereren.
Lightfield-camera's gebruiken ook microlenzen om vervolgens alles te manipuleren, van brandpunten tot verlichting.
De toekomst van volumetrics
Velen van ons kijken of creëren graag in 2D. Stereo cinematografie is nooit echt gelukt, en daar waren goede redenen voor. Misschien zijn we in orde met de platte video die we al 100 jaar hebben. Maar het feit dat volumetrische video voor zijn succes niet afhankelijk is van de entertainmentindustrie, geeft de creatieve industrie de tijd om zich aan te passen.
Naarmate we meer zien van wat virtuele productie kan produceren, vooral met game-engines, zullen deze nieuwe soorten hologrammen deelnemen aan de virtuele revolutie.
Misschien in de coulissen wachten tot ze klaar zijn.