De Skyglass-app gebruikt de LiDAR-sensor van de iPhone voor realtime virtuele productie. Laten we ingaan op de moeren en bouten van dit nieuwe filmmakende vooruitzicht.
NAB is zo groot dat je soms eenmansbands kunt ontdekken die op het laatste moment een stand hebben weten te bemachtigen voor bijna geen geld, en soms zijn ze het meest interessant. Het grootste probleem is om ze te vinden in de spelonkachtige zalen van dit enorme evenement.
Dit jaar, de eerste NAB in drie jaar, waren meer dan 900 bedrijven aanwezig, waaronder ongeveer 160 first-timers. Als je nog nooit in NAB bent geweest, zijn er zalen, zoals de North Hall, die echt enorm zijn.
Bedrijven zoals Blackmagic Design en Adobe zijn in deze hal, genaamd Create binnen NAB's nieuwe manier om onderwerpen te stroomlijnen. Er zijn ook zalen die zijn gecategoriseerd als Capitalize , Verbinden , en Intelligente inhoud .
De grotere cabines worden naar de voorkant van de hal verzwaard en niet naar de parkeerplaatsen erachter. Dit betekent dat als je naar achteren loopt, de hokjes beginnen uit te dunnen en veel kleiner worden. Hier kun je een aantal spannende, zij het prille, technologie ontdekken.
Skyglass van Ryan Burgoyne is daar een van. Ryan werkte vroeger voor Apple. Hij werkte daar zes jaar als senior engineer in het team dat Reality Composer bouwde, een tool waarmee ontwikkelaars eenvoudig AR-apps kunnen bouwen.
In november 2021 richtte hij Skyglass op om virtuele productietechnieken toegankelijk te maken voor onafhankelijke filmmakers en kleine studio's.
Wat is Skyglass?
Ryans idee was om een app en een cloud-renderingservice te ontwikkelen die contentmakers zouden aanspreken die zich geen virtuele set of dure camera's en hun tracking konden veroorloven. Hij wilde de LiDAR-sensor gebruiken die vanaf iPhone 12 op de iPhone werd geïntroduceerd.
Hij beschrijft zijn visie,
Zijn idee was om LiDAR te gebruiken, dat de reis van licht van en naar een object meet en dat object virtueel positioneert. Zijn app zou dan de gegevens van LiDAR nemen en deze naar de cloud sturen, waar Unreal Engine deze zou weergeven met het door LiDAR toegestane cameraperspectief. Die render wordt vervolgens naar de telefoon gestreamd voor realtime compositie met livebeelden.
Skyglass volgt in feite de positie en oriëntatie van de camera van je telefoon en streamt deze naar de cloud, waar een weergave van een virtuele omgeving wordt gemaakt en teruggestuurd.
Wat heb je nodig?
Skyglass zegt dat alles wat je nodig hebt om aan de slag te gaan met realtime VFX een iPhone is met de Skyglass-app en een internetverbinding (een downloadsnelheid van minimaal 10 Mbps wordt aanbevolen). Skyglass vereist de LiDAR-scanner die beschikbaar is op iPhone 12 Pro, 12 Pro Max, 13 Pro of 13 Pro Max.
Skyglass bevat een bibliotheek met virtuele omgevingen waaruit u kunt kiezen om de service uit te breiden. U kunt zelfs uw virtuele omgeving creëren door een Asset Pack te maken en dit te uploaden naar Skyglass Cloud of Skyglass Server.
Skyglass heeft zijn eigen Unreal Engine plug-in genaamd Forge waarmee je een Asset Pack kunt maken, of je kunt 3D-modellen importeren die je hebt gemaakt of de Unreal Asset Marketplace gebruiken.
Als je je composiet wilt verfijnen, kun je alleen de achtergrondplaten van Skyglass Cloud of Skyglass Server en je groen-schermbeelden van je iPhone downloaden en ze importeren in editors zoals Nuke, Fusion, After Effects, enz.
Andere camera's gebruiken
Er zijn manieren om betere camera's te gebruiken dan de onlangs gelanceerde iPhones voor Skyglass. Maar dit houdt in dat de offsets tussen de iPhone en cine-camerasensoren worden gekalibreerd, bijvoorbeeld via een NDI-netwerk. Het lijkt behoorlijk ingewikkeld, maar maakt het mogelijk om de focus, iris en zoommetadata van native lenzen weer te geven zodat ze overeenkomen met je vastgelegde beelden.
Hopelijk kunnen we meer te weten komen over Skyglass van Ryan en de app zelf uitproberen. Als je bij NAB bent, vind hem dan in de North Hall op stand 1138 of kijk op zijn website op www.skyglass.com/.