3D-modellen integreren in videobeelden:deskundige cameratracking met PFTrack – Deel I

Ontdek de meest effectieve technieken om 3D-modellen naadloos te laten samenvloeien in live-actiebeelden.

Bij het hedendaagse filmmaken worden wezens, elfen en superhelden vaak in 3D weergegeven en samengevoegd tot beelden uit de echte wereld. Het succes van dergelijke opnamen hangt af van nauwgezet postproductiewerk waarbij kleur, belichting en camerabeweging op elkaar zijn afgestemd.

Postproductie is slechts de laatste schakel in een reeks stappen die het project tot succes maken:

1. Gedetailleerde analyse van videoclips, inclusief analyse van micro-activiteiten. Geïmporteerde clips kunnen een kleurcorrectie of lensvervormingskalibratie ondergaan voordat ze worden gevolgd.
2. De clip exporteren naar een speciale trackingtoepassing. In deze serie concentreren we ons op PFTrack van The Pixel Farm.
3. De slotscène bouwen in een 3D-pakket zoals Maya, op basis van de PFTrack-gegevens.

In de afbeelding hierboven hebben de filmmakers een echte reeks vastgelegd en deze samengesteld over een digitale achtergrond. Er werd gebruik gemaakt van een blauw scherm, maar de prominente rode kruisen vertegenwoordigen trackingmarkeringen.

Welke rol spelen deze markeringen?

Waarom trackingmarkeringen gebruiken?

Trackingmarkeringen dienen tijdens het fotograferen als referentiepunten voor de fysieke camera. Hoewel statische scènes dit misschien niet nodig hebben, worden ze essentieel voor opnamen waarbij camerabewegingen betrokken zijn.

Het doel is om de beweging van de echte camera vast te leggen en deze over te brengen naar een virtuele camera, wat in de branche cameratracking of wedstrijdbewegingen wordt genoemd.

Cameratracking is cruciaal in twee primaire scenario's:

• Echte acteurs op de set met een CGI-achtergrond, zoals in het voorbeeld van Life of Pi.
• Echte omgevingen met digitale rekwisieten toegevoegd in de postproductie.

Zonder nauwkeurige cameratracking zou het integreren van live-actionbeelden met 3D-weergaven voor duidelijke mismatches zorgen.

PFTrack voor cameratracking

Hoewel veel NLE's, zoals After Effects, basistrackingtools bevatten, is PFTrack een speciale oplossing die op grote schaal wordt toegepast in professionele VFX-pijplijnen.

Hieronder ziet u een momentopname van PFTrack na het laden van een scène.

De op knooppunten gebaseerde workflow van PFTrack houdt de pijplijn georganiseerd. In het linkerpaneel worden actieve knooppunten weergegeven, in het midden worden de beelden en de tijdlijn weergegeven, en in het onderste paneel worden knooppuntspecifieke bedieningselementen weergegeven.

Een tool met veel functies

Voor een volledige referentie kunt u de officiële documentatie van PFTrack hier raadplegen . Het knooppuntpaneel is gegroepeerd in functionele tabbladen:

• Bijhouden
• Oplossen
• Vervorming
• Geometrie
• Foto
• Z-diepte
• Sferisch
• Stereo
• Exporteren
• Hulpprogramma's
• Python

Belangrijkste categorieën:

• Bijhouden extraheert functies uit de clip. Gebruikers kunnen kiezen voor automatische tracking of handmatig aangepaste punten plaatsen.
• Oplossen bouwt de beweging van de virtuele camera op op basis van de gevolgde functies.
• Vervorming corrigeert lensartefacten zoals tonvormige of kussenvormige vervorming.
• Geometrie kunt u testobjecten invoegen om de trackingnauwkeurigheid te valideren.
• Exporteren voert cameragegevens uit naar Maya, 3DS Max, After Effects, enz.
• Hulpprogramma's omvatten 'Estimate Focal' voor het corrigeren van onnauwkeurigheden in de brandpuntsafstand en 'Orient Scene' voor het uitlijnen van het coördinatensysteem.

Eerste stappen

We gebruiken hier een fragment uit de Shutterstock-bibliotheek . Importeer het in PFTrack als een reeks afbeeldingen en start het volgproces.

De geavanceerde algoritmen van PFTrack schatten doorgaans automatisch de juiste brandpuntsafstand. Als u een nauwkeurigere controle nodig heeft, gebruikt u de Estimate Focal node kan het perspectief verfijnen door handmatig verdwijnpunten op te geven.

In sommige gevallen (zoals bij opnamen van bovenaf) levert het leveren van alle drie de assen (X, Y, Z) PFTrack de benodigde gegevens op.

Automatisch versus gebruikerstracking

PFTrack biedt beide Auto en Gebruikerstrack knooppunten. De eerste identificeert automatisch stabiele kenmerken; Met dit laatste kunt u handmatig trackers plaatsen voor kritieke gebieden.

Richtlijnen voor handmatige plaatsing:

• Kies gebieden met een hoog contrast (bijvoorbeeld donkere pixels tegen een heldere achtergrond).
• Plaats fysieke markeringen op de set waar u 3D-elementen wilt invoegen.
• Pas de helderheid en het contrast binnen PFTrack aan om functies prominenter te maken.

In ons voorbeeld hebben we 12 tot 17 gebruikerstrackers toegevoegd langs het trottoir, de muur en andere strategische locaties.

Camera oplossen

Nu de functies zijn vastgesteld, is de Camera Solver node schat de beweging van de virtuele camera. Gebruik de actie “Alles oplossen” om de berekening uit te voeren.

De uitvoer van de oplosser gebruikt kleurcodering:

• Groen – succesvolle projectie.
• Wit – inactieve projectie voor het huidige frame.
• Rood – mislukte projectie (fout> 2px).
• Oranje – matige fout (1–2px).

Bekijk de Foutgrafiek om de nauwkeurigheid te verbeteren . Trim pieken met hoge fouten met het trimgereedschap, waarbij de gemiddelde foutlijn richting nul wordt gestabiliseerd.

Als een tracker voortdurend slecht presteert, deactiveer deze dan op het tabblad 'Trackers' en los het op.

Om een nieuwe oorsprong in te stellen, selecteert u een groene tracker en klikt u vervolgens op 'Oorsprong instellen' in de Camera Solver knooppunt.

De scène oriënteren

Met een betrouwbare herkomst, de Oosterse Scène node lijnt het 3D-raster uit zodat het overeenkomt met de echte wereld.

Kies drie nauwkeurige trackers op een vlakke ondergrond (bijvoorbeeld trottoir) en stel ze in op het X-Z-vlak. Pas de verticale oriëntatie van het raster aan, zodat het gelijk ligt met het oppervlak.

Objecten testen

Zodra het raster correct is georiënteerd, importeert u eenvoudige 3D-modellen met behulp van het Testobject node om de trackingkwaliteit te valideren.

Voor een nauwkeurige plaatsing klikt u objecten op de berekende 3D-punten. Als je te maken hebt met verschillende hoogtes (zoals een drempel), voeg dan trackers toe op hoekpunten, bouw een ruw parallellepipedum en plaats het object op de bovenzijde.

Speel de volledige reeks af om de consistentie te bevestigen. Deze testfase sluit belichting, texturen of schaduwen uit en richt zich uitsluitend op positionele nauwkeurigheid.

Van PFTrack tot Maya

De laatste stap in PFTrack is exporteren. Gebruik Exporteren node om camera- en scènegegevens te genereren in een formaat dat compatibel is met uw 3D-pakket. Voor deze tutorial exporteren we naar Autodesk Maya.

Wanneer u de geëxporteerde scène in Maya opent, is de camera-animatie al gebakken en behouden uw 3D-objecten hun positie ten opzichte van de live-actiebeelden.

Op dit punt bent u klaar om texturen en belichting toe te passen en uw scène weer te geven voor de uiteindelijke compositie.

Hiermee is deel I van onze serie afgesloten. Je weet nu hoe je cameratracking kunt gebruiken om 3D-meshes te integreren in echt beeldmateriaal.

In de volgende aflevering behandelen we:

• 3D-objecten binnen een videoclip animeren.
• Realistische 3D-belichtings- en weergavetechnieken.
• Tips voor het bereiken van een naadloze integratie tussen 3D- en live-actionbeelden.

Als je dit artikel leuk vond, volg mij dan op LinkedIn voor meer inzichten.

Nieuw bij het maken van 3D-middelen? Bekijk deze gerelateerde artikelen:

• Een ACES-workflow creëren voor realistische verlichting met 3D
• Verbeter de renderkwaliteit met laagcompositie in After Effects
• Van Call of Duty-fanbewerkingen tot muziekvideo's voor Russ:een interview met 3D-artiest Vollut
• Ontgrendel de kracht van 3D in After Effects met Helium
• Hoe je een echt 3D-terrein kunt maken in Blender (zonder plug-ins)