Door de jaren heen hebben filmmakers geëxperimenteerd met een groot aantal artistieke ideeën en methodieken. Door regels te maken en te breken, ontstaan nieuwe wegen door het medium, waardoor de manier waarop films worden samengesteld, verandert en verfijnd.
Net als de komst van nieuwe technologie.
Vroeger maakten filmmakers die geïnteresseerd waren in het idee van procedurele montage complexe wiskundige vergelijkingen om te bepalen hoe scènes konden worden geknipt om spanning te creëren of drama toe te voegen. Ze kunnen ook knippen om een scorelengte te evenaren of om een wiskundige overeenstemming te bereiken met een andere variabele in hun project.
De introductie van optische printers stelde filmmakers in staat om filmstroken opnieuw op te nemen, wat deuren opende voor creativiteit en speciale effecten.
In recentere jaren hebben artiesten dankzij krachtige hardware en software, samen met programmeertalen, verdere stappen kunnen zetten om hun werk te laten groeien. Hoewel procedurele bewerkingsbenaderingen de ideeën van creativiteit en visie voor wiskunde en wetenschap verdringen, zit er een methode in. Als ze worden gezien als hulpmiddelen om een visie over te brengen of creativiteit te realiseren, hebben wiskunde en wetenschap de filmmaker veel te bieden.
Een voorbeeld van een idee of concept dat al bijna een eeuw in gebruik is, in een of andere vorm, is algoritmische bewerking.
Wat is algoritmische bewerking?
Hoewel het ingewikkeld klinkt, verwijst algoritmische bewerking in zijn eenvoudigste vorm naar het bewerken van beeldmateriaal naar een schema of plan.
Dat schema kan zo simpel zijn als "elke vier frames, overschakelen van camera A naar camera B voor twee frames, en dan terug naar camera A", of nog eenvoudiger:"gebruik één frame met beeldmateriaal van A en één van B, en herhaal .”
Dit idee dat beeldmateriaal een vooraf geplande routekaart of directe procedurele benadering zal volgen, is de basis voor algoritmische montage. In termen die we kunnen begrijpen, verwijst het naar een techniek voor het knippen en opnieuw samenstellen van beeldmateriaal op basis van een schema, schets of model.
Alvorens te ver te gaan, is een algoritme zelf, volgens de goede mensen van Oxford, "een proces of een reeks regels die moeten worden gevolgd bij berekeningen of andere probleemoplossende bewerkingen, vooral door een computer."
Dit is een perfecte manier om algoritmische bewerking te beschrijven en te introduceren. Vroege visionaire filmmakers zoals Dziga Vertov en Sergei Eisenstein hanteerden een wiskundige, schematische benadering van hun montages en scènes in hun films, en creëerden complexe montageschema's om hun projecten te begeleiden.
Terwijl Eisensteins visie het publiek in staat stelde het ideologische aspect van de films die ze aan het kijken waren te zien door de emotionele en psychologische invloed die door zijn gebruik van deze techniek werd doordrongen, geloofde Vertov eigenlijk dat zijn wiskundige technieken het proces opschoonden en konden leiden tot de verbetering van de mensheid als gevolg van naar de feilloze, absoluut nauwkeurige methode die hij volgde.
Een paar ongelooflijke artikelen van de in Winnepeg gebaseerde filmmaker Clint Enns beschrijven de geschiedenis en de praktische toepassing van algoritmische montage in meer detail dan deze schrijver zelfs kan bevatten. Als aanvulling op dit artikel raden we je ten zeerste aan zijn werken te lezen.
Het in gebruik nemen
Veel andere vroege filmmakers gebruikten algoritmische bewerkingstechnieken met groot succes, velen bij het maken van ervaringsfilms. Het concept leent zich zeker voor meer avant-garde benaderingen van filmmaken.
Neem bijvoorbeeld het idee van een standaard flikkerfilm. Met behulp van twee stukken beeldmateriaal - de ene helemaal zwart en de andere helemaal wit - wordt een stuk samen bewerkt dat een frame uit de ene clip en vervolgens de andere haalt, en dit herhaalt totdat de clips eindigen. Deze techniek zou een zeer uniek en waarschijnlijk misselijkmakend resultaat opleveren. Dat gezegd hebbende, het is een zeer pure algoritmische benadering.
Het lineaire karakter van dat stuk hoeft echter niet de norm te zijn voor algoritmisch bewerkte projecten. Veel algoritmen die in software zijn ontwikkeld, bevatten willekeurige variabelen die een deel van de vergelijking kunnen veranderen.
Dus we zouden hetzelfde project nemen, maar een willekeurige variabele toevoegen om te bepalen hoeveel frames alleen uit de tweede clip moeten worden gekozen, zodat er slechts één frame overblijft van de eerste clip. We zouden eindigen met een frame uit clip één, een willekeurig aantal frames uit clip twee, nog een enkel frame uit clip één... enz.
Wat is er anders?
Hoewel dit een onorthodoxe benadering van bewerken is, klinkt het waarschijnlijk ook bijna onmogelijk met de tools die de meesten van ons elke dag gebruiken. Dit brengt ons bij hoe algoritmische montage verschilt van onze filmische benadering.
Wanneer we clips bewerken in Premiere Pro, FCPX, Media Composer of welk platform dan ook de voorkeur heeft, bekijken we onze beelden als een clip - iets met een begin, midden en einde - die we gaan wegknippen. Het is erg op tijdlijnen gebaseerd, en terecht; onze montageplatforms zijn gebaseerd op montagefilm. Wanneer we een clip in onze tijdlijn plaatsen, kijken we naar het digitale equivalent van een analoge filmclip.
Bij algoritmische bewerking is de benadering om het beeldmateriaal anders te bekijken - we benaderen het niet op dezelfde manier. We kijken niet naar de hele clip en beslissen niet wat we moeten bewaren en wat we weg willen doen. Met behulp van deze techniek overwegen we directe toegang tot elk frame van een clip binnen een locatie. Die locatie kan een database zijn of gewoon een map op uw computer.
Dit is niet om onze bewerkingsplatforms weg te nemen - ze geven ons zeker toegang tot elk frame van elke clip die we importeren - maar om een compositie samen te stellen, zelfs met behulp van een eenvoudig schema zoals het "één frame van A, één frame van B , herhaal” zou omslachtig en tijdrovend zijn.
Het schrijven van een codefragment om hetzelfde proces af te handelen, zou heel weinig tijd kosten. De code benadert de beelden niet als een stukje film, maar als een container vol gegevens, daarom is een map of database als een gigantische container vol met de audio- en videogegevens van elk frame dat daarin is opgenomen.
Dus als code direct toegang heeft tot elk frame van een clip in een container, dan zouden er talloze mogelijkheden moeten zijn om algoritmische bewerking creatief te gebruiken. Het is mogelijk om de variabelen die in een stuk beeldmateriaal aanwezig zijn, zoals pixelvariatie en audio-afwijkingen, te gebruiken om programmatisch te bepalen waar te knippen en hoe een stuk beeldmateriaal weer in elkaar te zetten.
Volgens die beschrijving kan het model voor bewerkingspunten zelfs een muziekpartituur zijn. Cory Arcangel heeft een handvol indrukwekkende experimenten gedaan met muziek als stuurprogramma voor het bewerken. Een voorbeeld van zijn werk is een YouTube-video van Paganini's Fifth Caprice, samengesteld uit honderden instructievideo's voor gitaar. Dit werd waarschijnlijk bereikt door het originele stuk te gebruiken en een algoritme te schrijven dat de database met YouTube-video's ontleedde op zoek naar notities die overeenkwamen. Hoewel moeilijk om naar te kijken, is de prestatie een uitstekend voorbeeld van algoritmische bewerking op het werk.
Wie doet het?
Een goed voorbeeld van een modern talent dat gebruikmaakt van algoritmische bewerking - en die precies laat zien hoe hij dat doet - is Devon Crawford, een briljante jonge Canadese programmeur die door zijn eigen onderzoek software en elektrotechniek heeft verkend en dit op YouTube heeft gedocumenteerd.
Het kanaal van Devon bestrijkt een breed scala aan onderwerpen die interessant zijn voor de technologievriendelijke, softwareontwikkelaars, zoals het beoordelen van een game die hij codeerde op de eerstejaarsuniversiteit, het downloaden van je Google-privégegevens - en het ontdekken van een aantal gekke dingen erover - hoe hij in codering, enzovoort.
Het lijkt erop dat Devon sindsdien is overgegaan op grotere projecten die online niet zo nauwkeurig worden gedocumenteerd, maar een van zijn interessantere experimenten is het gebruik van algoritmen om clips voor hem te bewerken op basis van code.
In deze video schrijft hij een programma dat een video voor hem monteert, waarin hij een beetje experimenteert met variabelen voor verschillende uitkomsten. Terwijl hij de toepassing verfijnt, gebruikt hij bewegingsdetectie - weet je nog pixelvariatie? - om de sneden in zijn video te bepalen, in wezen een video maken die delen van zijn clips met de meeste differentiatie gebruikt.
Best interessant, toch? De afgelopen jaren waren er bedrijven die hoopten dit soort technologie te gebruiken om automatisch actiecamerabeelden te bewerken. Met een helderblauwe lucht en felroze wakeboards zou een algoritme zoals dat van Devon waarschijnlijk net zo goed zijn werk hebben gedaan als een fysieke editor.
Andere organisaties hebben geëxperimenteerd met geautomatiseerde of algoritmische bewerking. Disney heeft een bewerkingsalgoritme voor meerdere camera's gemaakt dat verschillende variabelen gebruikt om bewerkingspunten te bepalen. In hun project schat de software de 3D-beweging van elke camera, zodat deze kan vastleggen waar de camera's de meeste aandacht aan besteden. Hierdoor kan de software correct bepalen wanneer en waar een snede naar een andere camera moet worden gemaakt. Disney's algoritme kan ook bepalen welke camera het beste zicht op het onderwerp heeft en ernaar overschakelen, dus de snede is niet alleen op het juiste moment, maar het is ook slim.
Niet echt een menselijke redacteur, maar komt zeker dichterbij.
Wat de toekomst in petto heeft...
Hoewel velen van ons vasthouden aan onze filmische benadering van montage, moet worden opgemerkt dat machine learning en de toepassing van algoritmen al een tijdje overal om ons heen zijn. Algoritmen bepalen opschaling en render-optimalisatie, keyframe-interpolatie en andere aspecten van ons werk. Complexere algoritmen zullen al ons werk vorm blijven geven, aangezien bedrijven zoals Adobe zich blijven concentreren op machine learning met Adobe Sensei.
Niet helemaal overtuigd? Bekijk de functie Content Aware Fill van After Effects. Het kijkt naar omringende pixels en maakt een schatting om een leemte in realtime op te vullen.
Dus of we nu ervoor kiezen om de montage vanuit een programmatische invalshoek te benaderen of bij onze traditionele benadering te blijven, algoritmen bestaan al een eeuw in de bioscoop en zullen in de loop van de tijd steeds meer intrinsiek worden in onze montagefuncties. Zal algoritmische bewerking in de toekomst "automatische bewerking" worden? Waarschijnlijk in sommige gevallen, maar er is waarschijnlijk een argument voor.
Dus heeft de toekomst van cinema een nut voor algoritmische montage? Stel je een scenario voor waarin een stukje software automatisch 25 ruwe delen van een film snijdt en eruit duwt. De studio verzamelt testpubliek om de concepten te bekijken, terwijl camera's, sensoren en aanvullende software hun reacties op elk frame van de video meten. Op basis van die gegevens stelt de studio een definitieve, "perfected cut" samen.