Ga achter de schermen met PremiumBeat terwijl we praten met Jonathan Winbush over zijn samenwerking op het gebied van cryptokunst met DJ Mix Master Mike.
PremiumBeat kreeg onlangs de kans om te praten met motion graphics-artiest Jonathan Winbush en een kijkje achter de schermen te nemen bij zijn nieuwste cryptokunstproject, een muziekvideo-samenwerking met DJ Mix Master Mike. Het project heet Mob Recept en omvat alles, van full-body 3D-scannen en motion capture, tot het bouwen van een virtuele set in Cinema 4D, en vervolgens alles als een NFT minten. Om Mob Recept te bekijken bezoek in zijn geheel de SuperRare-pagina van Jonathan.
PremiumBeat: Voordat we ingaan op het maken van Mob Recept , kun je iedereen vertellen wat het project is en de motivatie voor het idee?
Jonathan Winbush: Ja, dus ik ben nu een paar maanden bezig met cryptokunst, gewoon om mijn tenen nat te maken, en ik heb in het verleden veel projecten gedaan met Mix Master Mike. Nadat hij met hem had gesproken over wat ik aan het doen was in de NFT-ruimte, zei hij:"We zouden eigenlijk een NFT-cryptokunstalbum moeten samenstellen, met de audio en visuals samen." Dus wat ik nu doe, is dat ik aan de eerste single werk met Mix Master Mike, we gaan het op SuperRare zetten, en het wordt een muziekvideo van dertig tot vijfenveertig seconden met een van de clips van zijn nieuwe album dat uitkomt.
PB: Ik weet zeker dat veel mensen geïnteresseerd zijn, als motion graphics-artiest, hoe ben je in contact gekomen met Mix Master Mike en ben je deze samenwerkingen aangegaan?
JW: Grappig genoeg begon het al in ongeveer 2015-16, toen ik begon met virtual reality. Ik deed veel onderzoek en ontwikkeling, rommelde met 360 VR-dingen. We hadden destijds een wederzijdse vriend, Tony Washington, hij deed veel aan Mike's illustratiewerk omdat Mike destijds met een stripboek uitkwam. Tony heeft ons eigenlijk voorgesteld. Mike is altijd vooruitstrevend geweest en houdt er altijd van om nieuwe technologieën te ontdekken. En hij wilde een muziekvideo uitbrengen, maar niets traditioneels. Tony vertelde hem waar ik aan werkte in 360 VR, dus het viel een beetje samen. Ik heb hem een pitch gestuurd met wat dingen waar ik aan werkte en de rest is geschiedenis vanaf daar.
PB: Een van de afbeeldingen die je deelde was een foto van Mike in een kamer vol camera's. Ik neem aan dat dit voor 3D-scannen is. Kun je ons daar wat inzicht in geven?
JW: Ja, de afbeelding waar je het over hebt is van dit bedrijf genaamd The Scan Truck. Een paar jaar geleden kwamen ze met dit concept. Wanneer u objecten of mensen in 3D wilt scannen, moet u vaak naar een geluidsbeeld gaan dat daarvoor is gebouwd. En deze jongens hebben dat geluidsbeeld daadwerkelijk in een mobiele vrachtwagen gebouwd. Ze noemen het "The Scan Truck" omdat ze het eigenlijk overal mee naartoe kunnen nemen. Ze bevinden zich hier in Zuid-Californië, maar ze kunnen er overal mee naartoe rijden, of je nu een film opneemt of aan een videogame werkt.
Acteurs komen naar de truck, ze krijgen een volledige 3D-scan, zodat alles fotorealistisch is. Ze krijgen een exacte 3D-replica van degene die ze scannen. Vervolgens nemen ze dat 3D-model en gebruiken het voor VFX in films of videogames. In ons geval hielpen we hen het uit te testen en we waren de allereerste die daar naar binnen gingen en wat fotogrammetrisch werk deden. Ze gaven ons een 3D-scan van Mike en mij, en dat zijn veel dingen die je daar ziet.
PB: Hoeveel opruiming van het 3D-model was nodig na de scan?
JW: Elk van die camera's neemt een andere hoek van Mike en overlapt een beetje, zodat je een beeld met een zo hoog mogelijke resolutie krijgt. Ik herinner me de specificaties niet meteen, maar het model kwam extreem zwaar terug. Je moet dus enkele polygonen decimeren en gladstrijken, zodat het werkbaar is. Ik deed dat met Cinema 4D. En eigenlijk gebruik ik alleen het hoofdmodel van zijn scan, omdat ik zijn lichaam eigenlijk heb opgebouwd als een cybernetisch personage.
Zijn armen zijn volledig mechanisch en er hangen draden uit. Ik haalde wat inspiratie uit de bio-hackende mensen. Ze zullen eigenlijk microchips nemen en ze in hun huid stoppen - ze proberen zichzelf in cyborgs te veranderen en hun lichaam verschillende mechanische dingen te laten besturen, en dat soort dingen. Dus ik dacht dat dat cool was voor wat inspiratie, het enige deel dat echt menselijk is, is zijn topje, vanaf de nek omhoog. Dus dat is het fotogrammetrische deel dat we gebruiken en de rest van zijn lichaam is volledig in 3D gemodelleerd.
PB: En dan, voor de animatie, neem ik aan dat dat is waar het motion capture-pak in het spel komt?
JW: Ja, voor de motion capture gebruik ik eigenlijk het Rokoko-pak, een betaalbare motion capture-oplossing voor onafhankelijke artiesten. Ik weet zeker dat je de mensen achter de schermen hebt gezien met de spandexpakken, en ze hebben al die ballen over zich heen, en ze rennen rond in een soundstage. Nu, in 2021, kunnen we die mogelijkheden hebben die we gewoon in ons huis kunnen doen.
Het Rokoko-pak kan echt werken via wifi of Bluetooth en heeft alle sensoren in een trainingspak. Dus ik kon mijn pak naar de studio van Mike brengen en hij trok het aan en hij deed een volledig optreden. Op die manier was ik in staat om al zijn essentie, al zijn handbewegingen en zijn lichaamsbewegingen vast te leggen. En exporteer dan alles naar een FBX-bestand, dat ik zou kunnen overzetten en aan een model toevoegen.
(Als je meer wilt weten over het Rokoko motion capture-pak dat Jonathan gebruikte, bekijk dan Todds post over Hoe je aan de slag kunt met Motion Capture.)
PB: Nadat je de bewegingen van het pak hebt gekregen, hoe moeilijk is het dan om die op het 3D-model te riggen?
JW: Ik doe veel tutorials over verschillende technieken die ik heb bedacht, zoals het gebruik van motion capture met Adobe Mixamo en Cinema 4D Character Definition. Dus ik ben al een beetje gewend aan wat ik ging doen. En voor dit specifieke project heb ik Mike's motion capture-gegevens genomen, een beetje opgeschoond in Rokoko Studio en vervolgens gewoon geëxporteerd vanuit FBX, die ik Mixamo gebruik om het 3D-model op te bouwen.
Als je een model en een T-pose hebt, kun je deze daadwerkelijk uploaden naar Adobe Mixamo. En dan zal ik een auto-rig doen waarin het automatisch een skelet op het model plaatst. Dan kun je dat in Cinema 4D brengen en gewoon de verbindingen en alles uitlijnen. Ik heb daar inderdaad een tutorial over. Het proces duurt ongeveer tien tot vijftien minuten en het is helemaal niet zo moeilijk.
PB: Wat was de inspiratie en het proces van het bouwen van de futuristische DJ-set in Cinema 4D?
JW: Voor dit specifieke project wilde ik dat de omgeving naast Mike ook een verhaal te vertellen had. Dus ik heb wat gegraven en ik vond die Blade Runner leuk soort omgeving - futuristisch, maar toch vertrouwd. Dus het soort plaats waar ik hem in plaatste, was misschien ooit een museum, maar het is al honderd jaar niet meer bewoond. Dus het is een beetje vervallen. Misschien zijn er mensen binnengekomen en hebben ze het geplunderd, en nu is het een schuilplaats voor bio-hackers om naar binnen te gaan en hun experimenten uit te voeren.
Het heeft een beetje bekendheid, maar omdat het zo ver in de toekomst ligt en versleten is, is het een beetje vergeten. Ik dacht dat dat een coole omgeving zou zijn om deze bio-ontwikkelde Mike in te plaatsen. Een gebied waarvan niemand precies weet waar het zich bevindt. Dus ik heb acht verschillende camerahoeken weergegeven. Sommige hoeken lijken op bewakingscamera's, alsof hij bijna wordt bespioneerd in zijn geheime hol. Ik ben helemaal voor toekomstige technologie, en Mike ook. Daarom dacht ik:"We moeten iets heel cools doen, maar niet volledig cyberpunk", want dat is een beetje uitgespeeld.
(Wilt u meer weten over Cinema 4D? Bekijk PremiumBeats tips voor het leren van Cinema 4D.)
PB: Kun je meer uitleggen over wat Unreal Engine is en hoe het werkt met Cinema 4D?
JW: Voor dit specifieke project heb ik de mentaliteit doorgenomen van hoe een gameprogrammeur of game-ontwikkelaar dit zou aanpakken. Vaak wordt wat ze doen 'grijs boksen' genoemd. Ze bouwen hun niveau uit in Maya, of in mijn geval Cinema 4D. En het is allemaal gewoon geometrie - geen textuur of iets dergelijks. Je krijgt gewoon een soort lay-out voor hoe je wilt dat je structuren zijn. Ik heb deze structuur in Cinema 4D gebouwd en van daaruit exporteer ik het naar Unreal Engine, omdat ik daar veel tools heb, zoals de Megascans-bibliotheek, die veel verschillende texturen en fotogrammetriegeometrie bevat. En dan heeft de Unreal Engine Marketplace ook veel coole dingen.
Wat ik zou willen doen, is ruwe geometrie in Unreal Engine brengen, en van daaruit kan ik echt fijne detailtexturen maken. Ik doe vertex blend-schilderij waar ik daadwerkelijk op de geometrie kan schilderen. Dus als ik een bakstenen muur heb en ik zou wat afbrokkelende muren willen schilderen, dan kan ik die er gewoon in schilderen. Ik kan ook activa van Megascans daarheen slepen en neerzetten. Ik doe dit allemaal in Unreal Engine omdat het een game-engine is en ze zijn gebouwd om in realtime te draaien, dus er is geen tijd nodig om iets te renderen. Wat je ziet is wat je krijgt. Dat is de belangrijkste reden waarom ik Unreal Engine gebruik, vanwege de snelheid en de flexibiliteit ervan.
PB: Hoe ziet het proces eruit als je een NFT-achtigMob-recept start? op SuperRare?
JW: Je moet dus een .MPEG-bestand maken en dat wordt een videoformaat dat je gaat uploaden. Dan moet je dat op de blockchain zetten en dat is waar SuperRare om de hoek komt kijken. Mijn specifieke portemonnee wordt een MetaMask-portemonnee genoemd, en dat is wat al mijn Ethereum en dergelijke dingen afhandelt. Dus ik gebruik een MetaMask-portemonnee om dit stuk te nemen en het op de blockchain te tokeniseren. Van daaruit wordt het vermeld op SuperRare, en dat stelt iedereen die Ethereum heeft in staat om een bod uit te brengen op SuperRare. Als je dan een bod hebt waar je blij mee bent, accepteer je het, en dan gaat Ethereum terug naar je MetaMask-portemonnee, en dat is jouw transactie.
PB: Je hebt een remixversie genoemd, hoe werkt een remix met een project als dit?
JW: Ja, dus de uitvoering is precies hetzelfde, maar ik heb alles volledig opnieuw weergegeven. En we noemen het "de rode pil en de blauwe pil", omdat op de originele de GUI en UI en alles deze rode ondertoon hadden, en de omgeving is nogal warm. Dus voor de remix heb ik alles opnieuw weergegeven met een blauwe GUI en de lichten zullen een beetje koeler zijn - het geeft je een heel andere sfeer. Toen ging Mike terug en remixte de hele audio. Dus de audio-scratching en alles is hetzelfde, maar hij voegde 808 drums toe en de baslijn is compleet anders, en de intro is anders. Het wordt dus bijna een heel ander nummer.
Jonathan stuurde ook een paar vragen van PremiumBeat naar DJ Mix Master Mike om te horen over zijn ervaring met het maken van Mob Recept .
PremiumBeat: Had je ooit gedacht dat je zou optreden in een motion capture-pak en hoe was dat?
Mix Master Mike: Wat kan ik zeggen? Ik bedoel, het is als een match made in heaven voor dit platform. Van de VR-wereld tot deze wereld, we hebben altijd al deze eindeloze mogelijkheden gehad om creatief te zijn binnen dit platform. Met motion capture kan alles - de hemel is de limiet. Ik kan mijn krassen laten zien. Ik zou de wereld kunnen laten zien wat ik ben en hoe het is om een actieartiest te zijn. Dat is wat ik ben, een actieartiest. Zoals ik al zei, dit is een match made in heaven.
PB: Wat is de inspiratie voor het combineren van muziek met nieuwe technologie, zoals Virtual Reality en NFT's?
MMM: Met dit platform, de NFT-wereld, de Virtual Reality-wereld, is het als het ultieme platform om echt te voelen waar de muziek over gaat. De rauwe emotie, de uitvoering van het nummer. En dat is wat er ontbreekt als je naar leuke dingen op Spotify luistert, of gewoon naar muziek in het algemeen. Je gebruikt je fantasie. Met dit ding hoef je je fantasie niet te gebruiken. Je kunt het zien en je kunt het horen. Je kon het voelen. Je wordt helemaal ondergedompeld in het nummer. Dat is het mooie van deze platforms.
PB: Hoe was het om met Jonathan aan zoveel projecten samen te werken?
MMM: Het mooie tussen mij en Jonathans relatie is dat we van dezelfde dingen houden. We komen uit een hardcore hiphop-achtergrond. Van de jaren 80 tot de jaren 90 tot nu. We hebben al die kennis en al die wijsheid. Dus nu gebruiken we al die kennis en wijsheid en die ervaring en brengen het naar de nieuwe wereld en sturen de millennials er een soort van op. Samen zorgen we ervoor dat de millennials alles doen wat we leuk vinden. We recreëren wat er in ons hoofd zit. Al deze dingen worden in ons hoofd gemaakt. We praten er de hele tijd over. Alleen krijgt de wereld het nu eindelijk te zien en te ervaren. Veel liefde voor Winbush.
Als je meer wilt weten over de projecten van Jonathan en Mix Master Mike, ga dan naar WINBUSH op YouTube en mixmastermike.com. Bekijk ook de 360 VR Tour van de set van Mob Recept .
Geïnteresseerd in de royaltyvrije tracks die we hebben gebruikt om deze video te maken? Luister ze nog een keer:
- “Hustlin'” door Harrison Amer
- "Late Night Latte" door Harrison Amer
- “Retro Chillhop” door Mattijs Muller
- 'Constellation' van Chill Chord
- 'Smooth Moves' van Reaktor Productions
- 'Een zonovergoten zondag' door Vincent Tone