Vr est sur le point de changer pour toujours le cinéma: voici comment

Hollywood parle de la réalité virtuelle. Lors de la conférence Connect Oculus le mois dernier, un panel d`Hollywood aluns a parlé de la technologie et ses applications dans le cinéma.

Pendant ce temps, les frappeurs lourds dans l`industrie commencent à peser. James Cameron déteste. David Attenborough fait un documentaire à ce sujet. Le récent (excellent) film de Interstellar avait une expérience VR promotion.

La réalité virtuelle est une nouvelle façon de communiquer avec votre lecteur, et beaucoup de gens avec un fond dans le cinéma traditionnel trouver les possibilités intéressantes. La réalité virtuelle, plutôt que de simplement fournir une fenêtre à un nouveau monde, permet aux administrateurs de prendre le contrôle du monde entier autour du spectateur.

Que pouvez-vous faire avec un appareil photo VR?

Il ne faut pas beaucoup d`imagination pour se passionner pour l`idée des caméras VR. Les cinéastes pourraient littéralement amener le public face à face avec leurs personnages, et les plonger dans spectaculaires, des mondes bizarres. Les photographes peuvent capturer des scènes entières, figés dans le temps, être lu attentivement par tous, partout dans le monde.

Les documentaristes pourraient prendre le public dans des lieux qu`ils auraient autrement jamais pu visiter. Ils pourraient envoyer une caméra VR au fond de l`océan et de laisser les téléspectateurs se tiennent au milieu de la salle de bal engloutie du Titanic. documentaires de la nature pourraient manipuler le temps et dans l`espace, en mettant les utilisateurs parmi les fourmis de la taille des chiens, ou la construction des séquences lapse temps d`immersion. La NASA pourrait monter une caméra VR sur un rover Mars et permettre à des millions de personnes de se tenir sur la planète rouge.

Il y a aussi, bien sûr, des applications plus banales:

La vidéo en direct VR pourrait aussi être très convaincant. Les jeux de sport pourraient être suivis à distance, caméras VR donneraient chacun des sièges côté cour. Même le tourisme pourrait être virtuel.

Video: LES PREMIÈRES TESTICULES EN RÉALITÉ VIRTUELLE ! - Tilt Brush #4

Les utilisateurs peuvent louer un robot simple de téléprésence (peut-être un Segway avec un appareil photo VR assis sur le guidon), et le pilote autour, partout dans le monde. Le Segway serait son flux vidéo en direct en arrière, ce qui permet aux touristes de se virtuellement « téléportation » à travers la planète pour explorer partout. Il semble raisonnable de dire que VR est va changer le monde.Pourquoi la technologie de réalité virtuelle Blow Your Mind en 5 ansPourquoi la technologie de réalité virtuelle Blow Your Mind en 5 ansL`avenir de la réalité virtuelle comprend la tête, l`œil et le suivi de l`expression, le toucher simulé, et bien plus encore. Ces technologies étonnantes seront à votre disposition dans 5 ans ou moins.Lire la suite

cinéma VR a de nombreux défis bien. Comment les administrateurs peuvent déplacer la caméra tout en gardant le spectateur à l`aise? Comment le film ne coupent les administrateurs sans désorienter le spectateur? Comment font-ils que le spectateur regarde dans la bonne direction pour attraper des événements importants de l`intrigue? Est-ce même des gros plans de sens?

Peut-être les plus grands problèmes, cependant, sont les pratiques: comment voulez-vous le contenu record pour la réalité virtuelle? Rendu contenu VR en direct pour les jeux est intense informatiquement, mais conceptuellement simple. Enregistrement vie réelle, en revanche, pose des défis sérieux.

Caméra panoramique

La solution la plus simple (et la seule largement utilisé l`un pour le moment) est simple capture vidéo panoramique. Dans ce schéma, une boule de caméras conventionnelles sont utilisées pour enregistrer des vidéos dans toutes les directions, et les résultats sont cousus avec un logiciel pour créer une sphère transparente de la vidéo. Ce sont un peu comme les panoramas vous take avec votre téléphone, mais en même temps enregistré en format vidéo. La sortie du processus ressemble à ceci:5 conseils pour prendre des photos panoramiques avec votre Smartphone5 conseils pour prendre des photos panoramiques avec votre SmartphoneLes images panoramiques de paysages magnifiques presque toujours l`air merveilleux, mais ils peuvent être extrêmement difficiles à créer. L`utilisation d`un smartphone, il existe différentes techniques et astuces que vous pouvez utiliser pour obtenir les meilleurs résultats.Lire la suite

Ceci est simple et pas cher. Vous pouvez pré-commander une caméra panoramique pour environ 700 $, mais il a ses limites. Le plus important est le manque de profondeur: les panoramas sont rendus sur une sphère infiniment grand, de sorte que le parallaxe entre vos yeux est égal à zéro, même pour les parties de l`image qui devrait vraiment avoir la profondeur, comme une personne debout à côté de vous.

En dépit de cette lacune, l`expérience fournie par la vidéo panoramique est encore étonnamment cool, surtout pour le contenu qui a lieu à une distance (aérienne la photographie est un bon exemple). Il y a environ une semaine, j`ai construit une application Oculus Rift qui rend un cockpit virtuel dans la vidéo ci-dessus, et les résultats sont convaincants: il se sent comme l`équitation dans un sous-marin entouré par des tortues de mer la taille des petits bâtiments.

Pensez à ce genre de contenu VR comme un théâtre comme super-IMAX personnel dans lequel vous vous situez suspendue au milieu d`un vaste écran sphérique. Le sens de l`endroit prévu par vidéo sphérique est déjà quelque chose qui est impossible avec des outils de cinéma traditionnels. Même avec ses limites, ce qui est probablement ce que la plupart des vidéos VR va ressembler dans l`avenir immédiat. Le documentaire de Richard Attenborough ( « La conquête du ciel « ) est tourné dans ce format.

Caméra panoramique stéréo

Disons un administrateur est mécontent de la limitation des panoramas monoscopique. Une extension évidente de la technologie est d`apporter côte à côté de la technologie 3D. Pour ce faire, le matériel a besoin de deux caméras parallèles face à chaque direction, décalée d`environ 6,3 cm. Ensuite, l`appareil utilise un logiciel pour assembler deux images panoramiques: l`une pour l`œil gauche et l`autre pour le droit. La différence entre eux crée l`illusion de la profondeur. Les produits qui prennent en charge cette expérience sont disponibles, mais ils sont chers (995 $, plus le coût de dix caméras GoPro).Old-Time Fun: Comment faire des images 3D Pour visionner avec lunettes AucunOld-Time Fun: Comment faire des images 3D Pour visionner avec lunettes AucunCroyez-le ou non, vous ne fait pas besoin de lunettes 3D pour l`expérience convaincante des images 3D réalistes (ou des films). Vous avez juste besoin de vous faire aller « crosseyed ». Essentiellement, vous regardez deux images, et par intentionnellement ...Lire la suite

Dans un effort pour faire ce genre de contenu plus grand public, Samsung a récemment annoncé « Au-delà du projet », une caméra panoramique stéréo VR pour le casque mobile vitesse Oculus-Samsung VR. Le prototype courant a le facteur de forme d`un petit galet, et utilise 17 caméras HD, et rend une gigapixels par seconde de données.

À 30 images par seconde, qui fonctionne à des cadres panoramiques qui sont environ 15 millions de pixels par oeil, soit environ 50 000 pixels par oeil par degré visuel. information sur les prix est encore un mystère, et Samsung souligne que ce n`est pas un projet fini. Vous pouvez voir leur vidéo aperçu ci-dessous.

Video: Les cinémas MK2 lancent une salle dédiée à la VR

panoramas stéréo sont clairement une meilleure expérience que leurs frères monoscopique - grandes choses semblent grandes, petites choses semblent petites, les objets ont la profondeur et la position, et il se sent beaucoup plus comme être là. Cela dit, l`expérience est encore loin d`être parfait. Comme John Carmack décrit dans son Oculus Connect keynote, panoramas stéréo ont beaucoup de problèmes.

« ... panoramas stéréoscopiques, fixes ou vidéos, sont tout à fait un hack. Il y a - nous savons ce qui est bon et ce n`est pas juste. Ce qu`ils enroulent vers le haut fait est que vous avez prises tranches de plusieurs caméras, donc tout droit, il est stéréo approprié pour un sage par et ici il est bon pour cela. Mais cela veut dire que si vous cherchez à ce qui était juste pour les yeux sur ici, mais vous regardez du coin de l`œil ici, il est certainement pas juste. Ce n`est pas la bonne disparité pour les yeux.

Et puis encore pire si vous tournez votre tête comme ça [roule la tête], il obtient toutes sortes de mauvais, parce qu`il est mis en place juste pour les yeux droit devant. Donc, ce fut une chose intéressante. Nous avons les choses que nous savons fondamentalement à certains égards, cela peut être empoisonnée, cela peut être une expérience vraiment mauvais si les gens que vous passez beaucoup de temps avachi sur. [...]

Ce sont des problèmes techniques qui pourraient, peut-être, être résolus par un meilleur matériel. Cependant, il y a un problème plus profond: ce qui se passe lorsque vous déplacez votre tête? Les panoramas pour les deux yeux sont encore rendus à l`infini: déplacer physiquement votre tête se traduira par la sensation nauséabonde que le monde se déplace avec vous, surtout s`il y a des objets près de vous. Il n`y a aucun moyen simple de comprendre ce qu`est une image stéréoscopique ressemblerait d`un nouveau point de vue.

En dépit de ces limites, des expériences panoramiques stéréo sont toujours convaincants. La plate-forme de vitesse VR se concentrera sur ce type d`expérience, car ils peuvent être créés avec du matériel moderne et affichées sans taxer les capacités de rendu du matériel. panoramas stéréo sera probablement l`étalon-or pour la production de contenu VR, au moins pour les prochaines années.

Caméras de profondeur

Une alternative à capturer deux images côte à côte (comme les films 3D traditionnels) est de capturer ce qu`on appelle les images de profondeur: une seule image capturée à partir d`un point de vue unique, qui contient un canal de couleur supplémentaire qui stocke la distance de l`objectif du pixel en question.

Si vous avez que, le logiciel peut simuler des caméras virtuelles visualisation de l`image de nouvelles perspectives, en vous assurant d`avoir toujours une nouvelle image correcte de chaque oeil. Il est possible de générer des images de profondeur panoramique qui permettent le mouvement de la tête naturelle et la rotation d`une manière qui est impossible avec des panoramas stéréo. Il y a quelques technologies que vous pouvez utiliser pour capturer ces images de profondeur.

Temps de vol

La version de cette technologie que vous êtes probablement plus familier est celui qui est utilisé dans le Kinect. Le V2 Kinect (la version fournie avec la Xbox One) repose sur ce qu`on appelle un temps de vol caméra.

La théorie ici est simple: les caméras de temps de vol sont des caméras infrarouges qui sont capables d`enregistrer non seulement où la lumière frappe le capteur, mais quand la lumière frappe le capteur, avec une précision de quelques microsecondes. Ceci est couplé avec une caméra vidéo couleur et d`une lumière stroboscopique infrarouge. Au début de chaque trame, les flashes stroboscopiques IR, éclairant la scène très brièvement. En chronométrant le temps qu`il faut à chaque pixel d`observer le flash, l`appareil photo peut déduire de la vitesse de la lumière la distance de chaque pixel est de l`appareil photo.

Cette technologie est extrêmement puissante. Les pirates informatiques ont fait des choses incroyables Avec ça. En utilisant plusieurs KINECTS dans une configuration de recouvrement, il peut être possible de créer un panorama d`une scène, avec une valeur de profondeur précise pour chaque pixel, ce qui pourrait être rendu dans la réalité virtuelle pour créer une expérience immersive avec la profondeur correcte.5 Microsoft Xbox Kinect hacks qui va Blow Your Mind5 Microsoft Xbox Kinect hacks qui va Blow Your MindLire la suite

Pour avoir une idée du genre de résultats cette approche produit, regardez cette vidéo montrant la sortie de seulement la caméra profondeur de la V2 Kinect.

Video: Tuto FR | Brancher votre Playstation VR avec votre Xbox One S !! CA marche !!!! [PLAYSTATION VR]

Ceci est une image en profondeur de haute qualité - beaucoup de détails, bords propres, et pas trop de bruit. Il y a, cependant, certaines limites: la plus grande mise en garde est que le Kinect dans cet exemple est d`enregistrer une scène d`intérieur avec des conditions d`éclairage soigneusement contrôlées.

Dans de véritables scénarios du monde (et surtout à l`extérieur) des interférences IR ambiante de la lumière directe et indirecte et des sources lumineuses incandescentes peut dégrader la précision. Il y a aussi un problème plus fondamental, qui est que le temps des caméras de vol dépendent de l`éclairage actif. Cela met des limites strictes sur jusqu`où ils peuvent voir. Ils ne font pas face bien avec des surfaces transparentes et réfléchissantes. Et, parce que la résolution en profondeur est limitée par la précision de la synchronisation, les caméras temps de vol ne sont pas très utiles pour l`enregistrement de petits objets, en faisant jouer avec l`échelle impossible.

Light Field

On connaît une autre technologie pour capturer des images de profondeur la photographie « du champ lumineux ».Lytro lumière caméra champ: Snap Happy ou photo Gimmick?Lytro lumière caméra champ: Snap Happy ou photo Gimmick?Décrite par un employé "le premier changement majeur la photographie depuis la photographie a été inventée", La caméra de champ lumineux Lytro est certainement un appareil révolutionnaire. La caméra secoue les choses en remplaçant une grande partie de la lourde ...Lire la suite

Voici comment cela fonctionne: dans la photographie classique, l`objectif de la caméra se concentre la lumière entrante sur un capteur. Chaque élément du capteur enregistre la quantité de lumière frappant. caméras de champ lumineux utilisent un capteur spécial, dans lequel chaque « pixel » est en fait une petite lentille avec de nombreux capteurs en dessous. Ceci permet à l`appareil photo de mesurer non seulement la quantité de lumière frappe chaque pixel, mais aussi l`angle de la lumière arrive à.

Ceci est utile pour quelques raisons. L`application la plus simple est que, en changeant la façon dont ce grand « champ de lumière » est échantillonné, les utilisateurs finaux peuvent recentrer une photographie après qu`il ait été prise. L`application qui est intéressant pour les VR, est que les caméras de champ lumineux sont également, soit dit en passant, des caméras de profondeur! L`angle de la lumière incidente provenant d`un objet est fonction de la distance à l`objet est de la lentille, par rapport à la taille de l`ouverture. Loin des objets produisent de la lumière qui est presque perpendiculaire à la lentille. Les objets très proches produisent de la lumière qui est presque parallèle. De là, il est possible de (très précisément) déterminer la carte de profondeur d`une image.

Vous pouvez voir des résultats à partir d`une caméra vidéo de champ lumineux début ci-dessous, et ce que l`image ressemble à reprojetées sous un angle différent.

Parce que c`est un processus passif, la limite de portée et la précision spatiale est définie par la résolution et la taille de l`ouverture, et rien d`autre. Cela signifie que l`utilisation de lentilles de grossissement, il est possible de prendre des images de profondeur de champ lumière de à peu près tout objet à toute échelle dans toutes les conditions. Pour obtenir un exemple de ce qui est possible avec des champs de lumière plus grandes, plus précises, regardez cette vidéo, qui utilise plusieurs images d`une caméra de champ lumineux de poche pour simuler un champ de lumière beaucoup plus grande. Il génère une géométrie 3D assez convaincante de celui-ci.

caméras de champ lumineux sont une technologie beaucoup moins mature que le temps des caméras de vol (il n`y a qu`une seule caméra champ lumineux sur le marché des consommateurs en ce moment, et il ne prend pas en charge la capture vidéo). Cela dit, avec plus de temps de développement, les caméras de terrain lumière devraient offrir une expérience vidéo en profondeur beaucoup plus robuste à long terme.

Faire face à désocclusion

Il y a un problème majeur avec des vidéos en profondeur qui convient de mentionner: le mouvement de la tête. Oui, il est possible de reprojeter vidéos en profondeur à de nouvelles perspectives, et tous les pixels vent là où ils devraient être. vidéo de profondeur ne sera pas vous rendre malade. Malheureusement, ils introduisent un nouveau problème: désocclusion.

Lorsque vous déplacez votre tête dans une telle manière que vous cherchez dans une partie du monde non visible dans l`image originale ou panorama, vous obtenez un artefact visuel méchant: une ombre. Pour avoir une idée de ce que je parle, regardez cette vidéo:

Video: Nouveau Gear VR : une manette de Motion Control intégrée

Dans cette vidéo, un programmeur piraté le Kinect pour rendre une vidéo de profondeur de ce qu`il est de voir dans l`espace. En déplaçant la caméra virtuelle, il reprojette la scène d`un certain nombre de points de vue.

Sa première génération Kinect, de sorte que le flux vidéo est un peu glitch, mais les résultats sont assez impressionnants. Le plus gros inconvénient, ce qui devient évident quand il commence à tourner la caméra, est l`ombre de la scène. La partie du mur derrière son corps a un trou énorme, en forme de personne découpez de celui-ci: la partie que l`appareil ne peut pas voir et n`a pas de données pour. Ces ombres noires vont apparaître dans des panoramas de profondeur, dès que votre tête commence à se déplacer. Alors, comment les caméras VR traitent ces trous? Eh bien, il y a quelques approches de ce problème:

plus de caméras

La solution la plus simple est de simplement enregistrer réellement les choses dans les coins et derrière les surfaces occlusales. Pour ce faire, vous ajoutez plus de caméras - beaucoup plus. Afin de permettre aux gens de se déplacer la tête jusqu`à, disons, un mètre dans toutes les directions, la caméra doit être élargi pour créer une sphère à l`échelle de 2 mètres clouté avec des caméras haute profondeur FOV, de sorte que le logiciel est capable de synthétiser tout point de vue à l`intérieur la sphère.

Telle est l`approche la plus robuste, mais aussi la moins pratique. Une sphère de deux mètres de caméras n`est pas un joli Steadicam portable, il est une installation et une coûteuse. Cela peut être pratique pour certaines productions hollywoodiennes haut de gamme, mais certainement pas pour la plupart des applications du monde réel. Vous pouvez voir un prototype de cette idée ci-dessous, mis en œuvre sous la forme d`un live application 3D téléconférence:

scène de reconstruction

Une autre approche, si le créateur vidéo enregistre principalement quelques objets dynamiques dans un contexte statique, est d`utiliser une caméra de profondeur pour cartographier l`environnement avant de commencer le tournage, et utiliser ces données pour remplir les trous dans les images enregistrées. Cela peut être fait automatiquement en utilisant une technique appelée SLAM (simultanée Lieu And Mapping), qui fusionne automatiquement plusieurs images de profondeur pour créer une carte complète 3D d`une scène. Les résultats ressemblent à ceci:

Cela fonctionne assez bien, mais ne convient pas à toutes les situations. Ce n`est pas difficile d`imaginer essayer de filmer une scène dans une atmosphère animée place publique, où une grande partie de l`arrière-plan se compose de personnes qui se déplacent et obstruent les uns des autres. Capture d`une seule version statique de cette scène pour remplir les trous est tout simplement impossible. De plus, pour le documentaire, la vidéo en direct, ou à des fins d`information, il ne sera pas pratique de cartographier de manière exhaustive l`environnement au préalable.

Juste Making Things Up

La dernière approche du problème est de recourir à la réponse habituelle dans les cas où vous n`avez pas assez de données: mensonge pur et simple.

L`idée est que, dans la vraie vie, le spectateur ne va pas être de se lever et essayer de marcher autour de la scène. Ils seront assis en bas, et ce que le logiciel a vraiment besoin de corriger est de petites variations dans la pose, causées par le spectateur et le déplacement accoudé dans leur siège - les disocclusions simplement ne sera pas aussi grand. Cela signifie que les données utilisées pour remplir les trous ne sont pas réellement être précis, il suffit de voir plausible. Ceux d`entre vous qui ont joué avec l`image sensible au contenu de remplissage de Photoshop (ou son concurrents) Savent où cela va.Snapheal pour Mac: L`image Superhero Guérisseur [Giveaway]Snapheal pour Mac: L`image Superhero Guérisseur [Giveaway]Snapheal pour Mac (14,99 $) est ici pour enregistrer vos photos, et il fait un excellent travail de celui-ci. Cette semaine, nous distribueront des 25 exemplaires de Snapheal pour Mac une valeur de 375 $ au total. Si...Lire la suite

Comme il se trouve, les chercheurs ont mis au point des algorithmes assez bons pour remplir les trous dans les flux vidéo en direct en temps réel. Vous pouvez consulter quelques exemples ci-dessous:

Imaginez décomposer une image en profondeur dans les couches, les soustrayant un à temps pour voir où les ombres pourraient éventuellement se produire, et l`utilisation de ces sortes d`algorithmes en peinture pour générer des images plausibles pour remplir les trous.

Ceci est un peu plus difficile que la simple 2D en peinture, puisque l`algorithme doit également compenser les valeurs de profondeur raisonnables pour les trous, mais un grand nombre des mêmes techniques peuvent être utilisées. Ces approches ne fonctionnent pas parfaitement dans toutes les situations, mais tant que ces artefacts sont moins intrusives que les grands trous noirs dans le monde, qui compte toujours comme une victoire.

Dans combien de temps ils sont faits?

Avec les caméras VR, plus encore que d`autres choses, mieux est l`ennemi du bien.

Même avec le meilleur de l`argent de la technologie peut acheter et images soigneusement conçu pour minimiser les erreurs d`occlusion, les résultats seraient encore imparfaits. Faits saillants spéculaires, par exemple, des taches de luminosité qui apparaissent sur les surfaces brillantes, qui varient en position selon la position de la tête, étant donné qu`ils reposent sur l`être la lumière réfléchie à un angle très spécifique.

Spéculaires enregistrés, même la meilleure vidéo VR apparaîtront comme au four sur des taches blanches sur la surface, et ne seront pas regarder à droite sur les objets à proximité pendant le mouvement de la tête. C`est une limite qui va être difficile de se déplacer. En outre, le remplissage des erreurs d`occlusion dans des scènes compliquées avec beaucoup d`objets en mouvement est difficile - le faire est tout à fait impossible et sera pendant longtemps.

Ça va être des années et peut-être même des décennies avant que les caméras VR peuvent fournir une expérience parfaite de la même manière que film peut 2D traditionnelle. C`est le sacrifice que vous faites pour faire l`expérience d`un milieu fondamentalement plus puissant.

Avec tout ce que dit, des trucs vraiment cool vient dans le tuyau proche avenir. Chaque seule option mentionnée dans cet article peut créer des expériences véritablement utiles. L`annonce de Samsung de « projet Beyond » est un signe prometteur des choses à venir.

La Rift Oculus devrait lancer quelque temps en 2015, et les chiffres des ventes des millions d`unités ne semblent pas comme un étirement. Si la réalité virtuelle enlève la façon dont il semble que cela pourrait, une énorme quantité de progrès technologique va se passer, rapide.

La demande de contenu pilotera les appareils photo VR pour obtenir un meilleur et plus petit et moins coûteux de répondre à la demande. Il ne sera probablement pas de nombreuses années avant un dispositif qui coûte moins d`un nouveau téléphone et tient dans la paume de votre main va fournir une convaincante, l`enregistrement VR confortable de quoi que ce soit - et qui va être très, très cool.

Que feriez-vous avec votre propre appareil photo VR? Quel type de contenu que vous êtes le plus heureux pour? Faites le nous savoir dans les commentaires!