Cinq questions sur « projet de hololens » de microsoft

Mercredi matin, Microsoft a dévoilé un projet qu`ils ont travaillé pendant sept ans, un casque de réalité augmentée appelé HoloLens du projet

La vision est ambitieuse: ils veulent changer fondamentalement la façon dont les gens interagissent avec les ordinateurs, en construisant une paire de lunettes qui peuvent se mélanger de façon fluide contenu virtuel et réel ensemble dans l`espace physique de l`utilisateur. C`est comme la technologie de la réalité virtuelle, mais fondamentalement plus puissant. De plus, ils veulent faire tout le traitement localement sur les verres - pas d`ordinateur, pas de téléphone, pas de câbles. Ils ont même lancé une version spéciale de Windows juste pour le nouveau matériel. Ceci est la prochaine étape dans l`évolution technologique pour tous ceux jeux AR vous avez installé sur votre téléphone qu`une fois et ne l`avez pas touché depuis.Pourquoi la technologie de réalité virtuelle Blow Your Mind en 5 ansPourquoi la technologie de réalité virtuelle Blow Your Mind en 5 ansL`avenir de la réalité virtuelle comprend la tête, l`œil et le suivi de l`expression, le toucher simulé, et bien plus encore. Ces technologies étonnantes seront à votre disposition dans 5 ans ou moins.Lire la suite

Leur calendrier est encore plus ambitieux que leurs objectifs: ils veulent expédier des kits de développement ce printemps, et le produit de consommation « au cours de la période de Windows 10 ». Voici le terrain.

Tout cela sonne bien, mais j`avoue à un certain degré de scepticisme assez élevé.

Les technologies Microsoft utilise ont de sérieux, les défis fondamentaux, et jusqu`à présent, Microsoft a été très peu loquace sur la façon dont (ou si) ils ont les résoudre. S`ils ne les ont pas résolu, leur objectif de la navigation dans un an est très préoccupant. La dernière chose que le besoin VR et AR est une grande compagnie maritime un autre produit bancales comme le Kinect. Rappelez-vous le projet de démonstration Natal à partir de 2009?

Video: L'HoloLens de Microsoft, Le FUTUR - Matinale #170.1

Sans plus tarder, voici les cinq que je voudrais connaître les choses les plus importantes sur les HoloLens.

Video: OnMSFT Podcast | Talk Microsoft Episode 13: Surface Pro 5, UWP App Parity, HoloLens Hack, Xbox E3

Est-ce un affichage du champ de lumière?

Pour comprendre celui-ci, nous devons regarder un peu plus en 3D, et comment il fonctionne. Afin d`obtenir la sensation d`un monde réel, 3D tangible, notre cerveau intègrent beaucoup de différents types d`informations. Nous obtenons des indices de profondeur sur le monde de trois façons principales:

• profondeur stéréo - la disparité entre ce que voient nos deux yeux. Truque cela comment fonctionnent les films en 3D
• mouvement parallaxe - mouvements subtils de notre tête et le torse nous donnent des indications de profondeur supplémentaires pour des objets qui sont plus loin
• foyer optique - lorsque nous nous concentrons sur quelque chose, les lentilles de nos yeux se déforment physiquement jusqu`à ce qu`il entre en objets FOCUS- champ proche ont besoin de plus distorsion de l`objectif, qui fournit des informations détaillées sur ce que nous cherchons à

foyer optique est facile de vérifier par vous-même: fermer un oeil et maintenez votre pouce vers le haut en face d`un mur à travers la pièce. Ensuite, changer votre focus de l`ongle du pouce à la surface derrière elle. Lorsque vous passé votre pouce, le pouce se déplacera de mise au point parce que la lentille de l`œil est moins déformée et ne peut pas correctement capter la lumière venant de lui.

Video: Les réponses aux questions que l'on se pose sur HoloLens, "l'ordinateur du futur" de Microsoft

VR casques comme le Oculus Rift offrent les deux premiers indices extrêmement précise, mais pas la dernière, qui fonctionne étonnamment bien: nos yeux défaut de se détendre complètement, car l`optique se concentrent les images que par la lumière provenait d`infiniment loin. L`absence de la queue de mise au point optique est irréaliste, mais il est généralement pas source de distraction. Vous pouvez toujours avoir expériences de jeu très cool sans ça.5 Oculus Rift Gaming expériences qui vous séduiront5 Oculus Rift Gaming expériences qui vous séduirontMaintenant que la deuxième génération de kit de développement Oculus Rift est hors et dans les mains des développeurs du monde entier, regardons quelques-uns des meilleurs trucs qui a frappé jusqu`à la Rift.Lire la suite

En réalité augmentée, le problème est différent, parce que vous devez mélanger la lumière à partir d`objets réels et virtuels. La lumière du monde réel va naturellement se concentrer sur une variété de profondeurs. Le contenu virtuel, cependant, sera tout se concentrer à une distance fixe, artificielle dictée par l`optique - probablement à l`infini. Les objets virtuels ne ressemblera pas qu`ils sont vraiment partie de la scène. Ils seront de mise au point lorsque vous regardez des choses réelles à la même profondeur et vice versa. Il ne sera pas possible de déplacer vos yeux de façon fluide sur la scène tout en gardant la mise au point, comme vous le faites normalement. Les indices de profondeur contradictoires seront confus au mieux, et écoeurant au pire.

Pour résoudre ce problème, vous avez besoin quelque chose appelé un écran de champ lumineux. champ lumineux affiche sont les écrans qui utilisent un tableau de minuscules lentilles pour afficher la lumière focalisée à plusieurs profondeurs simultanément. Ceci permet à l`utilisateur de se concentrer naturellement sur l`écran, et (pour la réalité augmentée) résout le problème décrit ci-dessus.

Il y a, cependant, un problème: champ lumineux affiche plan essentiellement un seul écran 2D sur un champ de lumière en trois dimensions, ce qui signifie que chaque « pixel en profondeur » que l`utilisateur perçoit (et existe à une profondeur focale particulière dans la scène) est en fait composé de la lumière à partir de pixels sur l`écran d`origine. La granulométrie fine la profondeur que vous voulez représenter, plus la résolution que vous devez abandonner.

En général, les champs de lumière ont environ une huit fois diminution de la résolution afin de donner une précision de profondeur suffisante. Les meilleurs disponibles ont microdisplays une résolution d`environ 1080p. En supposant un microécran haut de gamme conduite chaque œil, qui rendrait la résolution réelle du casque de Microsoft seulement environ 500 x 500 pixels par œil, moins encore que le Oculus Rift DK1. Si l`affichage a un haut champ de vue, des objets virtuels seront blobs incompréhensibles de pixels. Si elle ne le fait pas, l`immersion souffrira proportionnellement. On n`a jamais fait de voir à travers la lentille (juste re-créations informatiques de ce que l`utilisateur voit), nous avons donc aucune idée de ce que l`expérience utilisateur est vraiment.

Il est possible que Microsoft a mis au point une nouvelle solution à ce problème, afin de permettre l`utilisation d`un écran de champ lumineux sans compromis entre résolution. Cependant, Microsoft a été extrêmement méfiant au sujet de leur technologie d`affichage, ce qui me fait croire qu`ils ont pas. Voici la meilleure explication que nous avons à ce jour (de la WIRED demo).

Pour créer des images de HoloLens Project, des particules de lumière rebondissent autour des millions de fois dans le soi-disant moteur lumière du dispositif. Ensuite, les photons entrent dans deux lentilles, où ils ricochent entre les couches de verre bleu, vert et rouge avant d`atteindre l`arrière de l`œil des lunettes.

Ce genre de description de la technologie pourrait signifier pratiquement tout (bien que, en toute justice pour Microsoft, le matériel n`impressionnent WIRED, bien que l`article était la lumière sur les détails).

Nous ne saurons pas plus sûr que Microsoft commence à libérer les spécifications techniques, probablement mois à partir de maintenant. Sur une autre note de cueillette nit, est-il vraiment nécessaire de noyer le projet dans ce marketing bien parler? Le processeur dédié qu`ils utilisent pour le suivi de la tête est appelé un « processeur holographique » et les images sont appelées « hologrammes », sans raison particulière. Le produit est fondamentalement assez cool qu`il est vraiment pas nécessaire de dore comme ça.

Le suivi assez bon?

Le casque projet HoloLens dispose d`une caméra de grande profondeur FOV monté sur elle (comme le Kinect), qu`il utilise pour savoir où le casque est dans l`espace (en essayant d`aligner l`image de profondeur, il est de voir avec son modèle du monde, composited à partir d`images de profondeur passées). Voici leur démonstration en direct du casque en action.

Le suivi est impressionnant compte tenu qu`il utilise aucun marqueur ou d`autres tricheurs, mais même dans cette vidéo (dans des conditions très contrôlées), vous pouvez voir une certaine quantité de vacillement: le suivi est pas tout à fait stable. C`est à prévoir: ce genre de suivi inside-out est extrêmement difficile.

Cependant, la grande leçon de la divers prototypes Rift Oculus est que la précision des questions de suivi beaucoup. le suivi Jittery est simplement ennuyeux quand il est quelques objets dans un monde réel en grande partie stable, mais dans des scènes comme la démo Mars ils ont fait preuve dans leur vidéo de concept, où presque tout ce que vous voyez est suivi virtuel, imprécise pourrait conduire à un manque de « présence » dans la scène virtuelle, ou même maladie simulateur. Microsoft peut obtenir le suivi à la norme établie par Oculus (précision de suivi submillimétrique et moins de 20 ms de latence totale) par leur date d`expédition à la fin de cette année?Regardez-nous Try The Bay Crescent Rift Oculus Au CES 2015Regardez-nous Try The Bay Crescent Rift Oculus Au CES 2015La Baie du Croissant-Rift Oculus est un tout nouveau prototype qui montre quelques améliorations intéressantes dans la technologie de la réalité virtuelle. Nous Essayes au CES 2015.Lire la suite

Voici Michael Abrash, chercheur VR qui a travaillé pour Valve et Oculus, parler du problème

[Parce qu`il ya toujours un retard dans la production des images virtuelles, [...] il est très difficile d`obtenir des images réelles et virtuelles pour enregistrer assez près afin que l`œil ne remarque pas. Par exemple, supposons que vous avez un vrai bidon Coke que vous voulez transformer en un AR Pepsi peut en dessinant un logo Pepsi sur le logo Coca-Cola. Si cela prend des dizaines de millisecondes pour redessiner le logo Pepsi, chaque fois que vous faites pivoter votre tête l`effet sera que le logo Pepsi semble passer quelques degrés par rapport à la boîte, et une partie du logo Coca-Cola deviendra alors le visible- logo Pepsi se cassera vers le bon endroit où vous vous arrêtez. Ceci est clairement pas assez bon pour disque AR

l`affichage peut dessiner Black?

Une autre question aux côtés de profondeur focale et le suivi doit faire avec le dessin des couleurs sombres. Ajout de plus de lumière à une scène est relativement simple, en utilisant des séparateurs de faisceau. Prendre la lumière sur est beaucoup plus difficile. Comment pouvez-vous assombrir sélectivement des parties du monde réel? Mettre en place un écran LCD transparent de manière sélective ne sera pas coupé, car il ne peut pas toujours être au point correcte pour bloquer ce que vous regardez. Les outils optiques pour résoudre ce problème, à moins que Microsoft les a inventé en secret, il suffit de ne pas exister.

Cela est important, parce que pour beaucoup des applications Microsoft est exhibant (comme regarder Netflix sur votre mur), le casque a vraiment besoin la possibilité de supprimer la lumière provenant du mur, ou bien votre film aura toujours un motif de stuc visible superposé avec elle: il sera impossible pour les images pour bloquer des objets réels sur la scène, ce qui rend l`utilisation du casque dépend fortement des conditions d`éclairage ambiant. Retour à Michael Abrash:

[S] o bien rien du genre a refait surface dans l`industrie AR ou de la littérature, et à moins que et jusqu`à ce qu`il le fait, AR dur, au sens SF que nous savons tous et l`amour, ne peut pas arriver, sauf dans presque l`obscurité.

Cela ne veut pas dire AR est hors de la table, juste que pendant un certain temps mais il sera AR doux, basé sur le mélange additif [...] Encore une fois, pensez translucide comme « Ghostbusters. » Images virtuelles de haute intensité sans zones sombres travaillent également, en particulier avec l`aide de l`assombrissement régionale ou mondiale - ils ne vont pas ressembler à une partie du monde réel.

Qu`en est-Occlusion?

« Occlusion » est le terme pour ce qui se passe quand un objet passe devant une autre et vous empêche de voir ce qui se cache derrière. Pour paysages virtuels de se sentir comme une partie tangible du monde, il est important pour les objets réels pour bouchent objets virtuels: si vous tenez votre main en face d`un morceau de l`imagerie virtuelle, vous ne devriez pas être en mesure de voir à travers ta main. En raison de l`utilisation d`une caméra de profondeur sur le casque, cela est réellement possible. Mais, regardez la démo en direct à nouveau:

En gros, ils contrôlent soigneusement les angles de caméra pour éviter des objets réels qui passent devant virtuels. Cependant, lorsque le démonstrateur interagit avec le menu Windows, vous pouvez voir que sa main n`occlure pas du tout. Si cela est hors de portée de leur technologie, c`est un très mauvais signe pour la viabilité de leur produit de consommation.

Et en parlant de cette interface utilisateur ...

Est-ce vraiment l`interface utilisateur final?

L`interface utilisateur par Microsoft crâné dans leurs vidéos de démonstration semble fonctionner en utilisant une combinaison de suivi du regard et de la main pour contrôler un curseur dans la scène virtuelle, en utilisant les commandes vocales pour choisir entre différentes options. Cela présente deux inconvénients majeurs: il vous fait ressembler le petit enfant dans Shining qui parle à son doigt, mais plus important encore, il représente aussi un paradigme de conception fondamentalement erronée.

Par le passé, les meilleures interfaces utilisateur ont été ceux qui apportent des intuitions physiques sur le monde dans le monde virtuel. La souris a un clic, glisser, et les fenêtres. Interface tactile a balayez pour faire défiler et pincer pour zoomer. Ces deux éléments ont été essentiels pour rendre les ordinateurs plus accessibles et utiles à la population générale - parce qu`ils étaient fondamentalement plus intuitif que ce qui a précédé.

VR et AR vous donner beaucoup plus de liberté en tant que designer: vous pouvez placer des éléments de l`interface utilisateur ne importe où sur un espace 3D, et ont les utilisateurs interagissent avec eux naturellement, comme si elles étaient des objets physiques. Un grand nombre de métaphores évidentes se Suggest. Touchez un élément d`interface virtuelle pour le sélectionner. Pincez pour elle le ramasser et de le déplacer. Faites-le glisser hors de la façon de stocker temporairement. Crush pour le supprimer. Vous pouvez imaginer la construction d`une interface utilisateur qui est si complètement intuitive qu`il ne nécessite pas d`explication. Quelque chose que votre grand-mère peut instantanément prendre, car il est construit sur une base de physique de base intuitions que tout le monde se accumule pendant toute une vie d`interagir avec le monde. Prenez une minute, et d`écouter cette personne intelligente décrivent les interfaces immersives pourraient être.

En d`autres termes, il semble évident (pour moi) qu`une interface utilisateur immersive doit être au moins aussi intuitif que les interfaces tactiles mis au point par l`iPhone pour les écrans 2D multitouch. Construire une interface autour de la manipulation d`un VR « souris » est un pas en arrière, et expose soit des lacunes technologiques profondes dans leur technologie de suivi à la main ou une incompréhension fondamentale de ce qui est intéressant au sujet de ce nouveau média. De toute façon, il est un très mauvais signe pour ce produit étant plus d`un colossal, flop, Kinect échelle.

Espérons que Microsoft a le temps pour obtenir des commentaires sur ce sujet et faire un meilleur travail. À titre d`exemple, voici une interface conçue par un amateur pour le Oculus Rift DK2 et le saut de mouvement. Une interface utilisateur immersive conçue par une grande entreprise doit être au moins ce bon.

Un signe de choses à venir

Dans l`ensemble, je suis extrêmement sceptique du projet HoloLens dans son ensemble. Je suis très heureux qu`une entreprise avec les ressources de Microsoft enquête sur cette question, mais je crains qu`ils essaient de se précipiter un produit sans résoudre certains problèmes techniques critiques sous-jacentes ou clouer un bon paradigme de l`interface utilisateur. Le HoloLens est un signe des choses à venir, mais cela ne signifie pas que le produit lui-même va fournir une bonne expérience pour les consommateurs.