FORWARD
Now Reading:

Avec ARKit, un artiste visualise le son en 3D et en réalité augmentée

ARKit, la nouvelle plateforme de réalité augmentée d’Apple, promet de très belles choses et est déjà vue comme étant un ton au-dessus de ce que proposent les autres marques. Zach Lieberman, un artiste faisant partie de l’école School for Poetic Computation, l’a récemment prouvé en développant une application permettant de visualiser le son en 3D, grâce à la réalité augmentée.

A travers son Iphone, Zach Lieberman enregistre et visualise en réalité augmentée les sons et paroles qu’il produit, grâce à des fréquences circulaires en 3D à travers l’espace. Et lorsqu’il recule son iPhone à travers le nuage de fréquences, le son se joue même à l’envers.

Développée grâce à ARKit, la plateforme de réalité augmentée proposée par Apple dans le dernier iOS11, l’application peut « simplement » se résumer à un enregistrement audio, mais dans l’espace. Tout comme Tango, développé par Google, AR Kit utilise SLAM ou Simultaneous Localization And Mapping. Ce système, de plus en plus en vogue grâce à la réalité augmentée, utilise les capteurs 3D de l’iPhone et la caméra pour reconnaître son environnement en créant sa cartographie pour ensuite pouvoir permettre à l’objet de s’y situer.

Après avoir réalisé ce processus, Lieberman utilise le micro de l’iPhone pour capturer le son qu’il produit et le visualiser dans l’espace exactement à l’endroit ou le smartphone se situait. D’où la nécessité de bouger l’iPhone pour pouvoir visualiser une « traîne » de son 3D. Et même si cette démonstration ressemble surtout à un brouillon d’application, le but n’est pas de proposer une application concrète mais bien de montrer le potentiel offert par la réalité augmentée. Il faut donc voir cela comme une expérience plus qu’autre chose, mais une expérience qui promet de belles choses, que ce soit pour des concerts ou encore des installations artistiques participatives.

ARKit, enfin une innovation pour Apple

Souvent décrié pour ses manques d’innovations lors de ses dernières Keynote, Apple a frappé fort à l’annonce de la sortie de ses nouveaux iPhone grâce à iOS11, et plus particulièrement grâce à leur technologie de réalité virtuelle, AR Kit. Car si on voit de plus en plus de démonstrations de réalité augmentée, celle réalisée via la technologie d’Apple a un rendu bien plus réaliste et surtout plus fiable.

Concrètement, le système identifie tous les points nécessaires sur lesquels se baser dans l’espace, c’est-à-dire les surfaces horizontales (sols, tables…), les contours, les angles mais aussi la texture et la luminosité ambiante. ARKit utilise donc ni plus ni moins l’espace comme un marqueur fiduciaire géant. Mais à la différence de la plupart des systèmes existants, la stabilité de l’objet visualisé est excellente. Autrement dit, l’objet ne va pas bouger ou trembler au déplacement de l’iPhone.

 

Le rendu et la voiture sont plutôt sympathiques

 

Et si Google avait déjà développé une technologie de réalité augmentée très aboutie avec Tango, il s’était retrouvé bloqué avec d’un côté peu de téléphones équipés dû au manque d’applications, et d’un autre côté des développeurs qui attendaient d’avoir plus de téléphones équipés pour sortir des applications. Problématique donc. Apple à donc pris une avance non négligeable puisque iOS11, qui comprend automatiquement cette technologie, est compatible avec un grand nombre d’iPhones, dont les 6, 6S, SE etc…

On attend maintenant donc de voir ce que nous réserve ARKit artistiquement parlant !

Sources : Wired / watch generation / Made With ARKit

Written by

    Leave a Reply

    Your email address will not be published. Required fields are marked *