Introducción

Para que todos nos entendamos

Vamos a hablar bastante, vamos a oir muchas palabras que no solemos usar normalmente y vamos a nombrar términos que es fácil que no relacionamos. Muchas veces porque son nuevos y otras porque se usan para muchas cosas distintas.

Es por esto por lo que es importante que todos hablemos el mismo idioma, que cuando hagamos referencia a términos todos pensemos en los mismo y de paso intentemos crear un estándar dentro de un sector que está empezando a crecer exponencialmente.

Para enfrentarnos a este framework es importante tener claro los siguientes aspectos:

  • Que en este framework vamos a tratar la Realidad Aumentada desde el punto de vista de la experiencia de usuario o/y el diseño de interacción y de cómo el usuario se va a enfrentar a este tipo sistemas.
  • Vamos a hablar de Realidad Aumentada Móvil, es decir de la que vamos a ver a través de dispositivos móviles, ya sean smartPhones, Tablets, phablets,… y nombraremos brevemente los Headsets de AR.
  • No nos vamos a centrar ni a preocupar en la tecnología necesaria para desarrollar estos sistemas, salvo si plantean limitaciones o ventajas claras para el usuario a la hora de vivir su experiencia con el sistema.

Nuestra definición de AR Móvil

Ya existen varias definiciones de Realidad Aumentada que la definen muy bien y muy claramente, desde el “Continuo Virtual” de Paul Milgram y Fumio Kishino hasta la de Ronald Azuma que indica los tres aspectos que debe tener la Realidad Aumentada, tecnológicamente hablando.

    Por eso nosotros no vamos a inventar nada al respecto pero si quería dejar claro que en este framework nos referimos a Realidad aumentada cuando:

  • Que el sistema o aplicación de realidad aumentada deberá combinar imagen real con elementos generados por ordenador y que los veremos a través de nuestro dispositivo móvil.
  • El sistema debe ser interactivo y tiene que mostrar los elementos en tiempo real.
  • Que los elementos virtuales deben estar posicionados dentro de la escena en un espacio tridimensional de tal manera que podamos movernos alrededor de ellos, darles la espalda, atravesarlos, … y además estarán alineados (a nivel de perspectiva y posicionamiento) con los elementos físicos de la escena.

Pequeño glosario de términos (los nuestros)

  • A.R. o AR: Del inglés Augmented Reality. Para facilitar la escritura y la lectura nos referiremos a la Realidad Aumentada como AR.
  • Dispositivo: El dispositivo será el Móvil, tablet o hardware en el que el usuario interactuará con nuestra aplicación de realidad aumentada.
  • Componentes o elementos aumentados: Son los elementos virtuales que se superpondrán en la escena sobre la imagen real y tendrán un posicionamiento dentro de un espacio tridimensional.
  • Sensores: Son los sensores del móvil como la brújula y el giroscopio y que serán importantes a la hora de la experiencia que vive el usuario porque suelen afectar mucho a la calidad e visualización y de posicionamiento de los elementos aumentados.
  • UI: Del inglés User Interface o interfaz de usuario. Son los elementos del interfaz de la aplicación que están posicionados en la escena real y que sirven para obtener feedback y para interactuar tanto con la aplicación como con los elementos aumentados.
  • Tango o Project Tango: Sistema de sensores y cámaras para dispositivos móviles desarrollado por Google, cuyos principal uso está siendo el diseño realidad aumentada basada en reconocimiento del entorno y en posicionamiento en interior.
  • Normal: Llamamos normal al Vector Normal de un polígono. Aunque la wikipedia lo explica muy bien, podemos resumirlo en que la línea perpendicular a la cara de un polígono..

Realidad Aumentada ≠ Realidad Virtual

Aunque los dos términos incluyan la palabra “Realidad” y muchas veces en muchísimos sitios se los nombra juntos, estamos hartos de oir y leer “Realidad Virtual y realidad aumenta”, en “Realidad” tienen muy poco que ver desde el punto de vista del usuario, la experiencia y la interacción.

Es por esto por lo que es importante que seamos conscientes que todo lo que estamos abordando aquí es específico para Realidad Aumentada y concrétamente para realidad aumentada móvil.

La AR es una herramienta no un fin

La realidad Aumentada es chulísima, es casi magia y si trabajamos bien el diseño, las animaciones y la interacción puede llegar a ser hipnótica. Esto es muy bueno ya que nos facilita la captación de usuarios y clientes, pero tenemos que tener en mente que es una herramienta que usamos para un fin mayor.

Hacemos una app de venta online de zapatillas en realidad aumentada, que me permite ver el catálogo en 3D, girarlas, cambiarlas, personalizarlas, ver como quedan con distintos estilos de ropa…. pero es tan chulo que nuestros usuarios se tiran horas “jugando” con las zapatillas y o bien no compran porque se distraen o porque hemos puesto nuestros esfuerzo en la parte de AR pero no en la parte de conversión. Si esto es así habrá voces que digan que la AR no funciona o no vale para esto, cuando lo que pasa es que no hemos tenido en cuenta el proceso completo y los objetivos reales de mi aplicación.

Realidad Aumentada ≠ Realidad Mixta

Mientras que en la Realidad aumentada (AR) los elementos aumentados están superpuestos en el mundo real y no son capaces de interactuar con este, en la realidad mixta (MR) los objetos físicos y virtuales coexisten e interactúan en tiempo real.

Realidad aumentada en dispositivos móviles

Dentro de la realidad aumentada móvil, dependiendo sobre todo de la manera en la que vamos a posicionar y mostrar los elementos aumentados dentro de nuestros espacio real vamos a distinguirla en tres tipos básicos.

Además, esta diferenciación es importante porque de ello también dependerá en parte el tipo de interacción que el usuario podrá realizar dentro del sistema AR.

Casi AR

Uno de los mayores casos de éxito de las aplicaciones de Realidad Aumentada de los últimos años ha sido, sin duda, Pokemon GO®. La cuestión es que en “realidad” no era Realidad Aumentada. En este caso, aunque utilizaba el geoposicionamiento para colocar los elementos, podíamos utilizar la cámaras para dar la sensación de que había “bichillos” en la escena y que se servía de ciertos sensores para simular el posicionamiento, estos elementos virtuales no estaban posicionados en la escena en un espacio 3D, no estaban posicionados respecto a los elementos físicos reales, no podíamos rodearlos ni acercarnos a ellos. Solo estaban superpuestos.

Al igual que esta, multitud de aplicaciones se sirven de Visión artificial, gps y/o sensores para colocar elementos sobre la escena, pero no por ello es AR.

Eso sí, el hecho de que no sea Realidad Aumentada no quita para las aplicaciones sean estupendas, generen una experiencia divertidísima, sean adictivos o generan cuantiosos beneficios a las empresas que las desarrollan y comercializan.

AR Basada en marcadores

Sin duda, la realidad aumentada más extendida es que hace el tracking de los elementos aumentados en base a marcadores.

El sistema reconoce los marcadores visuales y coloca los elementos aumentados referenciados a ese marcador.

Como principales ventajas cabe destacar que es más fácil, que hay muchísimas herramientas para desarrollarlo y que requiere menos capacidad de proceso, por lo que será accesible para más usuarios.

También nos permite interactuar con los marcadores de tal manera que podemos desplazar y rotar los marcadores y los elementos aumentados pueden responder a esas acciones.

El principal inconveniente es que hay que distribuir esos marcadores entre los usuarios, pero debido a que casi cualquier imagen puede ser un marcador, es relativamente fácil imprimir más.

Ejemplo

Invizimals

En España, un producto de Realidad Aumentada basada en marcadores que se ha hecho mundialmente famoso es el juego ver video

AR Posicional

En la realidad aumentada posicional se prescinde de los marcadores reconociendo planos horizontales donde colocar los elementos aumentados.

ARKIT de Apple.

En el 2017, apple ha liberado un SDK para desarrollo de realidad aumentada en sus dispositivos móviles llamado ARKit. Requiere un dispositivo con procesador A9 o superior y IOS11.

Aunque no escanea realmente el entorno, sí entiende planos horizontales de la escena, hace una estimación de iluminación en base a la luz de la imagen que recibe por la cámara y como está hecho específicamente para los sensores del dispositivo funciona sorprendentemente bien sin hardware específico más allá del propio dispositivo.

Experimentos

BEEVA Labs | Augmented Virtual Art App con ARKit

El equipo de BEEVA Labs desarrolla una app de realidad aumentada en colaboración con ARAN enfocada al mundo
del arte utilizando ARKit de Apple. ver video

ARcore de Google.

Arcore es una plataforma para la creación de aplicaciones de realidad aumentada en Android. Arcore utiliza tres tecnologías clave para integrar el contenido virtual con el mundo real a través de la cámara del teléfono:

  • El seguimiento del movimiento: que permite que el teléfono para entender y realizar un seguimiento de su posición en relación con el mundo.
  • La comprensión del medio ambiente: que permite que el teléfono para detectar el tamaño y la ubicación de las superficies horizontales planas como el suelo o una mesa de café.
  • La estimación de la luz que permite que el teléfono para estimar las condiciones actuales de iluminación del entorno.

AR Basada en el reconocimiento del entorno (AR Mixta)

La realidad aumentada basada en el reconocimiento del entorno requiere una mayor capacidad de proceso y en muchos casos hardware y dispositivos específicos, aunque cada vez más, distintas empresas están desarrollando productos y SDKs para crear experiencias AR basadas en reconocimiento del entorno.

Tal vez la más conocida y con la que vamos a trabajar en este framework es el Project Tango de Google.

Project Tango de Google.

Los diferentes sensores y cámaras del Project Tango, permiten mapear el espacio 3D con el dispositivo móvil.
En este caso sí hay un motion tracking real, reconoce y aprende del entorno y percibe la profundidad real es lo que conocemos com Realidad Mixta.
Aunque su precisión y potencia es mayor que la del ARKit su distribución es a día de hoy bastante reducida.

Ejemplo

American Museum of Natural History | Dinosaurs Among Us

Combinando el poder de la tecnología de mapeo 3D de Tango y la experiencia científica de paleontólogos del Museo Americano de Historia Natural. ver info

AR Basada en Geoposicionamiento

Cuando hablamos de este tipo de AR, nos referimos a que el traking de los elementos aumentados se hace mediante GPS y los sensores del dispositivo.

Además del GPS hay otros sensores y/o software adicional para posicionar los elementos aumentados dentro de un entorno, tanto en exteriores como en exteriores.

Haciendo referencia a las tecnologías nombradas anteriormente, Project Tango aventaja claramente al ARKit, aunque con los datos CoreMotion este último puede estimar el geoposicionamiento con una calidad aceptable.

¿Y si lo juntamos todo?

Como diseñadores de UX lo ideal es crear la mejor experiencia posible procurando ser lo más eficientes posible. Como en cualquier otro producto digital la tecnología nos tendrá que preocupar por las limitaciones que tiene y los costes que supone usarla (licencias, tiempo de desarrollo, implantación en el mercado,...).

Además, la usabilidad y la facilidad de uso y aprendizaje también serán claves para que nuestro usuario viva una buena experiencia. Teniendo en cuenta todo esto decidiremos cuál o cuáles son las mejores tecnologías de AR para usar en nuestro proyecto. Debemos recordar que por el hecho de ser la tecnología más novedosa o más potente no siempre es la más adecuada.

Elementos aumentados

Como ya hemos comentado, los elementos aumentados son los elementos virtuales que se superponen en la escena sobre la imagen real y tendrán un posicionamiento dentro de un espacio tridimensional. Además es posible que sean interactivos.

Dependiendo de sus características y funciones puede ser de distintos tipos.
Nosotros los hemos resumidos en 2 + 1

Elementos 2D

Los elementos aumentados en 2 dimensiones, son como su nombre indica elementos sin volumen, que aparecerán posicionados dentro del entorno real.

Estos elementos siempre estarán de frente al observador, de tal manera que su normal siempre estará apuntando al usuario.

Estos elementos sí están posicionados y trackeados sobre la escena real, así que es importante no confundirlo con el Interfaz de usuario del dispositivo.

Será habitual utilizar este tipo de elementos como informativos, pero también pueden tener interacción.

Dependiendo del contexto podremos usar elementos 2D que parezcan elementos 3D. En estos casos, es importante que el usuario no note “la trampa”.

Experimento

MapAR

Mapa de Realidad Aumentada que permite de un solo vistazo explorar la ciudad sobre un mapa en el que el usuario ya ha interactuado y es referencia ver info

Patrones de diseño Elementos 2D

Patrones elementos 2D

Texto 2D

No es recomendable utilizar texto en 2D sin caja, ya que al tratarse de entornos en los que no tenemos control de los matices de luz por ejemplo, los texto al aire pueden ser dificilmente legibles.

Elementos 3D

Los elementos aumentados en 3D, son sin duda el WOW de la realidad aumentada. Tener estatuas en mi salón, una selva en mi jardín, decorar una habitación vacía a mi antojo o hechar una pelea monstruos sobre la mesa de la cocina son algunas de las muchas maravillas que nos ofrece la realidad aumentada con elementos 3D.

El usuario puede orientar su movil para ver los objetos desde diferentes ángulos e interactuar con ellos.

Pero como le decía el Tío Ben a Peter Parker, “un gran poder lleva una gran responsabilidad”, y aunque de momento a los diseñadores y desarrolladores de AR se nos permiten ciertas licencias debido a lo “novedoso” de la tecnología, a medida que se popularice, estos elementos tendrán que tener cada vez más calidad si queremos proporcionar grandes experiencias a nuestros usuarios.

Aunque cuando trabajamos con elementos 2D también debemos cuidar cómo se comportan en la escena, cuando usamos elementos 3D tendremos que tener en cuentas unas cuantas cosas más. De entre ellas caben destacar las siguientes:

Patrones de diseño Elementos 3D

Calidad del modelo 3D
Tanto a nivel de modelado como de textura.
Este ha de ser acorde a las expectativas del usuario y la historia o el contexto.
Tracking
Que el elemento esté bien posicionado,
no tiemble o se mueva del punto de referencia cuando movemos o giramos el dispositivo.
Luces y sombras
Que esté iluminado acorde a la luz del entorno (muy importante si queremos simular realidad) y que proyecte una sombra acorde a lo esperado.
Sombras, brillos y reflejos son realmente importantes para dar la sensación de que el elemento está integrado en el entorno.
Posicionamiento sobre el plano
Muchos de nuestros elementos aumentados estarán apoyados en el suelo, una mesa, una pared u otro tipo de plano (normalmente horizontal)
Que los objetos estén flotando sobre ese plano o atravesándolo, dan una sensación de irrealidad y estropea muchísimo la experiencia.

La realidad modificada

Un recurso que podemos utilizar para crear un ambiente concreto. No se trata de añadir elementos de AR en la escena, sino de modificar mediante filtros y efectos en tiempo real la imagen que vemos a través de la cámara.

Este recurso es muy útil para integrar los elementos a la escena, pero debido a que altera la realidad, puede llevarnos a perder la parte de realidad de la realidad aumentada, es por eso que solo debe usarse por “exigencias del guión”.

Null Real's Tango Matrix Scanner lets you peer into the world as if you were Neo himself. Ver video

Interactuando con la Realidad Aumentada

Una de las principales características de la realidad aumentada es que es interactiva, es decir, vamos a poder actuar sobre esos elementos virtuales que aparecen en la escena.La propia naturaleza de la AR y el tipo de tecnología nos va a permitir (o limitar) el tipo de interacción con nuestros sistema.

Vamos a ver los distintos tipos más habituales, las posibilidades que nos ofrece y lo que tenemos que tener en cuenta al enfrentarnos a ellos desde el punto de vista de diseño de UX.

Interactuar con el dispositivo

Un tipo de interacción muy muy especial que tiene el AR Móvil es la posibilidad de interactuar con el propio dispositivo.

Se trata de usar los sensores del dispositivo para interactuar con el sistema. Rotación, desplazamiento y velocidad.

Ventajas:

  • Este tipo de interacción es muy sorprendente para el usuario y da una sensación de ser tecnológicamente muy avanzada.
  • Nos permite jugar y crear experiencias muy divertidas, como guiar, cazar, persiguir, dibujar.
  • Además es un tipo de interacción muy fácil de pasar a sistemas de AR en Headsets o Gafas.

Ten cuidado con:

  • Tenemos que tener en cuenta que se interactúa con el mismo dispositivo que tiene la pantalla por la que vemos la realidad aumentada, así que hay que tener cuidado de que la interacción no nos haga perder lo que queremos ver.
  • En control y la precisión pueden estar limitados y dependerá mucho del dispositivo.
  • Para garantizar una experiencia estable y constante para todos los usuarios es mejor usar tecnología propietaria como ARKit o Tango.
Experimentos

LAAN labs | Quick demo of 3d drawing in ARKit using metal + SceneKit.

Experiemnto con ARkit de apple que permite dibujar en el aire elementos aumentados, utilizando los movimientos del dispositivo. Ver Github
Experimentos

LAAN labs | AR Measure App Demo - Augmented reality tape measure

Experiemnto con ARkit de apple que permite medir objetos del mundo físico, utilizando los movimientos del dispositivo. Ver site

Interactuar con marcadores

Usar marcadores para que posicionar y trackear elementos aumentados es sin duda la técnica más extendida para AR Móvil.

No tenemos que pensar en estos marcadores solo como un mal necesario para posicionar los elementos aumentados, sino como una herramienta útil, divertida y creativa de interactuar con nuestro sistema.

Ventajas:

  • Aunque parezca una interacción un poco antigua y poco sofisticada es muy divertida y sorprendente.
  • Puedo crear múltiples tipos de interacciones de una relativamente sencilla y crear experiencias e historias muy completas y complejas.
  • Como no interactuas solo con el dispositivo o su interfaz sino con un elemento real, el concepto de Realidad Aumentada y la sensación de control por parte de la persona que lo usa es muy grande.
  • Es una manera fácil de crear experiencias multiusuario.

Ten cuidado con:

  • Puede que para algunas personas, interactuar con objetos físicos normalmente trozos de papel o cartón, suponga una experiencia poco innovadora.
  • Interactuar con los marcadores puede estropearlos, así que tendríamos que garantizar que se pueden reponer.
  • Si al interactuar con los marcadores, los tapamos, es posible que el sistema los pierda de referencia y los objetos aumentos desaparezcan o se comporten de manera extraña (se giren, tiemblen,...) Por esto cuando diseñemos nuestros marcadores también es importante probar como se va interactuar con ellos, para que se puedan coger y mover de una manera cómoda sin taparlos.

Qué podemos hacer con los marcadores

Entre las muchas cosas que que podemos hacer con los marcadores están:

Girarlos

Podemos girar los marcadores en cualquiera de los ejes, lo que puede dar pie a múltiples acciones. Dependiendo de la inclinación del marcador respecto al plano original el elemento aumentado se puede comportar de maneras distintas.

Moverlos

Podemos girar los marcadores en cualquiera de los ejes, lo que puede dar pie a múltiples acciones. Dependiendo de la inclinación del marcador respecto al plano original el elemento aumentado se puede comportar de maneras distintas.

Interacción entre marcadores

Si estamos trabajando con varios marcadores existe la posibilidad de que interactúen entre ellos y además esta interacción dependa de una relación de distancia y rotación entre ellos.
Podemos tener dos luchadores que se comportan de manera distinta cuando están lejos que cuando están cerca, podemos construir elementos complejos, podemos mostrar datos y relacionarlos,....

Tapar los marcadores

Como explicamos antes, tapar los marcadores puede ser un problema, pero también puede ser una manera de interactuar. La idea es usar los marcadores como botones.
Lo que hacemos es generar acciones distintas dependiendo del número de marcadores que se vean o no, de tal manera que el hecho de tapar un marcador u otro genere distintos comportamientos en nuestro elemento aumentado.

Criterios a tener en cuenta la hora de crear nuestros propias plantillas de marcadores

Podemos crear nuestras propias plantillas de marcadores son generalmnete formas en blanco y negro que contienen patrones permitiendo a las librerías encontrar puntos de reconocimiento. Cuantos más puntos de referencia de nuestro marcador sea capaz de sacar la libreria, mas eficiente sera el marcador.

Para conseguir una mayor cantidad de puntos de referencia, a la hora de crear un buen marcador hay que tener algunos aspectos en cuenta tales como: la forma, el color, la complejidad o la ubicación del marcador.

Experimentos

BEEVA labs | AR CUBE

Marcadores visuales colocados en los lados del cubo para coloca los elementos aumentados referenciados a ese marcador. Ver video
Experimentos

BEEVA labs | AR SOCCER

Prototipo basado en marcadores múltiples con interacción Ver video
Experimentos

BEEVA labs | MULTITARJET

Prototipo orientado a probar interacciones AR basadas en la posición, orientación y distancia entre diferentes elementos AR. Ver video

Interactuar con el interfaz de usuario

Interactuar con los elementos de UI de nuestra aplicación es sin duda la manera más fácil de interactuar con la realidad aumentada desde un dispositivo móvil.

Esto es debido a que estamos más que acostumbrados a mirar la realidad a través de la cámara de nuestro móvil o tablet y actuar sobre los botones o elementos del interfaz para hacer fotos y grabar vídeos en cientos de aplicaciones varias veces al día.

Podemos usar botones para disparar a los elementos aumentados o para que realicen una acción concreta (saltar, girar, golpear,...), menús para modificar la escena o añadir elementos, sliders para realizar transformaciones en los elementos y muchísimas cosas más.

Algo que nos puede ser de mucha utilidad en este aspecto es que la pantalla táctil de nuestro dispositivo puede ser entera parte del interfaz, y solo con tocarla en cualquier parte puede generar acciones en la escena. Con esta misma idea también podemos hacer que de igual donde toquemos la pantalla (siempre se realiza la misma acción si tocamos, deslizamos, hacemos pinch,...) o bien que el lugar donde toquemos sí afecte a la acción.

Aunque usar un interfaz y elementos de UI puede parecer la manera natural de interactuar con mi sistema de AR, vamos a tener que usarlo con cuidado.

Ventajas:

  • Todo el mundo está acostumbrado a interactuar con un interfaz de aplicación en un móvil, así que es el tipo de interacción que necesita menos aprendizaje y es la que el usuario espera encontrar.
  • Me ayuda a mantener coherencia si mi sistema o aplicación también se ejecuta en otros dispositivos sin realidad aumentada.
  • Es muy útil a la hora de meter mi producto en Marca y mantener la identidad corporativa de mi negocio.
  • Podemos enmascarar la escena para crear distintas experiencias y contextos (que parezca que miramos a través de unos prismáticos, el punto de mira de un rifle o el objetivo de una cámara).

Ten cuidado con:

  • Debido a que es a los nuestros usuarios están acostumbrados, es menos impactante y sorprendente para nuestros usuarios, ya que parece menos innovacor.
  • Piensa que la idea es ver a través de la cámara, así que cuantos menos elementos haya que me estorben la visión mejor. (Piensa en el UI de la aplicación de la cámara de tu móvil)
  • Los elementos deben tener la menor carga visual posible pero ser suficientemente aclaratorios (piensa en el interfaz de la aplicación de la cámara de tu móvil)
  • Como es posible que tengas que meter sí o sí elementos de interfaz para navegar por la aplicación, meter tu marca, opciones de la aplicación etc, ten mucho cuidado en no cargar el interfaz de elementos que hagan perder la experiencia de realidad aumentada

Interactuar con los elementos aumentados

Esto es lo que la gente espera, poder actuar sobre los elementos virtuales que aparecen en la escena.

Aunque técnicamente es un handicap importante y las posibles interacciones dependerán en parte del tipo de tecnología que estemos usando; pero nosotros estamos aquí para crear la mejor experiencia posible ¿verdad?

No es que no nos preocupemos del tiempo de desarrollo y de sus costes, es que aquí lo estamos planteando desde otro punto de vista.

Las posibilidades a la hora de interactuar con los elementos aumentados son enormes; podemos moverlos, rotarlos, escalarlos, tirarlos, golpearlos, matarlos, romperlos, unirlos, duplicarlos, actuar solo sobre una parte del elemento y muchísimas cosas más.

Lo que pasa es que todo esto lo tengo que hacer con interacción táctil sobre el dispositivo y dependiendo de este y del tamaño de su pantalla soportará unos u otros.

Controles de gestos táctiles para interfaces móviles

Un dedo

También hay que tener en cuenta el número de elementos aumentados que tenemos en la escena. Si solo hay uno, no haría falta que actuáramos sobre el elemento en sí, sino sobre cualquier parte de la pantalla, en cambio si hay más de un elemento, la interacción si tendrá que ser sobre la posición donde está el elemento aumentado.

Ventajas:

  • Es alucinante, puedo actuar sobre elementos virtuales y que hagan lo que yo quiero. Es sin duda la magia de la realidad aumentada.
  • Puedo crear todo tipo de experiencias, tanto de entretenimiento como profesionales y la sensación de innovación y tecnología es muy grande
  • Aunque es lo que la gente espera (En cuanto hay un elemento aumentado la gente quiere tocarlo en la pantalla) se sorprenden cuando ocurre y a día de hoy están dispuestos a perdonar muchas cosas solo por el hecho de ser una novedad.
  • Todo lo que podíamos hacer con los marcadores lo podemos hacer actuando directamente sobre los elementos interactivos.

Ten cuidado con:

  • El tipo de tecnología que usemos será un limitante importante en muchos aspectos como el posicionamiento y el tiempo de respuesta o la cantidad de elementos interactivos que podemos tener en la escena.
  • En muchos casos habrá que sujetar el dispositivo con una mano e interactuar con la otra mientras apuntamos a una zona de la escena concreta, por lo que puede ser una interacción un poco dificil o cansada.
  • Si hay más de un elemento en la escena, la interacción tendrá que ser sobre el elemento concreto, por lo que esto puede resultar difícil dependiendo del punto de vista o de la distancia de los elementos.
  • Es tan chulo que puede distraer al usuario de realizar otras acciones, así que es importante no perder el objetivo principal de nuestra aplicación o sistema.

Interacción con voz

La interacción por voz está empezando a ser usada por lo usuarios cada día con mayor naturalidad. Tanto con asistente como Siri, Alexa o Google assistant o como con dispositivos desde nuestro móvil hasta Amazon Echo, Google Home o el futuro Home Pod de Apple.

Ventajas:

  • La interacción por voz puede ser un elemento añadido que genere sensación de innovación tecnológica y de novedad.
  • Nos libera de hacer cosas con las manos que las podemos tener ocupadas sujetando el dispositivo
  • Este tipo de interacción podrá ser exportada a otros modelos de Realidad Aumentada, por ejemplo si utilizamos un HeadSet o si estos sistemas se aplican cuando estamos realizando otro tipo de acciones como conducir

Ten cuidado con:

  • Es conveniente que todo lo que podamos hacer con la voz se pueda hacer con otro tipo de interacción.
  • Piensa en la dignidad de tus usuarios. Si vas a añadir interacción por voz es importante que hagas test de usuario, ya que hay mucha gente que no le gusta que le vean hablando en voz alta a un móvil mientras lo mueve arriba abajo.
  • El idioma también es una barrera, así que o tenemos órdenes muy concretas que se puedan decir sin importar el idioma (Yes, No, Stop, go,...) o incluimos librerías multiidioma o conseguimos que nuestro sistema aprenda de como habla nuestro usuario.

Interactuar con los manos sobre la realidad aumentada

Esta la próxima frontera de la realidad aumentada. La idea es que los sensores y/o la cámara del dispositivo reconozca nuestras manos y así poder afectar a los elementos virtuales.

Todo el mundo quiere poder actuar sobre elementos virtuales como Tony Stark en Iron Man© o Tom Cruise en Monority Report

A día de hoy, esto tenemos que hacerlo mediante sensores o hardware concreto, como Leap Motion, Real Sense,....

También podemos falsearlo (simularlo) con marcadores. Por ejemplo, cojo un marcador que cuando lo reconoce el sistema es una varita mágica, un rotulador o un bate de béisbol y moviéndolo puede afectar a la escena y a los elementos aumentados.
Esto en realidad, sería interacción con marcadores pero para el usuario sería como interactuar con sus manos.

Ventajas:

  • Es lo que muchos usuarios esperan poder hacer con la realidad aumentada. Poder “tocarla”. Es “EL FUTURO”.
  • Si usamos un headset o unas gafas, ya no actuaremos sobre el dispositivo, así que es posible que sea el principal medio de interacción con la AR.
  • Será un tipo de interacción importantísima en sistemas de Realidad Mixta
  • Increíblemente espectacular para Demos, ferias y entornos controlados.

Ten cuidado con:

  • Se necesita hardware específico, así que de momento no será para distribución masiva.
  • Si lo hacemos con un dispositivo móvil, una mano sujetará el dispositivo y con la otra intentaremos alcanzar los elementos aumentados, lo que puede generar una experiencia cansada y complicada.
  • Al igual que con la voz, hay que pensar en la dignidad del usuario y que no parezca un loco moviendo la mano delante del móvil en el aire

Múltiples interacciones

En muchas de nuestras aplicaciones ya actuamos de diferente manera (teclado, voz, ratón, trackpad, pantalla táctil,..) a veces para hacer cosas distintas y otras veces para hacer la misma cosa de la manera más cómoda para mí (por tipo de usuario) o para ese momento concreto (contexto).

En AR no debería ser distinto, lo que pasa es que sí puede ser más complejo.Debemos pensar que utilizar múltiples interacciones distintas tienen que servir para conseguir una experiencia más completa o bien para que sea más fácil de usar.

Se trata de combinar los distintos tipos de interacción de los que hemos hablado, bien para hacer la misma cosa de maneras distintas, que el usuario elija como le viene mejor en cada momento, o bien para realizar o completar acciones complejas. También puede servir para dar riqueza a nuestra aplicación.

Se puede plantear de muchas maneras; La más habitual será la interacción con el UI y los elementos aumentados, pero podemos usar los marcadores y los elementos aumentados o la interacción con el dispositivo más la interacción con voz.

Ventajas:

  • Abrimos mucho el campo de posibilidades y creamos experiencias más completas y complejas.
  • Damos posibilidad de que el usuario utilice nuestros sistema como mejor le convenga.
  • Creamos sensación de que nuestro sistema es tecnológicamente avanzado y novedoso.
  • Abrimos nuestra aplicación a distintos niveles de usuarios.

Ten cuidado con:

  • Más interacciones puede suponer mayor complicación para el usuario, prueba y testea mucho.
  • Recuerda que el usuario tendrá que tener sujeto el dispositivo al menos con una mano.
  • Hay interacciones que son más delicadas de hacer el público.

Múltiples usuarios

Actualmente quedan pocas aplicaciones que no sean multiusuario. La posibilidad de que varias personas estén a la vez con distintos dispositivos en la misma aplicación y que puedas interactuar, es casi una necesidad.

Aquí el problema es que hay muchísimas limitaciones. La tecnología, los dispositivos, la conexión, …

Todas estas limitaciones van a ir desapareciendo, así que desde el punto de vista del diseño de UX, tenemos que enfrentarnos a este tipo de sistemas cuanto antes para crear las mejores aplicaciones posibles.

Podemos crear todo tipo de aplicaciones; sociales, profesionales, educativas, lúdicas,... Imaginad una batalla de dos ejércitos sobre la mesa de tu salón y cada ejército controlado por un jugador desde su dispositivo móvil. Imaginad también, si queréis, que esos jugadores están en salones distintos.

Ventajas:

  • Cada vez más somos usuarios sociales y la colaboración forma parte de nuestro días a día, tanto a nivel profesional como personal, así que este tipo de aplicaciones serán necesarias.
  • Se pueden romper las barreras de lo real y lo irreal, y también la del espacio.

Ten cuidado con:

  • Todo lo relacionado con las limitaciones tecnológicas. Delay, tiempos de carga, velocidad de conexión, consumo de datos.
  • ¿Qué pasa con nuestro sistema si no hay conexión?.
  • Mantener la consistencia independientemente de los dispositivos de los usuarios.