Esta es sin duda una de los principales modos de consumir RA hoy en día ya que permite colocar cualquier tipo de contenido de manera libre frente al usuario: sobre una mesa, el suelo, o incluso flotando en el aire. Es un modo realmente complejo porque básicamente requiere una detección y procesamiento del entorno del usuario en tiempo real. La gran diferencia con respecto a, por ejemplo, face tracking, es que el entorno que el usuario tiene delante va a cambiar en cada ejecución y, por tanto, el algoritmo debe ser capaz de adaptarse a cualquier escenario o superficie: formas, colores, texturas, luminosidad, etc.
Para dar forma a este tipo de experiencias es necesario generar un algoritmo que sea capaz de tomar los puntos clave de cualquier entorno, determinar donde están ubicados y además hacer un seguimiento de los mismos a lo largo de la ejecución de la experiencia. Es decir, debe ser capaz de adaptarse a los cambios de cámara utilizando para ello sensores como el giroscopio o acelerómetro, además de todo el procesamiento de visión a través de la cámara.
Por eso se llama comúnmente World tracking. Es como un detector del mundo real en tiempo real que permite colocar contenidos y anclarlos a la superficie.
