¿Cómo funciona el escáner LiDAR del iPhone 12 Pro?

Las especificaciones de la cámara del iPhone 12 han sido finalmente reveladas, y ahora sabemos que la gama del iPhone 12 Pro va a utilizar el nuevo escáner de LiDAR en la parte posterior. Así es, el mismo punto misterioso que apareció por primera vez en el iPad Pro 2020.

Pero, ¿qué es un escáner LIDAR? ¿Un detector de mentiras incorporado? ¿Una versión más relajada del radar quizás? Como descubriremos, el LIDAR (o «Light Detection and Ranging») funciona de forma similar a un radar, sólo que utiliza láseres para juzgar las distancias y la profundidad. Esta es una gran noticia para la realidad aumentada (AR) y, en menor medida, para la fotografía también.

La pregunta más interesante, sin embargo, es qué nos permitirá hacer el LIDAR en el iPhone 12 Pro. Usando nuestra experiencia de ver la tecnología en el iPad Pro 2020, podremos explorar el tipo de experiencias que el LIDAR podría abrir en los nuevos iPhones y, en última instancia, las Gafas de Apple.

Pero primero, un rápido retroceso a los orígenes de la tecnología, para que puedas sonar inteligente durante tu próxima reunión familiar de Zoom…

¿Qué es LIDAR?

El concepto de LIDAR existe desde los años 60. En resumen, la tecnología permite escanear y mapear el entorno disparando rayos láser, y luego cronometrando la rapidez con la que vuelven. Un poco como los murciélagos «ven» con las ondas de sonido, sólo que con los láseres, lo que lo hace aún más genial que el Batarang de Batman.

Como la mayoría de la tecnología futurista, comenzó como una herramienta militar en los aviones, antes de ser más conocido como el sistema que permitió a la misión del Apolo 15 cartografiar la superficie de la luna.

Más recientemente, el LIDAR (también conocido como Lidar) ha sido visto en coches auto-conductores, donde ayuda a detectar objetos como ciclistas y peatones. También puede ser que, sin darse cuenta, se haya encontrado con la tecnología en el vacío de su robot.

Pero es en los últimos dos años que las posibilidades del LIDAR se han abierto realmente. Con los sistemas cada vez más pequeños, más baratos y más precisos, han empezado a convertirse en adiciones viables a los dispositivos móviles que ya tienen cosas como potentes procesadores y GPS – tabletas y teléfonos.

Por supuesto, no todos los sistemas Lidar son creados igual. Hasta hace poco, los tipos más comunes construían mapas 3D de sus entornos barriendo físicamente de forma similar a una antena de radar.

Esto obviamente no es suficiente para los dispositivos móviles, por lo que los nuevos sistemas LiDAR, incluyendo los sensores de tiempo de vuelo (ToF) en 3D que se ven en muchos teléfonos inteligentes, son de estado sólido sin partes móviles. Pero, ¿cuál es la diferencia entre un sensor de tiempo de vuelo y el «escáner» de LiDAR que probablemente veamos en el iPhone 12?

¿Qué tiene de diferente el escáner LiDAR de Apple?

Puede que ya estés familiarizado con los sensores de tiempo de vuelo (ToF) que se ven en muchos teléfonos Android, estos les ayudan a detectar la profundidad de la escena e imitan los efectos bokeh de las cámaras más grandes.

Pero el sistema LIDAR utilizado en el iPhone 12 Pro y el iPad Pro 2020, promete ir más allá. Eso es porque es un escáner LIDAR, en lugar de los sistemas «sin escáner» vistos en los smartphones hasta ahora.

Estos últimos utilizan un solo pulso de luz infrarroja para crear sus mapas 3D, pero un sistema LIDAR de escaneo dispara un conjunto de pulsos de láser en diferentes partes de una escena durante un corto período de tiempo.

Esto aporta dos ventajas principales: un mejor alcance de hasta cinco metros y una mejor «oclusión» de los objetos, que es la aparición de objetos virtuales que desaparecen detrás de otros reales como los árboles.

Impresionantemente, es un proceso rápido también, pero esa velocidad sólo es realmente posible con los últimos procesadores móviles.

Como Apple declaró en el lanzamiento del iPad Pro 2020, los datos del escáner LiDAR son procesados junto con los datos de las cámaras y un sensor de movimiento, y luego «mejorados por algoritmos de visión computarizada en el A12Z Bionic para una comprensión más detallada de la escena». En otras palabras, hay mucho que hacer para que parezca perfecto.

Pero mientras que el procesador Biónico A14 del iPhone 12 ofrece un buen soporte para el escáner LiDAR de Apple, también hay mucho espacio para mejorar el propio escáner.

Como señala un blog del desarrollador de la aplicación de la cámara Halide, ahora mismo los datos de profundidad del iPad Pro no ofrecen la resolución necesaria para algunas aplicaciones, como el escaneo 3D detallado o incluso el modo Retrato.

Esto significa que el escáner LiDAR del iPad Pro está diseñado más para aplicaciones a escala de sala como juegos o desplazamientos en muebles AR en la aplicación Place de IKEA. Actualmente no permite escanear objetos en 3D con mayor precisión que otras técnicas como la fotogrametría, que en cambio combina fotos RGB de alta resolución tomadas desde diferentes puntos de vista.

¿No sería genial si estas mallas de escáner LiDAR pudieran combinarse con el tipo de resolución y texturas que ven las cámaras RGB o el Face ID? Ese es el ideal, pero aún no hemos llegado a eso, no tenemos una visión completa y profunda del iPhone 12 Pro, pero tampoco estamos seguros de que pueda hacerlo.

Entonces, ¿qué es exactamente lo que podrías hacer con un escáner de LiDAR en el iPhone 12?

¿Qué podría permitirte hacer un escáner LiDAR en el iPhone 12?

Ahora sabemos que el escáner LiDAR del iPad Pro funciona mejor a escala de habitación, ¿qué tipo de cosas podría hacer en el iPhone 12? Para la persona promedio, las dos principales son los juegos de RA y las compras de RA.

Apple ha adelantado unas cuantas aplicaciones específicas de LiDAR que están llegando convenientemente «a finales de este año» (convenientemente después del lanzamiento del iPhone 12) y una de las más interesantes es el juego Hot Lava.

Un juego de aventuras en primera persona para iOS y PC, Hot Lava tendrá un nuevo «modo RA» a finales de 2020 que se basa en el sensor LiDAR de Apple para llevar sus ríos fundidos a tu salón.

Hasta ahora, la demo no es tan impresionante como esperábamos, la mayoría de los objetos que tu personaje salta son renderizados en el juego en lugar de los objetos reales, pero todavía hay tiempo para desarrollarlos.

Naturalmente, cualquier mención a los juegos de realidad aumentada trae a la mente Pokemon Go, el único éxito real de la realidad aumentada hasta ahora. Curiosamente, el creador del juego, Niantic, parece estar forjando su propio camino en materia de RA, en lugar de confiar en la tecnología de Apple. Recientemente anunció una nueva función de «mezcla de realidad» para Pokemon Go, que permite a los personajes esconderse de forma realista detrás de objetos del mundo real, como árboles, y reveló la adquisición de una empresa de mapas espaciales en 3D llamada 6D.ai.

Esto demuestra que la próxima generación de juegos de realidad aumentada no estará necesariamente ligada a la tecnología basada en LiDAR de Apple o a la plataforma ARKit, pero el iPhone 12 debería al menos ofrecerte un asiento de primera fila para ver la batalla de realidad aumentada.

Pero en última instancia, la llegada de LiDAR al iPhone 12 Pro va a aumentar masivamente la cantidad de aplicaciones que utilizan esta tecnología – y eso podría ser un cambio de juego para la cámara del iPhone.

¿Pero qué hay de las experiencias no relacionadas con el juego para el sensor LiDAR? Hasta ahora, las más pulidas parecen estar basadas en el diseño de interiores. Por ejemplo, la aplicación IKEA Place te permite moverte por los objetos virtuales de tu salón, como si estuvieras en una versión real de Los Sims.

Pero aunque la colocación y oclusión mejorada de la RA del iPhone 12 Pro (o la capacidad de esconder objetos virtuales detrás de los reales) es útil, todavía no es un nuevo uso brillante para el escáner de LiDAR.

Aún así, aunque la tecnología es actualmente más útil para los diseñadores de CAD y los profesionales de la salud (si tienes un iPad Pro, mira la impresionante aplicación de Anatomía Completa), todavía hay mucho espacio para que la creatividad y las sorpresas aparezcan en el próximo año.

Como muestra la aplicación de prueba de concepto de Halide, Esper, el sensor LiDAR podría ayudar a los desarrolladores de aplicaciones a inventar nuevas formas creativas que vayan más allá de la fotografía y el vídeo tradicionales.

Mientras tanto, es justo decir que el escáner LiDAR del iPad Pro y del iPhone 12 Pro estará inicialmente ahí para impresionar a los desarrolladores más que a los aficionados a la tecnología.

Tendrás la oportunidad de probar el futuro en dispositivos equipados con LiDAR, pero el verdadero salto debería llegar cuando estos sensores y aplicaciones lleguen a las gafas de Apple.

Traducido desde: techradar