Seleccionar página

Lo que necesitas saber

  • Project Starline es una nueva forma de conectarse de forma remota con personas al brindarles la sensación de estar presente con ellos, conocida como telepresencia.
  • El stand utiliza una pantalla de 8K con una matriz de lentes similar a una barrera de paralaje para mostrar imágenes en 3D sin el uso de anteojos.
  • El movimiento del usuario y el audio se rastrean a través de 3 "pods" que se utilizan para representar una versión 3D real de una persona para transmitir de forma inalámbrica.

Cuando Google anunció Project Starline en Google I/O 2021 en mayo, nadie se hizo ilusiones de que la tecnología detrás de él fuera simple. Un nuevo documento técnico publicado por la investigación de Google, descubierto por 9to5Google, detalla cuán complicada es realmente la tecnología.

Todo comienza con el diseño del stand, que es similar al stand de un restaurante familiar y brinda a los usuarios un lugar cómodo para sentarse mientras se encuentran o conversan con otras personas de forma remota. Google dice que eligió un diseño sentado principalmente para este propósito.

Dado que la comodidad era primordial para el diseño, Google optó por desarrollar una tecnología que no requería que los usuarios usaran ninguno de los mejores auriculares VR o anteojos 3D y aún así poder ver y escuchar a la persona del otro lado de manera tan realista como posible.

Google también quería asegurarse de que los usuarios tuvieran la libertad de moverse un poco, estirar las piernas y aún así obtener una vista completa de la persona del otro lado de la cabeza a la cintura.

Google construyó cabinas de Project Starline con la capacidad de mostrar una recreación 3D realista de la persona en el otro extremo, completa con la capacidad de verlos desde múltiples ángulos, mantener el contacto visual e incluso escuchar el audio como si viniera de la otra persona. boca.

Fuente: Google (Crédito de la imagen: Fuente: Google)

Para lograr esto, Project Starline registra y rastrea a las personas con un conjunto de tres "cápsulas", dos ubicadas sobre la pantalla en los lados izquierdo y derecho, y una centrada debajo de la pantalla que contiene cuatro cámaras monocromáticas 12801024 sincronizadas que funcionan a 120 Hz, con filtros para bloquear la luz infrarroja cercana para que la información adicional de la pantalla no se recoja erróneamente.

Piensa en cómo se asustaría un control remoto de Wii cuando la luz del sol entrara en una habitación y comprenderás rápidamente la importancia de bloquear este tipo de luz.

La cápsula inferior contiene una cámara RGB adicional que captura el color necesario para replicar correctamente a un individuo en el espacio 3D. También se encuentran cuatro micrófonos cardioides en estas cápsulas, lo que ayuda al sistema a replicar exactamente de dónde proviene el sonido cuando finalmente recrea a la persona en el otro extremo.

Fuente: Google (Crédito de la imagen: Fuente: Google)

La información visual y de audio capturada por estas cámaras se procesa en una PC Lenovo P920 con cuatro GPU, es decir, dos GPU NVIDIA Quadro RTX 6000 y dos GPU NVIDIA GeForce Titan RTX, y luego se envía por Internet a través de WebRTC. Esencialmente, se crea una imagen compuesta utilizando todas las imágenes de los pods combinadas en una sola pieza grande.

La recreación renderizada en 3D de la persona sentada en el stand de Project Starline le permite a Google no solo enviar una imagen de mayor calidad que la que se puede entregar a través de un video 2D como lo encontraría en Zoom, Skype o FaceTime, sino que también otorga la capacidad para mover y rotar el modelo 3D para crear la ilusión de una persona tridimensional sentada frente a usted.

Esa pantalla es un panel 8K personalizado de 65 pulgadas con lentes estereoscópicos, que al menos tiene una similitud pasajera con la pantalla que se encuentra en una Nintendo 3DS, que usa una barrera de paralaje. A diferencia de una barrera de paralaje, que tiene un pequeño "punto óptimo" donde se crea la imagen 3D, las lentes del Proyecto Starline se utilizan para enviar una imagen diferente a cada ojo, recreando la visión 3D de una manera totalmente natural.

Se puede argumentar que la realidad virtual puede crear una experiencia similar de muchas maneras, pero Google señala que los auriculares de realidad virtual existentes no tienen un campo de visión lo suficientemente amplio y tienen problemas para recrear correctamente una cara, ya que los auriculares de realidad virtual bloquean bastante. cuando se usa

Fuente: Google (Crédito de la imagen: Fuente: Google)

La latencia y otros problemas comunes que aún plagan la comunicación por Internet también pueden afectar un poco a Starline, pero parece que podría hacer un mejor trabajo de lo que esperábamos de las soluciones de video 2D actuales.

Google ha utilizado Project Starline por muchas razones, incluidas la incorporación y las reuniones, pero no está claro qué tan ampliamente se usará Starline en las oficinas u otras áreas comerciales en el futuro. Por ahora, mira el video del anuncio original de Google a continuación para verlo en acción.

Video: