El espectáculo comercial de realidad aumentada: Cómo Panasonic lo hizo remotamente con AR

La realidad aumentada al rescate. La cancelación de NAB 2020 debido a la pandemia de COVID-19 envió ondas de choque a toda la industria de la radiodifusión. Celebrada anualmente en Las Vegas, la NAB Show es la mayor feria de la radiodifusión con más de 90.000 asistentes de más de 160 países. La mayoría de los 1.600 expositores lanzan nuevos productos y tecnología y para muchas grandes empresas, hasta seis meses de planificación se pone en marcha. En un plazo muy breve, el equipo de Panasonic Pro Video tuvo que idear alternativas para hacer llegar su mensaje mientras trabajaba a distancia desde casa.

Audio + Video + IT. Nuestros editores son expertos en la integración de audio, video e IT. Obtén información diaria, noticias y redes profesionales. Suscríbete a Pro AV Today

En los días previos a la cancelación del NAB Show, el equipo de Panasonic comenzó a buscar opciones para hacer un evento sustitutivo, incluyendo la idea de construir un stand físico donde los clientes pudieran visitar en línea. El equipo de Panasonic Pro Video también estuvo en conversaciones con Paul Lacombe, CEO de DisruptAR, con sede en Nueva Inglaterra, que se especializa en la creación de producciones virtuales. Habiendo comenzado su carrera en General Motors después de la universidad, Lacombe ha estado trabajando en la industria de la producción durante 30 años, comenzando en Silicon Graphics a finales de los años 80 antes de aventurarse por su cuenta a realizar producciones virtuales. DisruptAR se centra en reducir los costes de producción de AR y VR para el mercado en general.

El 16 de marzo, Nueva Jersey, donde se encuentra la sede de Panasonic en EE.UU., entró oficialmente en bloqueo; el 18 de marzo, Lacombe programó la primera demostración para el equipo de Panasonic. El Show 2020 de la NAB fue cancelado el 20 de marzo. “

Tuvimos que decidirnos entre las dos opciones muy rápidamente", revela el gerente de ingeniería de Panasonic, Harry Patel. "La primera opción requería construir físicamente una cabina, traer el producto siguiendo los requisitos de distanciamiento social (menos de 10 personas a la vez) y traer un equipo de filmación. No era práctico y queríamos hacer algo de mayor calidad, aunque no podíamos salir de nuestras casas. Así que, finalmente, esta idea de un evento virtual fue discutida más a fondo y fue aprobada a finales de marzo".

La producción a distancia no es un concepto nuevo. El director Francis Ford Coppola dirigió y editó muchas escenas de su película de 1982, One From the Heart, desde un trailer cerca del set. Pero crear una producción a distancia desde casa durante una pandemia global es otra historia. Sólo fue posible utilizando tecnología de cámara de última generación, motores de juego VR y aplicaciones basadas en la nube.

Para Panasonic, el primer objetivo era crear un mensaje claro con comunicación verbal y escrita traducida a un formato de video más visual. En NAB, los vendedores se comunicaban con los clientes en el piso de exhibición discutiendo soluciones a los problemas de cada uno. El director del grupo de marketing Jim Wickizer y la agencia de relaciones públicas, Racepoint Global, fueron capaces de crear un mensaje coherente y trabajaron con los directores de productos individuales para presentar los puntos de discusión adecuados.

Patel y Wickizer también comenzaron a trabajar con Lacombe a distancia desde su estudio casero para crear entrevistas en vídeo entre los jefes de producto y una presentadora del estudio, Zoe Laiz, que iban a hablar de nuevos productos y tecnología. "Todos hemos tenido entornos de producción desafiantes, pero hacer esto de forma remota con este programa, fue definitivamente un salto de fe", explica Lacombe. "En mis entrañas, sabía que esto podría funcionar pero nunca antes lo había hecho era una preocupación".

Para la grabación a distancia, cada gerente de producto recibió una computadora portátil, un micrófono Blue Yeti USB y una cámara PTZ profesional Panasonic AW-HE42 Full-HD. El HE42 se conectó a través de Ethernet y el Driver USB Virtual PTZ y el video fue llevado al laptop usando OBS para grabar y TeamViewer para control remoto.

Para la comunicación, el intercambio de archivos, la visualización de demostraciones y la supervisión de los rodajes de producción a distancia, Panasonic empleó los equipos de Microsoft, una plataforma de comunicación y colaboración. De la noche a la mañana, plataformas como Teams, Zoom, Ring Central y muchas otras han permitido a las personas y a las empresas comunicarse con el mundo exterior de forma segura desde sus hogares.

Para ver lo que Lacombe estaba capturando en el set durante la producción, Patel usó el Team Screen share creando un quad split usando un conmutador de salida AV-UHS500 a una caja convertidora de SDI a USB. La alimentación USB se presentó en Windows como una alimentación de cámara, que compartieron a través de Equipos.

Mientras supervisaba la grabación de las palabras de apertura del Vicepresidente Senior de Professional Imaging & Visual Systems John Baisley, a través de los equipos, Patel y Wickizer pudieron ver la sala de Baisley en vivo y dar indicaciones sobre si se trataba de un error de lectura de línea, un cambio de fondo o un problema técnico de sonido. A través de los equipos, Patel también pudo proporcionar la dirección de la pantalla observando tanto la pantalla verde como las vistas del set virtual. "Si Zoey estaba de pie justo detrás de una puerta y entra, podíamos ver realmente si la toma era buena o no", explica Patel. "Le diría a Paul a través de los equipos, 'Podría funcionar mejor si se mueve un poco a la derecha'. En términos de colaboración remota, no creo que hubiera sido posible sin el uso de los equipos."

"Fue bastante genial hacer esto a distancia", añade Wickizer. "Teníamos una persona en Boston, Harry y yo estábamos en nuestras casas en Nueva Jersey y teníamos otra persona en la Costa Oeste. Mi hija bajó una vez a nuestro sótano y me preguntó qué estaba haciendo. Estamos haciendo una producción a distancia', le dije. No se lo podía creer".

Para incorporar sets de estudio de RV realistas en una producción en vivo, es esencial capturar datos precisos de posicionamiento de la cámara. Antes de presentar su primera demo para Panasonic, DisruptAR desarrolló un controlador Free-D que permitiría que la cámara AW-UE150 4K Pro PTZ se conectara directamente al motor Unreal, lo que le proporcionó la capacidad de emitir información de Pan/Tilt/Zoom/Iris a través de IP (UDP) directamente desde la cámara al sistema de seguimiento de Unreal en directo sin necesidad de sensores o codificadores adicionales.

"Free-D vino de la BBC a principios de los 90 como un protocolo de rastreo para uno de sus sistemas de rastreo de cámaras", explica Lacombe. "Define los seis grados de libertad - pan, tilt, roll, X,Y,Z, así como el campo de visión, zoom y enfoque. Esos valores se envían al motor de renderizado virtual y se conectan a una cámara virtual para que el fondo responda en tiempo real a 60 fotogramas por segundo".

Según Lacombe, la máquina irreal se ha utilizado en numerosas producciones, desde El Rey Leónhasta El Mandaloriano. "Es la tecnología subyacente utilizada por la mayoría de Hollywood en este momento", dice Lacombe. "Lo están usando como un proxy en su mayor parte, pero el objetivo es el 'pixel final', que es lo que se ve en tiempo real en la pantalla."

"El motor irreal es un motor de juego que se ha aplicado en otros mercados, incluyendo la arquitectura, la visualización CAD y en este caso, la radiodifusión y el cine", dice Lacombe. "Lo estamos usando para llegar al más alto nivel de fotorrealismo, tomando activos de las herramientas tradicionales de DCC como Maya, 3D Studio Max, Blender, usando tarjetas gráficas NVIDIA a 60 cuadros por segundo, dando a los espectadores la fidelidad de características de las lentes como florecimiento, destellos y desenfoque. La calidad que necesitas para llegar al fotorrealismo y el renderizado a 60 cuadros por segundo es esencialmente lo que hace el motor Unreal".

El estudio de Lacombe está en su garaje reconvertido que sólo mide 20 x 24 y su equipo consistía en un solo asistente. Para la pantalla verde, usó un fondo Pro Cyc Portable. Debido a las limitaciones de espacio, Laiz sólo podía caminar unos pocos pasos, por lo que estaban limitados en las cámaras, haciendo del AW-UE150 la herramienta perfecta para el trabajo. Para iluminar su pantalla verde, Lacombe utilizó paneles de LEDs de 14". "La idea es que realmente quieres tener un tono de verde y deshacerte de todas las manchas para que tu manipulador pueda mantener esas sombras", explica Lacombe. "Eliges un verde que quieres eliminar y los verdes más oscuros son las sombras que se superponen en tu set virtual".

A pesar de que trabajaba en los pequeños confines de su garaje, tenía que iluminar su talento con la luz motivadora de un gran estudio. Para iluminar a Laiz, Lacombe usó dos paneles de LED tanto para su llave como para el relleno. También usó algunos focos desde arriba para simular una luz rojiza que venía de las ventanas. "Básicamente estamos tratando de igualar esa dirección y esa temperatura de color sin afectar la pantalla verde", revela Lacombe. "Eso es un desafío porque estás tratando de iluminar el talento separado de la pantalla verde. Las puertas del granero en esos LEDs nos daban más espacio, pero luchábamos por alejarnos del verde y conseguir un mínimo rebote del verde en su ropa y su piel".

En el set, Lacombe usó dos cámaras UE150: la cámara 1 estaba en el lado izquierdo y la cámara 2 en el derecho. Cuando Zoe hacía su turno para enfrentarse a un gerente de producto visto en un monitor vertical, él cambiaba a la cámara 2 a la altura de los ojos de Laiz para obtener el punto de vista simulado del gerente de producto. Hacer coincidir las líneas de visión es un desafío, pero Lacombe dice que podría engañarla un poco sabiendo dónde estaba su posición de inicio. "Si tuvieras dos cámaras, una a 90 grados de la otra a ocho pies de distancia y la otra a cuatro pies de distancia, puedes medir con una cinta métrica y ponerlas en el mundo virtual en esa misma posición. Se adherirán una a la otra a través de las leyes de la física para que parezca que están en esa misma posición. Y entonces puedes hacer un poco de trampa dentro de esas pautas".

Para el diseño del set virtual, Lacombe usó un diseño modificado que estuvo trabajando con otro cliente el año pasado. El diseño se hizo en Maya y se exportó a Unreal. Como el set virtual se realiza de noche, al principio tenían un aspecto más oscuro pero luego decidieron hacerlo un poco más brillante. Añadió el logo de Panasonic y quitó elementos que no eran esenciales para el set de Panasonic. También añadió un monitor que sale del suelo y que Laiz saca por detrás.

En la creación de su propio conjunto virtual, según Lacombe, hay más activos 3D disponibles desde que la visualización arquitectónica en línea ha despegado realmente. Puedes ir a una biblioteca 3D y encontrar activos o modelos 3D y construirla dependiendo de los requisitos de personalización. "Es realmente un ir y venir con el cliente", explica Lacombe. "Añades tus componentes de marketing, la marca, todos los colores y materiales. Una vez que tienes el activo ahí, puedes derribar paredes con un botón, hacer clic o mover las cosas, ajustar los monitores, todo en tiempo real. En el "mundo físico", esto tomaría una considerable cantidad de tiempo y dinero. Una vez que tienes la cosa construida, es fácil de ajustar y volver a".

La producción virtual ha evolucionado a lo largo de las décadas gracias a la experiencia y el refinamiento. Aunque los papeles de una producción física y una producción virtual son esencialmente los mismos, la mayor diferencia es que todos trabajan en el mismo espacio físico. Una vez que se levanta la ordenanza de permanencia en el hogar, se sigue determinando si la verdadera producción remota se convertirá en la norma o no.

"Hay una razón por la que tienes a alguien mirando la llave, alguien mirando el guión, alguien mirando los ángulos de la cámara y el vestuario", dice Lacombe. Todos esos papeles todavía tienen que ser cumplidos y estamos tratando de averiguar la mejor manera de hacerlo a distancia. Hasta ahora, ha funcionado sorprendentemente bien y todos estamos sorprendidos por cómo esto se unió tan rápidamente y evolucionó de manera natural. Aunque tuvimos que usar más sombreros de lo que nos hubiera gustado para esta producción, el siguiente paso lógico es distribuirlo aún más para que otros se involucren para refinar y mejorar el proceso. Pero por primera vez fuera de la puerta, estoy muy contento con los resultados y ansioso por llevarla al siguiente paso".

Para ver el evento virtual de Panasonic, El futuro de la producción de video...haga clic a través de... aquí .

Para obtener más información sobre DisruptAR, visite www.disruptar.com .