Las cámaras selfie son una parte vital de cualquier teléfono inteligente – Pero encontrar el lugar perfecto para la cámara frontal a menudo puede ser un obstáculo para una experiencia visual fluida. Sin embargo, gracias a Under Display Camera (UDC), los usuarios pueden decir adiós al pequeño punto negro en la parte frontal de sus pantallas. Samsung Electronics le ha dado a UDC una importante actualización en el recién lanzado Galaxy Z Fold4, brindando a los usuarios una experiencia de pantalla completa inmersiva e ininterrumpida.

Como muchas grandes innovaciones, el último UDC ha sido un esfuerzo de equipo – Impulsado por expertos de Samsung y valiosos comentarios de los consumidores. Para obtener más información sobre el UDC mejorado para el Galaxy Z Fold4, la redacción de Samsung habló con los expertos de Samsung Research,¹ que colaboró ​​en la tecnología.

Siga leyendo para ver lo que tienen que decir Jun Suk Joon Lee, jefe de cámara computacional en Samsung Research America (SRA), y Alok Shukla, jefe de soluciones de visión de inteligencia artificial en Samsung R&D Institute India-Bangalore (SRI-B). Acerca de su colaboración detrás de traer tecnología UDC mejorada.

P: ¿Qué es una cámara UDC?

Seok Joon: Under Screen Camera (UDC) es una solución de cámara innovadora que permite una experiencia de visualización ininterrumpida en un dispositivo móvil ocultando la cámara debajo de la pantalla y personalizando toda la pantalla para los usuarios mientras se ejecutan las aplicaciones. Requiere no solo innovación de hardware colocando la cámara debajo del panel de visualización, sino también innovación algorítmica para restaurar la calidad de la imagen. – Uno de los problemas de recuperación de fotos más complicados.

P: ¿Cómo funciona UDC?

wok: En UDC, hay una cámara frontal en la parte inferior de la pantalla. La densidad de píxeles de la pantalla se reduce en esta área, lo que permite que la pantalla muestre imágenes sin obstrucciones – Pero al mismo tiempo, no impide que la luz llegue a la cámara cuando está en uso. Debido a que la cámara está ubicada debajo de la pantalla, UDC puede sufrir una calidad de imagen deficiente causada por los efectos de difracción, lo que genera destellos, saturación, desenfoque y neblina. Por lo tanto, si bien UDC brinda una mejor experiencia de visualización, también afecta la calidad de imagen de la cámara y otras tareas de visión final. Estas distorsiones complejas y variadas hacen que la recuperación de imágenes UDC sea muy difícil.

P: ¿Por qué UDC es una tecnología importante cuando se trata del Galaxy Z Fold4? ¿Qué valor proporcionas a los clientes?

Seok Joon: Diseñados para ser nuevos y diferentes, los dispositivos plegables de Samsung combinan un teléfono inteligente y experiencias de visualización inmersivas en un dispositivo móvil a través de tecnología de pantalla de vanguardia. Cuando está plegado, ofrece un uso similar al de un teléfono inteligente y, cuando está desplegado, la pantalla brinda una experiencia más inmersiva y productiva. Nuestra investigación de consumo muestra que los usuarios de la serie Galaxy Z Fold prefieren la cámara de la pantalla de cubierta para capturar fotos y selfies, y la pantalla de inicio inmersiva para tareas más productivas como mirar videos, jugar juegos y trabajar en documentos. Por lo tanto, pensamos que UDC se adaptaría bien a sus necesidades de una pantalla ininterrumpida mientras realizaba tareas como abrir videollamadas. Samsung lanzó la primera solución UDC plegable en el Galaxy Z Fold3 y mejoró aún más su calidad en el Galaxy Z Fold4.

wok: Galaxy Z Fold4 realmente revela un mundo de pantallas inmersivas. La tecnología UDC está en el corazón de la búsqueda de una pantalla completa. Al combinar la innovación de tecnología de pantalla de vanguardia con técnicas avanzadas de recuperación de imágenes de IA, Galaxy Z Fold4 ofrece el equilibrio perfecto entre la calidad de la pantalla y la calidad de la imagen de la cámara.

P: ¿Cómo ha mejorado la calidad de imagen de la cámara desde el Galaxy Z Fold3?

wok: Samsung Galaxy Z Fold3 presentó el primer UDC del mundo en un dispositivo plegable. Después de que se lanzó al mercado el Galaxy Z Fold3, uno de los principales comentarios de los consumidores fue hacer que el UDC fuera menos visible. En el Galaxy Z Fold4, se ha mejorado la disposición de los subpíxeles para ocultar aún más el UDC.

Como se mencionó anteriormente, al colocar la cámara debajo de la pantalla, esto puede dar como resultado una calidad de imagen deficiente debido a las distorsiones de difracción, que provocan destellos, saturación, ruido y niebla.

Es por eso que, en el Galaxy Z Fold4, hemos aprovechado el poder de la inteligencia artificial, impulsado por el procesamiento de múltiples cuadros, para desarrollar una nueva canalización de imágenes computacionales para la recuperación de imágenes UDC.

SRI-B, junto con Visual SW R&D Group en MX Business, se centró en desarrollar una Restauración de imágenes de IA para capturar y obtener una vista previa de las imágenes para compensar la aberración óptica en el UDC. Al mismo tiempo, el Laboratorio de Innovación de Procesadores Móviles (MPI) de SRA ha mejorado su algoritmo de imágenes computacionales de múltiples cuadros. El UDC de Galaxy Z Fold4 resuelve desafíos técnicos clave en calidad de imagen para brindar una experiencia única a los clientes finales.

P: Cuéntenos sobre el viaje del Proyecto de Asociación SRA-SRI. ¿Por qué colaboró ​​tu equipo?

Seok Joon: SRA MPI Lab ha trabajado con SRI-B a lo largo de toda la historia de MPI de Samsung, desde la comercialización de la cámara Galaxy Note4 de 2014 hasta el Galaxy Z Fold4 y Z Flip4 de 2022. SRA MPI ha sido líder en investigación y desarrollo de la tecnología de procesamiento de cuadros múltiples MX ( MFP) para UDC, modo nocturno, Expert RAW y otras tecnologías. SRI-B ha contribuido a todas las impresoras multifunción comerciales SRA MPI al proporcionar un increíble software de cámara, control de calidad de imagen, recursos de marketing e investigación y desarrollo de cámaras con IA. Nuestra cooperación tripartita con MX R&D Group, SRA MPI y SRI-B ha sido exitosa – Especialmente cuando el equipo global usa efectivamente las diferencias de zona horaria para completar hitos a tiempo para un proyecto tan complejo. Siempre es un placer trabajar con ellos y unir los éxitos de las cámaras de los dispositivos Galaxy hacia nuestro objetivo compartido de ser la mejor experiencia de cámara para teléfonos inteligentes del mundo.

P: Explique su función laboral y las contribuciones de su equipo a UDC. ¿Cómo contribuyeron a lograr la mejor experiencia de usuario posible?

wok: El Samsung Galaxy Z Fold4 UDC fue un proyecto de I+D complejo, y el papel de SRI-B fue pensar desde una perspectiva holística para obtener la mejor experiencia del consumidor. Esto requiere experiencia multidisciplinaria y una profunda colaboración entre múltiples equipos. Los expertos de SRI-B, SRA-MPI Lab y MX Visual SW R&D Group trabajaron a la perfección para lograr una experiencia integral de UDC.

SRI-B también desempeñó un papel clave en el uso de la NPU para implementar el modelo de IA, logrando un rendimiento en tiempo real en las vistas previas y un tiempo de procesamiento de captura significativamente más rápido que el Samsung Galaxy Z Fold3 UDC. Las vistas previas de la cámara, las grabaciones de video y los escenarios de videollamadas requieren un rendimiento en tiempo real sin perder ningún cuadro. La recuperación de UDC basada en IA con NPU para el procesamiento de vista previa se acelera por primera vez en el Samsung Galaxy Z Fold4. Aunque no se requería procesamiento en tiempo real, dado que la captura de la cámara requería una calidad de imagen más alta que la vista previa, se requería lograr una mejor calidad de imagen con menos tiempo de procesamiento para la experiencia del usuario.

P: ¿Cuáles fueron algunos de los desafíos que enfrentó al desarrollar esta tecnología y cómo los superó?

Seok Joon: La baja transmisión de luz y la difracción de la luz son desafíos importantes para la tecnología de cámaras UDC. Sin embargo, otro desafío que difiere de la canalización de imágenes de la cámara perforada es que la calidad de la captura de UDC se ve afectada no solo por el módulo de la cámara sino también por el panel de visualización. El algoritmo 3D ISP basado en IA de SRA MPI está diseñado con la flexibilidad para ajustar la calidad de la imagen resultante con diferentes características de visualización. Esta flexibilidad en 3D ayudó al ISP a superar estos desafíos.

wok: El enfoque principal de SRI-B ha sido el desarrollo de un módulo de recuperación de imágenes de IA para el Samsung Galaxy Z Fold4 UDC. Estas restauraciones son necesarias tanto para el modo foto como para el modo video. Los escenarios de grabación de video y videollamadas tienen requisitos estrictos para el procesamiento en tiempo real dentro de las restricciones de consumo actuales.

La recuperación de UDC basada en IA se implementó por primera vez en el video UDC del Samsung Galaxy Z Fold4. Para lograr una mejor experiencia de calidad de video que el Galaxy Z Fold3, tuvimos que hacer que el modelo de IA fuera más liviano y al mismo tiempo lograr una buena calidad de restauración. Se han llevado a cabo múltiples experimentos de diseño y entrenamiento de redes para lograr una buena calidad en tiempo real. SRI-B hizo un uso extensivo de NPU y tecnologías cuánticas avanzadas para preparar un modelo de IA más liviano y altamente optimizado que logra un rendimiento en tiempo real con un bajo consumo de corriente.

P: ¿Cuál es su visión para una futura iteración de UDC en Samsung?

wok: El UDC del Samsung Galaxy Z Fold4 ha abierto una nueva dimensión al factor de forma de la cámara del teléfono inteligente. Los UDC en el futuro permitirán colocar sensores de cámara más grandes y múltiples cámaras en posiciones flexibles sin comprometer la experiencia de visualización. Otro gran desafío es la adopción masiva de la tecnología UDC en más productos como la cámara frontal principal. Para que esto suceda, tiene que haber una mejora significativa en la calidad de imagen, el tiempo de procesamiento y la experiencia de visualización de la cámara.

Seok Joon: Como el Galaxy Z Fold4 UDC ofrece una experiencia mucho mejor en términos de ocultar la cámara debajo de la pantalla y mejorar la calidad de la imagen, la dirección de investigación y desarrollo de los próximos dispositivos insignia hará que el UDC sea completamente invisible. Esto proporcionará la mejor experiencia de visualización móvil inmersiva e ininterrumpida mientras se logra la misma calidad de imagen que la cámara perforada.

¹ Samsung Research, como centro avanzado de investigación y desarrollo de Samsung Electronics, lidera el desarrollo de tecnologías futuras para la división Device eXperience (DX) de la compañía.