Samsung ha aplicado aproximadamente 60 nuevos modelos de IA ejecutados por la unidad de procesamiento neuronal (NPU) para optimizar las funciones de la cámara del teléfono inteligente Galaxy S22 Ultra, dijo un ejecutivo de la compañía.
Esto ha permitido al gigante tecnológico de Corea del Sur ofrecer experiencias de cámara que pueden satisfacer a los usuarios ocasionales con las mejores fotografías posibles y a los usuarios profesionales con archivos RAW equivalentes a los que se toman con las cámaras DSLR, dijo Joshua Sungdae Cho, vicepresidente y jefe de I+D de software visual en MX Business de Samsung, en una entrevista con MarketingyPublicidad.es.
«Aplicamos NPU a nuestros teléfonos inteligentes por primera vez hace tres años», dijo Cho. «En ese momento, estas NPU ejecutaban aproximadamente 10 modelos de IA. En el Galaxy S22 Ultra, ahora hay 60 modelos de IA. Básicamente, la NPU está involucrada en casi todas las funciones de las cámaras».
Los modelos de IA son algoritmos de toma de decisiones que se entrenan a través de un conjunto de datos para aplicarlos a ciertas tareas, mientras que las NPU son chips diseñados específicamente para procesar dichos algoritmos.
Un modelo particular de IA que Samsung usó para el Galaxy S22 Ultra es para el modo retrato, en el que es crucial reconocer la profundidad entre la persona y el fondo para separarlos, también conocido como segmentación.
«Es difícil juzgar la profundidad solo con las cámaras. Algunas cámaras usan sensores de profundidad, pero en lugar de eso, hicimos que los modelos de IA estudiaran una gran cantidad de imágenes relacionadas con la profundidad con varios fondos y objetos», dijo Cho.
«Como tenemos una amplia gama de cámaras en el S22, tenemos el modelo de IA que también entrena usando dos cámaras y estudia imágenes con cables, tazas, vasos en una variedad de condiciones», dijo el vicepresidente.
Zoom y fotografía nocturna
Las cámaras del Galaxy S22 Ultra admiten un zoom óptico de 10x y un zoom digital de 100x. No es el primer modelo en hacerlo, ya que Samsung introdujo el zoom digital de 100x por primera vez hace dos años con el Galaxy S20 Ultra, aunque con una recepción mixta en ese momento.
Pero con el desarrollo de los nuevos modelos de IA, junto con la potencia computacional que ofrece el procesador móvil de 4nm en el último Galaxy S22 Ultra, Samsung confiaba en que la última versión del zoom digital de 100x impresionará a los usuarios, dijo el vicepresidente.
«El tiempo de procesamiento es clave para una característica como el zoom de 100x y tenemos los recursos computacionales para manejarlo. Parte del trabajo lo realiza la NPU y otros la GPU. Y todo esto se hace en un marco de tiempo manejable porque el zoom es esencialmente un área específica del sensor, por ejemplo, una zona de 12 MP de un sensor de 108 MP, por lo que una instantánea con zoom recibe numerosas entradas de esta zona más pequeña de 12 MP.
«Para las imágenes tomadas con un zoom digital superior a 30x, la cámara toma entre diez y veinte imágenes de fondo de una vez. Luego procede a sintetizar los múltiples cuadros. Luego, realiza otro procesamiento posterior para determinar qué detalles quiere mejorar», Cho dijo.
El sensor de la cámara de 108 MP del Galaxy S22 Ultra también puede agrupar hasta nueve píxeles en uno para absorber mejor la luz por la noche. Esta tecnología se combina con modelos de IA entrenados para reducir el ruido y asegurarse de que las imágenes tengan «la sensación de la noche» mientras se aumenta el brillo, dijo el vicepresidente.
«La relación señal-ruido se ve gravemente afectada cuando está oscuro. Así que ideamos un nuevo modelo de IA para reducir el ruido. Hicimos que este modelo de IA se entrenara en varias fotografías tomadas de noche, desde las tomadas con una cámara DSLR hasta las imágenes sintetizadas que creamos que intencionalmente tenía el brillo o el ruido aumentado».
Samsung también cambió la forma en que las cámaras abordan la fotografía nocturna en general: «En los teléfonos Galaxy S anteriores con una cámara de 108 MP, redujimos el número de píxeles a 12 MP y luego ampliamos la imagen a 108 MP. Para el Galaxy S22 Ultra, cuando las fotos se toman a noche, la toma se toma con la cámara de 108 MP y la cámara de 12 MP. Los detalles aproximados de la imagen los proporciona la cámara de 12 MP, mientras que los detalles finos los proporciona la de 108 MP».
Subiendo de nivel cerca de DSLR
Los tres modelos de la serie Galaxy S22 ofrecen modos automático y profesional en su aplicación de cámara habitual, así como la aplicación Expert RAW descargable que proporciona archivos RAW de varios fotogramas que se pueden editar con Adobe Lightroom.
«Realmente queríamos que las cámaras de la serie Galaxy S22 cubrieran al usuario casual y al usuario profesional», dijo Cho. «Los clientes de hoy en día conocen muy bien las cámaras de los teléfonos inteligentes. Por lo tanto, con el modo automático, que está dirigido a la mayoría de los usuarios, tenemos el optimizador de escenas activado de forma predeterminada para brindar los mejores colores para las escenas tomadas con frecuencia en las fotos. También queríamos que la pantalla para ser claro sin íconos, mientras que los valores de la cámara ahora se muestran numéricamente. Queríamos que la interfaz de usuario fuera lo más simple posible».
Mientras que el modo Pro puede tomar archivos RAW, la aplicación Expert RAW ofrece archivos RAW de múltiples cuadros de 16 bits.
«Utilizamos por completo los modelos NPU y AI para los archivos RAW de 16 bits. Una instantánea recopilará veinte tomas del fondo y los usuarios pueden usar hasta cuatro cámaras para el modelo Ultra simultáneamente», dijo el vicepresidente.
Las cámaras DSLR tienen sensores grandes que les permiten tomar imágenes RAW sin ruido, pero hasta ahora, para las cámaras de los teléfonos inteligentes, esto ha sido difícil de emular en entornos con poca luz, ya que incluyen sensores más pequeños. Pero con la potencia computacional que ofrece la NPU en la serie Galaxy S22, sus archivos RAW de 16 bits coinciden con los tomados por las cámaras DSLR, según Cho.
«Los profesionales de hoy en día quieren archivos RAW de sus teléfonos inteligentes. Un teléfono inteligente es una herramienta muy conveniente para ellos, ya que un teléfono inteligente puede darles cuatro lentes en la palma de la mano. Con las cámaras DSLR, tiene que llevar los cuatro lentes. Teníamos muchas ganas de ofrecer a este grupo la misma experiencia de combinación en nuestros teléfonos inteligentes que en una DSLR. Todas las funciones de una DSLR se ofrecen en la serie Galaxy S22, incluida la posedición».
Buscando la mejor configuración de cámara
Cada año, la potencia de procesamiento de las NPU se duplica y se espera que esta tendencia continúe durante al menos los próximos cinco años, dijo el vicepresidente de Samsung.
Las NPU de hoy pueden manejar aritmética de 16 bits y aritmética de punto flotante, y se espera que la velocidad y la precisión de cómo se ejecutan continúen aumentando en los próximos años, dijo Cho.
Junto con este aumento en los recursos computacionales, se espera que la evolución de la fotografía computacional, o técnicas de captura y procesamiento de imágenes digitales, continúe mejorando.
«El tema del que más se habla en la fotografía computacional es la tecnología multicámara. Los investigadores y las empresas todavía están investigando qué configuración de cámara es la mejor. Podríamos agregar más cámaras o menos cámaras. Todavía estamos buscando la configuración multicámara óptima», dijo el dijo el vicepresidente.
«Las cámaras son la pieza central de los teléfonos inteligentes en la actualidad y esperamos que esta tendencia continúe durante la próxima década. Si bien actualmente aplicamos 60 modelos de IA, esperamos que todas las funciones de la cámara, que funcionan con cientos de algoritmos, las ejecute la NPU. .
«Actualmente, los archivos RAW de 16 bits tienen limitaciones en términos de resolución. Esto necesitará una mejora continua. Cuando se trata de videos 4K y 8K, para mejorar la resolución en tiempo real, necesitamos incluso más poder de cómputo que el actual. Esto llevará dos a tres años a partir de ahora».
