Con muchos avances en el campo de la inteligencia artificial, la estimación de la forma humana (HPS) se ha convertido en un campo de investigación cada vez más importante en los últimos años. Con muchas aplicaciones prácticas, incluida la captura de movimiento, la experiencia virtual y la realidad mixta, restaurar cuerpos humanos en 3D se ha vuelto todo un desafío. Un paso en este proceso es estimar las posturas y cómo está dispuesto el cuerpo, además de analizar las formas y características físicas de los cuerpos de los individuos en un espacio tridimensional. Un ejemplo es el uso de modelos paramétricos humanos, como el modelo SMPL, que representa cuerpos humanos con características de forma y posición.

Predecir estos modelos paramétricos a partir de imágenes 2D se ha vuelto mucho más fácil en los últimos años. Sin embargo, en algunas circunstancias, las imágenes 2D tienen desventajas, como la falta de claridad en la profundidad y problemas de privacidad. Aquí es donde los datos de nubes de puntos 3D resultan útiles. La estimación precisa de las posiciones y formas humanas a partir de nubes de puntos 3D es posible gracias a los avances en los sensores de profundidad y al acceso a conjuntos de datos a gran escala.

En un artículo reciente, un equipo de investigadores presentó un marco sistemático llamado PointHPS para obtener HPS 3D precisos a partir de nubes de puntos adquiridas en entornos del mundo real. PointHPS utiliza un diseño en cascada en el que las propiedades de los puntos se mejoran iterativamente en cada iteración. Utiliza un proceso de optimización iterativo en el que los datos de la nube de puntos de entrada se someten a una serie de técnicas de muestreo ascendente y descendente en diferentes etapas. Estos procesos buscan extraer señales locales y globales de los datos.

PointHPS incluye dos módulos avanzados para mejorar los procedimientos de extracción de características. El primero es Cross-Frame Feature Consolidation (CFF), un módulo que permite implementar funciones en múltiples escalas, lo que permite una transferencia eficiente de información entre diferentes fases de la red. Ayuda a mantener el contexto y capturar información. El segundo es IFE (Mejora de características intermedias), que se centra en recopilar características de una manera consciente de la estructura del cuerpo humano. Después de cada etapa, la calidad de los rasgos aumenta, haciéndolos más adecuados para un posicionamiento preciso y una apreciación de la figura.

El equipo realizó pruebas según dos criterios clave para proporcionar una evaluación integral en una variedad de condiciones:

1. Conjunto de datos del mundo real: este conjunto de datos contiene una variedad de participantes y acciones que se registraron en un entorno de laboratorio utilizando sensores comerciales reales. Representa un entorno más desafiante y realista.

2. Creación de conjunto de datos: este conjunto de datos se creó meticulosamente teniendo en cuenta condiciones reales, como personas vistiéndose en espacios al aire libre llenos de gente. También se proporciona control sobre una variedad de parámetros ambientales.

Pruebas exhaustivas han revelado que PointHPS supera a la última tecnología en todas las métricas de evaluación con su sólido enfoque para la extracción y el procesamiento de características puntuales. La eficacia de la construcción en cascada propuesta, que se mejora con los módulos CFF e IFE, se ve respaldada aún más por las investigaciones de ablación. El equipo tiene la intención de publicar sus modelos, códigos y datos previamente entrenados para su uso en HPS adicionales a partir de la investigación de nubes de puntos. Las investigaciones futuras en esta área deberían ser más sencillas, lo que también aumentará la capacidad de estimar con precisión la posición humana y la forma 3D a partir de datos de nubes de puntos del mundo real.

escanear el papel, página del proyectoY github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. Tenemos más de 29k ML SubReddit, Comunidad de Facebook de más de 40.000 personas, canal de discordia, Y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.

Si te gusta nuestro trabajo, te encantará nuestra newsletter.