Hong Kong, 27 de mayo de 2024 /PRNewswire/ — A medida que la inteligencia artificial generativa (GenAI) ha transformado el panorama de la interacción social en los últimos años, los grandes modelos de lenguaje (LLM), que utilizan algoritmos de aprendizaje profundo para entrenar plataformas GenAI para procesar el lenguaje, han pasado a ser el centro de atención. Un estudio reciente realizado por la Universidad Politécnica de Hong Kong (PolyU) encontró que el desempeño de los estudiantes de maestría se asemeja al cerebro humano cuando se les entrena de manera más similar a cómo los humanos procesan el lenguaje, lo que aporta importantes conocimientos para los estudios del cerebro y el desarrollo de modelos de inteligencia artificial.

Los grandes modelos de lenguaje (LLM) existentes se basan principalmente en un tipo de entrenamiento previo: la predicción de palabras contextuales. Esta sencilla estrategia de aprendizaje ha tenido un éxito sorprendente cuando se combina con datos de entrenamiento masivos y parámetros de modelo, como se demuestra en LLM populares como ChatGPT. Estudios recientes también sugieren que la predicción de palabras en MA puede servir como un modelo razonable de cómo los humanos procesan el lenguaje. Sin embargo, los humanos no sólo predicen la siguiente palabra, sino que también incorporan información de alto nivel a la comprensión del lenguaje natural.

Equipo de investigación liderado Profesor para mí Peng, decano de la Facultad de Humanidades y profesor de Humanidades y Tecnología de la Fundación Sin-Yi-Kin en PolyU, investigó la tarea de Predicción de la siguiente oración (NSP), que imita un proceso central de comprensión a nivel del discurso en el cerebro humano para evaluar si un par de oraciones es coherente, al entrenar previamente el modelo y examinar la relación entre los datos del modelo y el cerebro. activación. El estudio fue publicado recientemente en una revista académica. Avance de la ciencia.

El equipo de investigación entrenó dos modelos, uno con refuerzo de NSP y otro sin él, y ambos también aprendieron a predecir palabras. Se recopilaron datos de imágenes por resonancia magnética funcional (fMRI) de sujetos que leían oraciones conectadas u oraciones discretas. El equipo de investigación examinó qué tan bien los patrones de cada modelo coincidían con los patrones cerebrales de los datos cerebrales de fMRI.

Estaba claro que la formación con NSP aportaba beneficios. El modelo con NSP coincide mucho mejor con la actividad del cerebro humano en múltiples regiones que un modelo entrenado sólo para predecir palabras. Su mecanismo también se corresponde bien con los modelos neuronales establecidos de comprensión del habla humana. Los resultados brindaron nuevos conocimientos sobre cómo nuestros cerebros procesan discursos completos, como las conversaciones. Por ejemplo, partes del lado derecho del cerebro, no sólo el lado izquierdo, ayudaron a comprender el habla más larga. Un modelo entrenado con NSP puede predecir mejor qué tan rápido alguien puede leer, lo que demuestra que simular la comprensión del habla a través de NSP ha ayudado a la IA a comprender mejor a los humanos.

Los LLM modernos, incluido ChatGPT, se han basado en un aumento significativo de los datos de entrenamiento y el tamaño del modelo para lograr un mejor rendimiento. Profesor Li Ping «Existen limitaciones al depender únicamente de esta expansión», dijo. «Los desarrollos también deberían apuntar a hacer que los modelos sean más eficientes, basándose en menos datos en lugar de más. Nuestros hallazgos sugieren que diversas tareas de aprendizaje como NSP pueden mejorar los MBA para convertirse en » Más parecido a lo humano y quizás más cercano a la inteligencia humana.»

Y añadió: “Más importante aún, los resultados muestran cómo los investigadores en el campo de la neurocognición pueden beneficiarse de la Maestría en Lenguaje para estudiar mecanismos del lenguaje de nivel superior en nuestro cerebro. También mejoran la interacción y la colaboración entre investigadores en los campos de la inteligencia artificial y la inteligencia artificial. neurocognición, que conducirá a estudios «Futuros sobre estudios cerebrales basados ​​en IA, así como IA inspirada en el cerebro».

Contacto con los medios
EM Annie Wong
Director Senior de Asuntos Públicos
Teléfono: +852 3400 3853
correo electrónico: [email protected]

Fuente: Universidad Politécnica de Hong Kong