What is manifold in deep learning?

Manifolds Neuronales: Dimensiones Ocultas del Cerebro

Valoración: 4.27 (8573 votos)

Imagina un cerebro en pleno funcionamiento. Millones, billones de neuronas disparando, cada una con su propio patrón de actividad eléctrica. Si intentáramos representar el estado de este sistema en un instante dado, necesitaríamos un punto en un espacio con tantas dimensiones como neuronas (o incluso más, si consideramos diferentes aspectos de su actividad). Este es un espacio de muy alta dimensión, virtualmente imposible de visualizar o comprender intuitivamente.

Sin embargo, a pesar de esta inmensa complejidad, la investigación en neurociencia, especialmente en las últimas décadas con la capacidad de registrar la actividad de grandes poblaciones neuronales simultáneamente (gracias a tecnologías como las sondas Neuropixels), ha revelado un fenómeno sorprendente: la actividad colectiva de estas poblaciones a menudo no ocupa todo este vasto espacio de alta dimensión. En cambio, se restringe a subespacios de menor dimensión, estructuras curvas incrustadas dentro del espacio total. Estas estructuras son lo que en matemáticas y neurociencia computacional se conoce como manifolds neuronales.

What is a manifold in neuroscience?
The neural manifold is the continuous set of points in a state space that are explored by neural population activity (see the figure, part c).Apr 13, 2023

Piensa en un manifold como una superficie. Una línea es un manifold de 1 dimensión. La superficie de una esfera (como la Tierra) es un manifold de 2 dimensiones, aunque esté curvada e incrustada en nuestro espacio 3D habitual. En neurociencia, los manifolds son estas superficies de menor dimensión donde reside la actividad de la población neuronal. La idea central es que, aunque cada neurona individual puede tener un patrón de disparo complejo y aparentemente caótico, la combinación de las actividades de muchas neuronas se organiza de una manera mucho más estructurada y predecible, confinada a este subespacio de baja dimensión.

Índice de Contenido

¿Por Qué la Actividad Neuronal Reside en Manifolds de Baja Dimensión?

La existencia de manifolds neuronales no es solo una curiosidad matemática; tiene profundas implicaciones para cómo entendemos la computación cerebral. Sugiere que la información relevante para una tarea o estado cognitivo particular (como la ubicación espacial, la dirección de la cabeza, el estado de la memoria o la decisión que se está tomando) no está codificada de forma independiente por cada neurona, sino por el *patrón colectivo* de actividad del grupo. Y este patrón colectivo puede describirse con un número de variables mucho menor que el número total de neuronas.

Esta reducción de la dimensionalidad es crucial. Un espacio de menor dimensión es más manejable, más fácil de navegar y, computacionalmente, más eficiente. Se cree que los manifolds neuronales reflejan las restricciones intrínsecas del circuito neuronal: la forma en que las neuronas están conectadas y cómo interactúan entre sí (su dinámica). Estas interacciones hacen que ciertos patrones de actividad sean mucho más probables o estables que otros, limitando la actividad colectiva a la superficie del manifold.

Además, la estructura del manifold puede codificar directamente la información. Por ejemplo, si la actividad neuronal representa la dirección en la que mira un animal, y esa dirección varía continuamente (0 a 360 grados), es posible que el manifold sea una estructura circular (un anillo), donde cada punto del anillo corresponde a una dirección específica. A medida que el animal gira, el estado de actividad de la población neuronal se mueve a lo largo de este manifold circular.

Ejemplos Clásicos de Manifolds Neuronales

El concepto de manifolds, aunque no siempre llamado explícitamente así al principio, ha estado implícito en varias áreas de la neurociencia durante décadas. Algunos de los ejemplos más estudiados incluyen:

Manifolds de Dirección de la Cabeza

En el cerebro de roedores y otros animales, existen neuronas llamadas "células de dirección de la cabeza" que disparan selectivamente cuando el animal mira en una dirección particular. La actividad de una población de estas células codifica la dirección actual de la cabeza del animal. Cuando el animal cambia de dirección, el patrón de actividad de la población cambia de forma predecible.

La actividad colectiva de estas células en un momento dado puede ser representada como un punto en un espacio de alta dimensión (una dimensión por célula). Sin embargo, a medida que la dirección de la cabeza varía de 0 a 360 grados, este punto se mueve a lo largo de un camino que, cuando se visualiza utilizando técnicas de reducción de dimensionalidad, a menudo se parece a un anillo o un toro (la superficie de una dona). Este es un ejemplo clásico de un manifold neuronal que representa una variable continua: la dirección angular.

Manifolds de Células de Rejilla (Grid Cells)

Las células de rejilla, encontradas en la corteza entorrinal medial, son fundamentales para la navegación espacial. Disparan cuando un animal se encuentra en múltiples ubicaciones que forman un patrón hexagonal regular en el entorno. La actividad de una población de células de rejilla codifica la posición del animal dentro de su entorno.

La actividad de esta población de células también se organiza en un manifold de baja dimensión. Dado que la ubicación en un plano 2D requiere dos variables continuas (coordenadas x e y), uno podría esperar un manifold 2D. Sin embargo, debido a la periodicidad del patrón de disparo de las células de rejilla, el manifold resultante es a menudo una estructura más compleja, como un toro de 2 dimensiones (similar a la superficie de una dona, pero en un espacio de mayor dimensión), donde cada punto en el toro corresponde a una ubicación única dentro del patrón de rejilla.

What is a manifold in neuroscience?
The neural manifold is the continuous set of points in a state space that are explored by neural population activity (see the figure, part c).Apr 13, 2023

Manifolds en Memoria de Trabajo y Toma de Decisiones

Más allá de la navegación espacial, los manifolds también se han identificado en áreas corticales involucradas en funciones cognitivas superiores, como la memoria de trabajo y la toma de decisiones. Durante una tarea de memoria de trabajo, donde se debe retener información durante un corto período, la actividad neuronal persistente en áreas como la corteza prefrontal puede mantener el estado de la memoria. Esta actividad persistente a menudo reside en un manifold, donde diferentes puntos o trayectorias en el manifold corresponden a diferentes ítems o parámetros que se están manteniendo en la memoria.

De manera similar, durante la toma de decisiones perceptuales o cognitivas, la actividad de poblaciones neuronales en áreas como la corteza parietal o prefrontal a menudo muestra una acumulación gradual de "evidencia" a favor de una opción u otra. Esta dinámica se desarrolla en un manifold, donde el estado del sistema se mueve desde un estado inicial hacia uno de varios estados de "decisión" estables (atractores) en el manifold. La trayectoria específica y el punto de llegada en el manifold codifican la decisión tomada y, a veces, incluso la confianza en esa decisión.

La presencia de estos manifolds en la memoria de trabajo y la toma de decisiones sugiere que estas funciones cognitivas se basan en la dinámica colectiva de las poblaciones neuronales, que se desarrolla sobre estructuras de baja dimensión en el espacio de actividad.

Manifolds y Dinámica Neuronal

La relación entre los manifolds neuronales y la dinámica neuronal es íntima. El manifold define el espacio donde la dinámica puede ocurrir. La dinámica, a su vez, describe cómo el estado del sistema neuronal se mueve a lo largo del manifold con el tiempo. Conceptos como los atractores (estados estables hacia los que converge la dinámica) a menudo se entienden mejor en el contexto de los manifolds. Un atractor podría ser un punto o una región en el manifold donde el sistema "descansa" cuando se encuentra en un estado particular (por ejemplo, manteniendo un ítem en la memoria de trabajo o habiendo tomado una decisión).

La forma del manifold y la naturaleza de la dinámica en su superficie son, por lo tanto, fundamentales para comprender la computación realizada por el circuito neuronal. Un manifold con una estructura de anillo es ideal para representar variables circulares (como la dirección). Un manifold con múltiples atractores podría ser adecuado para representar diferentes categorías o decisiones posibles. La dinámica en el manifold puede ser continua (moviéndose suavemente a lo largo de la superficie) o discreta (saltando entre diferentes regiones o atractores).

Identificando Manifolds Neuronales

Dado que no podemos visualizar directamente espacios de muy alta dimensión, la identificación de manifolds neuronales se basa en técnicas de reducción de dimensionalidad. Estas técnicas toman datos de alta dimensión (la actividad de muchas neuronas) y encuentran una representación de menor dimensión que preserva, en la medida de lo posible, las relaciones importantes entre los puntos de datos.

Las técnicas pueden ser lineales, como el Análisis de Componentes Principales (PCA), que encuentra las direcciones en el espacio de alta dimensión que explican la mayor varianza de los datos. Sin embargo, los manifolds neuronales a menudo son estructuras curvas y no lineales, lo que requiere el uso de técnicas de reducción de dimensionalidad no lineal, como t-SNE, UMAP o métodos más recientes desarrollados específicamente para datos de series temporales neuronales (como autoencoders secuenciales o modelos de sistemas dinámicos latentes).

Estas técnicas nos permiten "desenrollar" o proyectar el manifold de alta dimensión en un espacio 2D o 3D para su visualización, revelando la estructura oculta de la actividad neuronal.

What is the manifold capacity theory?
The Manifold Capacity Theory (MCT) (Chung et al., 2018) quantifies the neural manifold's representational efficiency through the classification capacity (Gardner, 1988), which measures the amount of linearly decodable information per neuron (Fig.
CaracterísticaPCA (Lineal)Manifold Learning (No Lineal)
Tipo de Estructura IdentificadaSubespacios lineales (hiperplanos)Subespacios curvos (manifolds)
PreservaMayor varianza globalEstructura local (distancias entre puntos vecinos)
Adecuado para datosLinealmente separables o con estructura linealCon estructura no lineal compleja
InterpretaciónComponentes principales (combinaciones lineales de variables originales)Menos directo; a menudo requiere visualización y análisis de la estructura geométrica
Aplicación en NeurocienciaAnálisis exploratorio, reducción de ruido, a veces suficiente para dinámicas casi linealesRevelar la geometría de la codificación neuronal en sistemas complejos (navegación, memoria, decisión)

Manifolds en Neurociencia vs. Manifolds en Deep Learning

Es importante distinguir el uso del término "manifold" en neurociencia del "Manifold Learning" en el campo del Deep Learning (Aprendizaje Profundo). Aunque ambos comparten la idea de encontrar estructuras de baja dimensión en datos de alta dimensión, el contexto y el objetivo son diferentes:

  • En Neurociencia: Nos referimos a una propiedad intrínseca de la actividad neuronal *real*. El cerebro, a través de su cableado y dinámica, genera actividad que naturalmente reside en un manifold. El objetivo es *descubrir* este manifold para entender cómo el cerebro codifica la información y realiza cómputos.
  • En Deep Learning (Manifold Learning): Nos referimos a un conjunto de *técnicas* algorítmicas para encontrar una representación de baja dimensión de un conjunto de datos arbitrario. El objetivo es *transformar* datos de alta dimensión en una representación de baja dimensión para visualización, compresión o como paso previo para otras tareas de aprendizaje automático.

Aunque los algoritmos de Manifold Learning pueden ser herramientas poderosas para analizar datos neuronales y *revelar* la presencia de manifolds neuronales, el manifold en neurociencia es una característica del sistema biológico en sí mismo, no solo una técnica de análisis de datos.

Preguntas Frecuentes sobre Manifolds Neuronales

¿Todos los tipos de actividad neuronal residen en manifolds de baja dimensión?

La evidencia sugiere que las poblaciones neuronales involucradas en la codificación de variables continuas o en la realización de cómputos complejos a menudo muestran actividad confinada a manifolds. Sin embargo, no toda la actividad neuronal puede ser fácilmente descrita de esta manera. La dimensionalidad efectiva de la actividad puede variar dependiendo de la región cerebral, la tarea y el estado del animal.

¿Cómo se relacionan los manifolds con la codificación poblacional?

Los manifolds son una manifestación de la codificación poblacional. La información no está en la actividad de una sola neurona, sino en el patrón de actividad de toda una población. El manifold describe la geometría de estos patrones de actividad colectiva que son relevantes o posibles para el sistema.

¿Puede la forma del manifold cambiar?

Sí, la estructura del manifold puede ser plástica. Por ejemplo, el aprendizaje o la adaptación a nuevas tareas podrían modificar la forma o la dimensionalidad del manifold neuronal, reflejando una reorganización de la forma en que se codifica la información.

¿Los manifolds neuronales son siempre suaves y continuos?

Idealmente, un manifold matemático es suave. En la práctica, la actividad neuronal es ruidosa y discreta (basada en picos de actividad). Los manifolds neuronales identificados a partir de datos experimentales son a menudo aproximaciones, y pueden presentar irregularidades o discontinuidades. Sin embargo, la hipótesis subyacente es que hay una estructura geométrica de baja dimensión que subyace a la actividad observada.

Conclusión

El concepto de manifold neuronal ofrece una poderosa lente a través de la cual examinar la actividad de las grandes poblaciones de neuronas. Al revelar que la compleja actividad de alta dimensión se organiza en estructuras de baja dimensión, nos proporciona una manera más manejable de comprender cómo el cerebro codifica información y realiza cómputos. Desde la navegación espacial hasta la memoria de trabajo y la toma de decisiones, la identificación y el análisis de estos manifolds están ayudando a desentrañar los principios fundamentales de la computación en circuitos neuronales reales.

La investigación futura, impulsada por tecnologías de grabación de poblaciones neuronales cada vez más sofisticadas y por técnicas de análisis de datos más avanzadas, sin duda continuará explorando la naturaleza, la plasticidad y el papel computacional de estos fascinantes espacios de actividad neuronal.

Si quieres conocer otros artículos parecidos a Manifolds Neuronales: Dimensiones Ocultas del Cerebro puedes visitar la categoría Neurociencia.

Foto del avatar

Jesús Porta Etessam

Soy licenciado en Medicina y Cirugía y Doctor en Neurociencias por la Universidad Complutense de Madrid. Me formé como especialista en Neurología realizando la residencia en el Hospital 12 de Octubre bajo la dirección de Alberto Portera y Alfonso Vallejo, donde también ejercí como adjunto durante seis años y fui tutor de residentes. Durante mi formación, realicé una rotación electiva en el Memorial Sloan Kettering Cancer Center.Posteriormente, fui Jefe de Sección en el Hospital Clínico San Carlos de Madrid y actualmente soy jefe de servicio de Neurología en el Hospital Universitario Fundación Jiménez Díaz. Tengo el honor de ser presidente de la Sociedad Española de Neurología, además de haber ocupado la vicepresidencia del Consejo Español del Cerebro y de ser Fellow de la European Academy of Neurology.A lo largo de mi trayectoria, he formado parte de la junta directiva de la Sociedad Española de Neurología como vocal de comunicación, relaciones internacionales, director de cultura y vicepresidente de relaciones institucionales. También dirigí la Fundación del Cerebro.Impulsé la creación del grupo de neurooftalmología de la SEN y he formado parte de las juntas de los grupos de cefalea y neurooftalmología. Además, he sido profesor de Neurología en la Universidad Complutense de Madrid durante más de 16 años.

Subir