What is sparse coding in neuroscience?

Codificación Dispersa en Neurociencia

Valoración: 3.93 (6644 votos)

El cerebro se enfrenta al desafío fundamental de extraer información relevante de estímulos externos de alta dimensionalidad. Esta información es crucial para formar la base neuronal que guía el comportamiento de un organismo y su interacción con el mundo. Para lograr patrones de comportamiento complejos, las poblaciones de neuronas interconectadas deben realizar un rico repertorio de operaciones sobre sus entradas sinápticas, considerando el contexto, la experiencia y las limitaciones anatómicas. A menudo, los "cuellos de botella" anatómicos fuerzan la compresión de información de un gran número de neuronas a una población mucho menor de neuronas aguas abajo. Un enfoque potencial para abordar este desafío es reducir el número de variables necesarias para representar un espacio de entrada particular, lo que se conoce como reducción de dimensionalidad.

What is sparse coding in neuroscience?
A sparse code is a trade-off between a local code (in which a context is represented by the activity of a single neuron, and different contexts are represented by different neurons) and a dense code (in which all neurons are active, and their combined activity is used to encode each context).Jun 27, 2019

Respaldada por estudios computacionales recientes, existe una creciente evidencia de que una amplia gama de respuestas neuronales puede entenderse como una propiedad emergente de la codificación dispersa no negativa (NSC), un esquema de codificación poblacional eficiente basado en la reducción de dimensionalidad y restricciones de dispersión.

Índice de Contenido

¿Qué es la Codificación Dispersa?

En el contexto de las redes neuronales, la codificación dispersa es un esquema en el que la información se representa por la actividad de una pequeña proporción de neuronas en una población. Existen diversas definiciones de dispersión en la literatura, lo que a veces genera debate sobre qué códigos pueden considerarse dispersos.

Consideremos tres tipos de códigos poblacionales:

  • Código Local: Un evento o "contexto" único es codificado por una sola neurona activa (a veces llamada "célula abuela"). Estos códigos sufren de baja capacidad de representación, ya que una población de N neuronas puede codificar como máximo N contextos, y requieren un gran número de neuronas para cubrir el espacio de contextos posibles. No sufren de interferencia entre neuronas.
  • Código Denso: Cada contexto es representado por la actividad combinada de todas las neuronas en la población. En teoría, los códigos densos tienen una alta capacidad de representación, pero sufren de "diafonía" neuronal porque cada neurona está involucrada en cada contexto.
  • Código Disperso: Se describe como un equilibrio entre los beneficios y desventajas de los códigos densos y locales. Cada contexto es codificado por un subconjunto diferente de neuronas en la población. La codificación dispersa generalmente reduce la actividad neuronal total necesaria para representar información.

La dispersión, en este contexto, es un concepto de la teoría de la información relacionado con la eficiencia y completitud con la que se codifica la información. Es importante notar que la actividad poblacional empíricamente observada como "dispersa" en ciertas áreas cerebrales no implica necesariamente que esa área implemente un esquema de codificación dispersa en el sentido teórico.

El Principio de Codificación Eficiente

Las primeras teorías de codificación eficiente se desarrollaron basándose en el sistema visual. Se señaló que existe un grado significativo de redundancia en las imágenes visuales naturales debido a correlaciones espaciales y temporales. Por ejemplo, los valores de luminancia de píxeles cercanos en una imagen natural suelen estar altamente correlacionados. Estas regularidades estadísticas limitan las imágenes que un sistema visual probablemente encontrará a una pequeña fracción del conjunto de todas las imágenes posibles. Se argumentó, por lo tanto, que el sistema visual no debería desperdiciar recursos procesando imágenes arbitrarias, sino que debería usar el conocimiento estadístico sobre su entorno para representar el espacio de entrada relevante de la manera más económica posible.

Extendiendo esta idea al nivel neuronal, se propuso que el objetivo de las primeras neuronas en el procesamiento sensorial es transformar las entradas visuales crudas en una representación eficiente para extraer la mayor cantidad de información posible con recursos neuronales limitados. Este principio de codificación eficiente ha logrado explicar una amplia variedad de propiedades de respuesta neuronal en el sistema visual temprano, como la estructura centro-periferia de los campos receptivos en la retina, las señales temporalmente descorrelacionadas en el núcleo geniculado lateral (LGN) y la codificación de escenas naturales en la corteza visual primaria (V1).

A nivel de neuronas individuales, la codificación eficiente sugiere que la información transportada por la respuesta de una neurona puede maximizarse utilizando todos los niveles de respuesta con igual frecuencia. Esto amplifica las entradas en proporción a su frecuencia esperada de ocurrencia.

What is the meaning of sparse coding?
Sparse coding means representing a signal as a linear combination of a few atoms of a given (often overcomplete) dictionary (Lewicki and Sejnowski, 2000).

A nivel de poblaciones neuronales, las respuestas neuronales deben estar tanto descorrelacionadas (es decir, ser independientes entre sí) como dispersas (es decir, involucrar solo una pequeña fracción de neuronas en la población).

Codificación Dispersa No Negativa (NSC)

La Codificación Dispersa No Negativa (NSC) es un caso especial de codificación dispersa lineal. Comparte el objetivo de describir datos observados con precisión como una superposición de un conjunto de funciones base activadas de forma dispersa, y también impone la reducción de dimensionalidad. Además, la NSC requiere que todas las funciones base y los valores de activación sean no negativos. Esta restricción de no negatividad, a menudo lograda mediante la Factorización de Matriz No Negativa (NMF), fuerza a las diferentes funciones base a sumarse linealmente, lo que lleva a representaciones distintivas basadas en partes.

Matemáticamente, la NSC busca una descomposición lineal de una matriz de datos V (donde las columnas son observaciones o estímulos y las filas son características) en dos matrices: W (funciones base) y H (valores de activación), minimizando el error de reconstrucción entre V y el producto WH, mientras se garantiza que H sea dispersa y tanto W como H sean no negativos.

El objetivo de la NSC es encontrar una descomposición que minimice una función de costo que equilibra el error de reconstrucción y la dispersión de H. Un parámetro crucial, λ, controla este equilibrio. Si λ es cero, se reduce a la NMF estándar. Un λ positivo enfatiza la dispersión de H.

Las funciones base obtenidas en la NSC pueden interpretarse como los pesos de conexión de una población de neuronas simuladas en una red neuronal artificial. La respuesta de una neurona modelo a un estímulo particular se calcula mediante el producto punto de sus pesos de conexión (una columna de W) y el vector de datos del estímulo (una columna de V), pasando el resultado a través de una función de activación.

Un parámetro abierto en los modelos NSC es el número de funciones base (B), que controla el poder predictivo del modelo. Con pocas funciones base, el modelo subajusta los datos (alto error de reconstrucción). Con demasiadas, sobreajusta, aprendiendo ruido o correlaciones espurias. Un modelo exitoso encuentra un compromiso, minimizando el error de generalización en datos no vistos (test).

What is sparsity in neuroscience?
Neurons represent 'sparse' features and feature combinations. A sparse representation is overcomplete and minimizes the number of active neurons (not the total number of neurons). Sparse coding is also a practical computational strategy for learning an efficient representation (and causal model!) of complex signals.

La ausencia de pesos negativos en la formulación matemática no impide el modelado de conexiones inhibitorias. Estas pueden incorporarse modelándolas como conductancias sinápticas no negativas o, más recientemente, eliminando la restricción de no negatividad en W (permitiendo pesos positivos y negativos) mientras se mantiene la no negatividad en H para preservar la calidad de las representaciones basadas en partes.

Evidencia Empírica de NSC en el Cerebro

Existe un gran cuerpo de investigación que destaca el papel de la NSC en la función de diversas áreas cerebrales. Aunque sus raíces están en las teorías de codificación eficiente para el procesamiento de imágenes, modelos computacionales basados en NSC han encontrado aplicación fuera de la corteza visual.

Áreas Sensoriales

  • Corteza Visual Temprana (V1, V2): La NSC se ha aplicado extensamente a la corteza visual temprana, explicando con éxito la sintonización de orientación y frecuencia de las células simples y complejas en V1, así como la agrupación de canales de frecuencia espacial en V2. Los modelos basados en NSC pueden generar campos receptivos (RFs) que se asemejan cualitativamente a los observados experimentalmente. Sin embargo, existe controversia; algunos estudios recientes sugieren que la actividad neuronal en V1 del ratón y el mono puede no ser tan dispersa ni de baja dimensionalidad como se pensaba, y que las neuronas pueden codificar tanto estímulos visuales como variables de comportamiento en una representación mixta.
  • Corteza Inferotemporal (IT): La noción de reconocimiento de objetos basado en partes es compatible con modelos jerárquicos. La aplicación de NMF a bases de datos de imágenes faciales ha producido características dispersas y localizadas que se asemejan a partes de una cara, de manera similar a las respuestas observadas en el área IT. Esto sugiere que las representaciones basadas en partes recuperadas por NMF son reminiscentes del procesamiento neuronal en IT, un área involucrada en la codificación de identidad de objetos de alto nivel.
  • Retina: Modelos basados en NMF han logrado reconstruir trenes de espigas neuronales de la retina de salamandra. Combinando el promedio activado por espigas (STA) con NMF (STNMF), se ha podido identificar la disposición de las subunidades de las células ganglionares de la retina, que corresponden a células bipolares presinápticas individuales.
  • Corteza Auditiva: De manera análoga a la corteza visual, se cree que el sistema auditivo descompone las señales acústicas en un conjunto de características elementales. Modelos computacionales basados en NSC han sido muy exitosos describiendo los RFs espectro-temporales de neuronas en la corteza auditiva primaria (A1). La representación cortical de señales auditivas parece ser dispersa y basarse en características acústicas estadísticamente independientes.
  • Corteza Olfativa: A diferencia de otras modalidades sensoriales, las dimensiones perceptuales básicas del olfato no están claras. El olfato es intrínsecamente de alta dimensionalidad. Evidencia reciente sugiere que la aplicación de NMF a datos perceptuales de olores puede revelar un conjunto de funciones base activadas de forma dispersa que describen con precisión cualquier olor, revelando dimensiones perceptuales significativas a lo largo de las cuales se organiza el espacio olfativo.
  • Corteza Somatosensorial (S1): En áreas tempranas de S1, se observan paralelos con el procesamiento disperso y reducido de información en otras cortezas sensoriales primarias. La actividad puede ser extremadamente dispersa (corteza de barril en roedores), y las neuronas actúan como filtros de Gabor para la orientación táctil. Sin embargo, en etapas posteriores de S1 (como el área 2 en primates) que integran estímulos táctiles y propioceptivos, las propiedades de respuesta complejas podrían argumentar en contra de un código disperso y basado en partes.

Áreas Asociativas y Basales

  • Corteza Retroesplenial (RSC): Evidencia reciente sugiere que la NSC puede explicar propiedades de respuesta en RSC, un área importante para la navegación y la memoria espacial. Las neuronas en RSC codifican conjuntamente múltiples variables relacionadas con el entorno, la posición y el movimiento (posición, dirección de la cabeza, velocidad lineal, velocidad angular), permitiendo la representación de características espaciales con respecto a múltiples marcos de referencia. La aplicación de NMF con restricción de dispersión a variables de comportamiento ha revelado una representación dispersa y basada en partes para estas variables, con neuronas modelo que se asemejan a las categorías funcionales observadas experimentalmente.
  • Ganglios Basales: Aunque se menciona brevemente en el texto proporcionado, la NSC también podría desempeñar un papel en la coordinación del movimiento a través de los ganglios basales, un área con una convergencia masiva de entradas corticales.

Limitaciones del Modelo

Aunque la NSC ha demostrado ser un marco teórico útil para comprender las propiedades de respuesta de las neuronas en varias áreas cerebrales, especialmente en las sensoriales, no se aplica universalmente a todas las regiones del cerebro. Por ejemplo, áreas motoras o de función ejecutiva podrían no emplear este mismo esquema de codificación. Además, incluso en áreas donde se ha encontrado evidencia (como V1), estudios recientes plantean dudas sobre la ubicuidad de la dispersión y la baja dimensionalidad.

La NSC, particularmente en su forma de NMF, se centra en representaciones basadas en partes aditivas. Esto es muy útil para estímulos donde la suma de partes forma el todo (como caras o flujos ópticos), pero puede no ser adecuado para todos los tipos de información neuronal o para áreas que dependen fuertemente de interacciones sustractivas o no lineales complejas.

Preguntas Frecuentes sobre la Codificación Dispersa en Neurociencia

¿Qué significa que un código neuronal sea disperso?
Significa que, en una población de neuronas, solo un pequeño subconjunto de ellas está activo en un momento dado para representar una pieza particular de información o estímulo.
¿Por qué es útil la codificación dispersa para el cerebro?
La codificación dispersa ofrece un equilibrio entre la capacidad de memoria de los códigos densos y la falta de interferencia de los códigos locales. Permite representar eficientemente información de alta dimensionalidad utilizando recursos neuronales limitados, reduce la actividad total y facilita la distinción entre diferentes representaciones (minimiza la diafonía).
¿Qué es la Codificación Dispersa No Negativa (NSC)?
Es una forma de codificación dispersa lineal que, además de buscar la dispersión y la reducción de dimensionalidad, impone la restricción de que tanto las funciones base como los valores de activación sean no negativos. Esto tiende a generar representaciones basadas en partes.
¿Dónde se ha encontrado evidencia de NSC en el cerebro?
Se ha encontrado evidencia convincente en varias áreas sensoriales como la corteza visual (V1, V2, IT, MSTd), la retina, la corteza auditiva y olfativa, y partes de la corteza somatosensorial (S1). También se ha observado en áreas asociativas como la corteza retroesplenial (RSC) y se sugiere un posible papel en los ganglios basales.
¿La codificación dispersa es el único esquema de codificación utilizado por el cerebro?
No. El cerebro utiliza una variedad de esquemas de codificación poblacional y temporal. La codificación dispersa es un principio que parece aplicarse a ciertas áreas y tipos de procesamiento, particularmente en la representación eficiente de estímulos sensoriales y variables conductuales, pero no es universal.

Comparación de Esquemas de Codificación Poblacional

Esquema de CodificaciónDescripciónNeuronas Activas por EstímuloCapacidad de RepresentaciónDiafonía/InterferenciaEjemplo Conceptual
LocalCada estímulo/contexto activan una única neurona específica.Muy pocas (idealmente, una)Baja (N neuronas → N contextos)Muy baja"Célula abuela" para un concepto específico.
DensoCada estímulo/contexto activan la mayoría o todas las neuronas de la población.Muchas/TodasAlta (M niveles de actividad → M^N contextos)AltaRepresentación distribuida donde cada neurona contribuye a muchos estímulos.
DispersoCada estímulo/contexto activan un subconjunto pequeño y diferente de neuronas.Pocas (un subconjunto)Moderada/Alta (compromiso)Baja/Moderada (compromiso)Representación eficiente encontrada en áreas sensoriales.

En resumen, la codificación dispersa, y en particular la codificación dispersa no negativa (NSC), emerge como un principio fundamental subyacente a la organización de las respuestas neuronales en muchas áreas cerebrales, especialmente aquellas involucradas en el procesamiento sensorial y la representación de variables conductualmente relevantes. Este esquema eficiente, basado en la reducción de dimensionalidad y la dispersión, permite al cerebro manejar la complejidad del mundo exterior de una manera manejable y significativa, a menudo a través de representaciones basadas en partes.

Si quieres conocer otros artículos parecidos a Codificación Dispersa en Neurociencia puedes visitar la categoría Neurociencia.

Foto del avatar

Jesús Porta Etessam

Soy licenciado en Medicina y Cirugía y Doctor en Neurociencias por la Universidad Complutense de Madrid. Me formé como especialista en Neurología realizando la residencia en el Hospital 12 de Octubre bajo la dirección de Alberto Portera y Alfonso Vallejo, donde también ejercí como adjunto durante seis años y fui tutor de residentes. Durante mi formación, realicé una rotación electiva en el Memorial Sloan Kettering Cancer Center.Posteriormente, fui Jefe de Sección en el Hospital Clínico San Carlos de Madrid y actualmente soy jefe de servicio de Neurología en el Hospital Universitario Fundación Jiménez Díaz. Tengo el honor de ser presidente de la Sociedad Española de Neurología, además de haber ocupado la vicepresidencia del Consejo Español del Cerebro y de ser Fellow de la European Academy of Neurology.A lo largo de mi trayectoria, he formado parte de la junta directiva de la Sociedad Española de Neurología como vocal de comunicación, relaciones internacionales, director de cultura y vicepresidente de relaciones institucionales. También dirigí la Fundación del Cerebro.Impulsé la creación del grupo de neurooftalmología de la SEN y he formado parte de las juntas de los grupos de cefalea y neurooftalmología. Además, he sido profesor de Neurología en la Universidad Complutense de Madrid durante más de 16 años.

Subir