Casos, grabación de llanto y parámetros acústicos cuantitativos

Se toman 16 casos del Hospital Materno Este (proyecto: "Análisis del llanto infantil orientado al diagnóstico") y 14 casos del Hospital General Juan Bruno Zayas Alfonso (proyecto: "Validación de un preclasificador de llanto infantil en recién nacidos normales y patológicos con Hipoxia"), hospitales de Santiago de Cuba. Se consideran, en trabajo multidisciplinario, recién nacidos con una grabación de llanto por caso, señal para extraer parámetros. Por el método de selección de casos se colectan 15 casos patológicos y 15 normales o de control, que completan los 30 del presente trabajo. Los casos patológicos son formas de hipoxia en el nacimiento: Hipoxia, Crecimiento Intra Uterino Retardado (CIUR), Hipoxia con factores agravantes e Hiperbilirrubinemia. Características y patologías de los neonatos se presentan en la tabla 1.

El APGAR (test clínico) evalúa la calidad al nacer el niño, se asocia a signos vitales y otros (frecuencia cardiaca, esfuerzo respiratorio, tono muscular, reflejo a la irritabilidad al catéter de aspiración y color de la piel). En los casos del grupo control el APGAR es de valor 9-10 y en los patológicos de Asfixia perinatal, el APGAR debe ser menor de 3 al minuto de nacido. Al evaluar cada signo se fijan valores de 0, 1 y 2, se promedia la evaluación a los 1, 5 y 10 minutos de nacido, generándose tres caracteres respectivos de valor normal entre 7 y 10 y anormal, menor de 7. Si el APGAR a los 5 minutos del nacimiento es 9, es común no usar el tercer carácter. En los casos patológicos se considera (criterio Antropométrico) los neonatos con CIUR Grado II y Grado III, con afectación de talla y peso, el primero, y talla, peso y circunferencia cefálica el segundo ^{(2), (3), (34), (35}.

En la grabación de llanto (toma de muestra) se usa llanto provocado ante dolor, el estímulo es pellizco en el calcáneo y puntura (vacuna: Antihepatitis B). Para tomar y procesar muestras se utilizan: micrófono, software PCVox ⁽³⁶, hardware VISHA ⁽³⁷, los software BPVoz: Base de procesamiento de voz ⁽³⁸, BDLlanto: Base de datos de llanto 1.0 ⁽³⁹, Anavoz 1.0 ⁽⁴⁰ y Preclasificador 1.0 ⁽⁴¹. PCVox hecho en la Universidad Politécnica de Madrid. VISHA (Visualización del Habla), hardware del PCVox con Procesador de Señal DSP32C. BPVoz, BDLlanto, Anavoz y Preclasificador software hechos por el Grupo de Procesamiento de Voz de la Universidad de Oriente. La grabación de llanto por caso tiene frecuencia de muestreo: 8 kilohertz y duración: 12 segundos (192512 bytes, resolución: 16 bits). El método acústico permite procesar y extraer parámetros del llanto. Con PCVox-VISHA, Anavoz, Preclasificador, BPVoz, BDLlanto y el Oscilograma-Espectrograma, se obtienen parámetros de tiempo, intensidad y frecuencia, usándose algoritmos de Predicción Lineal, Transformada Rápida de Fourier, Simple Inverse Filter Tracking, entre otros.

El llanto provocado ante dolor se investiga hace décadas, con patrón característico, terminología común y análisis estándar de resultados; es un llanto que controla el investigador. Este llanto consiste en un tiempo o latencia como respuesta a un estímulo para a seguidas aparecer una total vocalización, que ocurre durante una simple inspiración o espiración ⁽¹. Esta vocalización es una Fase Espiratoria del Llanto (Unidad de Llanto). En inspiración es común una latencia, en otros casos vocalización o sonido. En la figura 1, esquema de llanto ante dolor.

[Figure ID: f1] Fig. 1.

Esquema de llanto provocado ante dolor en Amplitud versus Tiempo, plano correspondiente al Oscilograma.

Los parámetros acústicos cuantitativos usados en el trabajo son:

Parámetros de duración

PUL: primera unidad de llanto; SUL: segunda unidad de llanto; SL: segunda latencia. Unidad utilizada el milisegundo.

Parámetros de frecuencia

Frecuencia Fundamental (F0) y Frecuencia del Primer Formante (F1), estos parámetros se definen como sigue: la Frecuencia Fundamental es la frecuencia a la cual vibran las cuerdas vocales cuando se produce un sonido. La unidad en los parámetros de frecuencia es el Hertz (Hz) o ciclo por segundo. La Frecuencia del Primer Formante, de un segmento sonoro, es una región de frecuencias de mayor intensidad donde se produce un reforzamiento de frecuencias coincidente con los resonadores bucales. Además los parámetros, F0min: valor mínimo de la frecuencia fundamental; F0max: valor máximo de la frecuencia fundamental; F1min: valor mínimo del primer formante; F1max: valor máximo del primer formante; VMF0: valor medio de la frecuencia fundamental; VMF1: valor medio de la frecuencia del primer formante. Por último:

Parámetros de amplitud o intensidad

VMPul: valor medio de la primera unidad de llanto; VMSul: valor medio de la segunda

unidad de llanto. Unidad empleada el decibel. No se considera la primera latencia (parámetro de duración) por haberse grabado tres casos sin la misma.

Normalización, vector de parámetros, matriz de entrada de datos, Matlab

Del procesamiento de casos para extraer parámetros acústicos hay un conjunto de valores máximos que permiten normalizar dichos parámetros entre 0 y 1. Un vector de un caso normalizado (vector columna) lo presenta la tabla 2.

Según lo explicado todos los parámetros de los 30 casos del trabajo son normalizados. Ver los Anexos.

La lista de valores máximos es la misma en todo el trabajo. Los vectores de parámetros de cada caso ingresan a la red neuronal según una matriz de 11 x n, las filas la forman los 11 parámetros representados en la tabla 2 y n es el número de casos objeto de estudio (columnas). La forma de la matriz se muestra en la expresión (1):

[Formula ID: e1]
(1).

Para implementar la red neuronal se aprovechan las posibilidades de MATLAB® (The Mathworks, Inc.) y su toolbox. MATLAB® es un software de desarrollo integrado (Integrated Development Environment: IDE) con herramientas para matrices, representar datos, funciones, implementar algoritmos, crear interfaz de usuario (Graphical User Interface: GUI) y comunicar con programas y hardware.

Al diseñar la red neuronal se usa una estructura con acceso a sus propiedades capaces de modificar entradas, capas de neuronas, conexiones, pesos (intensidad de interacción neuronal), etcétera.

Configurada la red neuronal se invocan funciones de manipulación y así se inicializa, entrena y simula la red.

Para configurar la red neuronal las funciones del toolbox son la Inicialización (net = init(net)) obteniéndose una red con pesos y bias (umbral de la red) actualizados, le sigue el Entrenamiento ([net, tr] = train(net, P, T);) para entrenar la red, modificando pesos vinculados a conexiones entre capas y neuronas. Para esto se indican patrones de entrada a la red (P, matriz mxn). En entrenamiento supervisado se asignan targets -salidas deseadas- (T, matriz mxn), con estos datos la matriz de patrones se aplica a la red, y el toolbox con funciones de entrenamiento actualiza los pesos de conexión de la red.

Por último, la Simulación (Y = sim(net, P)) función similar a la anterior sin actualización de los pesos de la red. Así, entrenada la red neuronal y brindando ésta resultados válidos se usa esta función para analizar nuevos patrones de entrada.

Diseño de la red neuronal supervisada

Conocida la analogía entre la neurona artificial y la neurona biológica un modelo estándar de neurona artificial dado un conjunto de entradas X_j(t), pesos sinápticos W_ij, una regla de propagación h_i(t) = σ(W_ij, X_j(t)); donde h_i(t) = Σ(W_ij, X_j(t)) y una función de activación Y_i(t) = f_i(h_i(t)) que representa la salida de la neurona y su estado de activación, es posible representar este modelo de neurona estándar según la figura 2.

[Figure ID: f2] Fig. 2.

Modelo de neurona estándar

La salida de la neurona Y_i en función del tiempo se muestra en la expresión (2):

[Formula ID: e2]
(2).

La salida de (2) corresponde a un perceptrón simple (modelo unidireccional de capas feedforward con aprendizaje supervisado) que con dos capas de n neuronas de entrada y m neuronas de salida, puede expresarse según (3) como:

[Formula ID: e3]
(3).

Aunque el perceptrón se entrena y aprende automáticamente, tiene la limitación de sólo representar funciones separables linealmente, o sea representa funciones y resuelve algunos problemas de clasificación, pero pueden surgir errores. Así para evitar fallas y corregir errores del algoritmo de aprendizaje del perceptrón simple, en el diseño de la red del trabajo, se opta por la introducción de una capa oculta h entre las capas de entrada y salida, es decir, se parte del perceptrón multicapa, cuyo algoritmo de aprendizaje BP resuelve la limitación del perceptrón simple requiriendo función de activación derivable, siendo muy usadas las de tipo sigmoideo. La capa de entrada la forman neuronas que reciben datos del entorno, la capa de salida posee las neuronas de respuesta de la red neuronal y en la capa oculta sus neuronas no tienen conexión directa con el entorno, esta capa aporta grados de libertad adicionales a la red que le permiten hallar representaciones internas correspondientes con rasgos del entorno.

Los algoritmos de aprendizaje del tipo BP son de primer orden, iterativos, de gradiente descendente, que ajustan pesos en proporción a la diferencia entre la salida actual de la red y una salida deseada para hacer mínimo el error cuadrático medio de la red. Este algoritmo hace a la red aprender un conjunto predefinido de pares de ejemplo entrada-salida, usando un ciclo de dos fases: propagar y adaptar.

El perceptrón multicapas de una capa oculta puede representar fielmente toda función booleana con salida binaria, aspecto esencial para cumplir el objetivo de este trabajo siendo rápido y eficiente el entrenamiento debido al algoritmo de Levenberg-Marquardt, algoritmo de segundo orden que tiende a la solución a mayor velocidad, sobre todo para patrones pequeños y medianos con menos neuronas e iteraciones, sin que la red pierda habilidad en la generalización.

La generalización es la capacidad de la red para dar una respuesta correcta ante patrones que no han sido empleados en el entrenamiento. En buena medida la capacidad de generalización de la red es determinada por la complejidad del problema a resolver, la arquitectura de la red y el número de ejemplos de entrenamiento, tres aspectos a considerar en un diseño.

Respecto a la complejidad del problema a resolver, el llanto del recién nacido ante dolor es complejo y multivariado, estudios estadísticos de comportamiento y relevancia en casos con hipoxia indican lo pertinente de las variables (parámetros de entrada) elegidas usando técnicas de reducción ^{(2), (3}.

La arquitectura de la red neuronal del trabajo tiene estructura del perceptrón multicapas con una capa oculta, el número de neuronas por capa es: n=11; h=n-1; m=n-h, representado por: (11-10-1), o sea, 11 neuronas de entrada, 10 neuronas ocultas y 1 neurona de salida binaria para clasificación de llanto.

De los patrones de entrenamiento, la validación cruzada en el trabajo por MATLAB®, permite entrenar y validar la red hasta alcanzar un punto óptimo entre los errores de entrenamiento, validación y generalización de la red donde este último sea mínimo, esto lo logra la Parada Temprana ⁽⁴² la cual evita el sobre entrenamiento de la red con menos patrones de entrenamiento.

Aunque se recomienda 80% de ejemplos para entrenar y 20% para pruebas, la validación cruzada de MATLAB® asume implícitamente las funcionalidades:

• net.divideParam.trainRatio=70/100
• net.divideParam.testRatio = 15/100
• net.divideParam.valRatio = 15/100

siendo trainRatio referida al entrenamiento, testRatio vinculada con la generalización de la red y valRatio con la validación.

En las funcionalidades anteriores aparecen las proporciones de ejemplos. En el trabajo se usa en las fases de entrenamiento y generalización 20 y 10 señales de llanto, por ese orden, en ambas fases mitad de señales de llanto normal y mitad patológico, o sea, 30 casos reales como pequeña muestra conjugando economía y representatividad.

Otras funcionalidades de MATLAB® para dividir datos en la validación cruzada son:

• net.divideFcn = 'dividerand'
• net.divideFcn = 'divideblock'

Al usar dividerand el entrenamiento de la red selecciona aleatoriamente un conjunto de datos para entrenar, otro para generalizar y el restante conjunto de datos para validar a los conjuntos escogidos. Con divideblock el entrenamiento de la red elige un conjunto de datos en el mismo orden de entrada para entrenar, otro para generalizar y el restante para validar los conjuntos elegidos. Para no usar la validación cruzada de MATLAB® en las funcionalidades (proporciones) se asume 1, 0 y 0, respectivamente.

Después de todo lo expuesto, con la función newff del toolbox de MATLAB® se crea la red feedforward backpropagation. Abreviando, la sintaxis de newff es:

1. net=newff (P, T, [C1, C2, … C(n-1)], {TF1, TF2, …, TFn}, FE);

Siendo:

P: matriz de parámetros de entrada

T: matriz de salidas deseadas (target)

C_i: tamaño de la capa i (capas ocultas)

TF_i: función de activación de la capa i, por defecto, tangente sigmoidal (tansig(n))

FE: función de entrenamiento Levenberg-Marquardt backprop (trainlm)

En el diseño se consideran funcionalidades para valores mínimos y máximos al disponerse parámetros normalizados, lo que corresponde con las salidas de la red: se establecen en el juego de datos mínimos y máximos, para cada entrada a la red, dentro del intervalo de la función de activación, así antes de entrenar deben estar en rango entradas y salidas.

Lo anterior es resuelto por la función minmax() de MATLAB®, para ello al crear la red con newff, se asigna minmax(p) que fija rango a mínimos y máximos de P.

En nuestro diseño newff queda como:

1. net=newff(minmax(p), t, [10], {'tansig','tansig'}, 'trainlm');

donde p es la matriz de entrada a la red, t el vector de salidas deseadas, una capa oculta con 10 neuronas, la función de activación tangente sigmoidea para las capas oculta y de salida y la función de entrenamiento Levenberg-Marquardt.

La función mapminmax de MATLAB® acota al intervalo (de menos uno a uno) de la función de activación tansig, mapminmax asume los valores de cada parámetro como números reales finitos y con al menos uno de ellos diferente, en el caso de repetirse éstos son eliminados del grupo al no aportar información en el entrenamiento, esto se logra con: removeconstantrows.

Funcionalidades:

1. net.inputs{1}.processFcns={'removeconstantrows','mapminmax'}; net.outputs{2}.processFcns={'removeconstantrows','mapminmax'};

La {1} normaliza entre menos uno y uno para la entrada de la capa oculta, la {2} lo mismo para la salida de la red.

En el diseño otros parámetros del algoritmo de aprendizaje, modificados por análisis y pruebas son:

net.trainParam.goal para fijar el valor límite de la función error (eficacia de operación de red), nuestro mejor resultado se obtiene con: net.trainParam.goal = 1e-10; el otro parámetro es el número de iteraciones que según el error es de 5000, código: net.trainParam.epochs = 5000.

La funcionalidad para dividir en muestras también se considera, ya que al tenerse casos en entrenamiento y generalización se necesita una funcionalidad antes de entrenar, esta consiste en dividir el entrenamiento en muestras representativas mediante el código: net.divideMode = 'sample'. Sample es la funcionalidad vinculada con el entrenamiento cruzado, definiéndose valores para casos de entrenamiento (trainRatio), reconocimiento (valRatio) y generalización (testRatio).

La arquitectura de la red neuronal del trabajo con las funcionalidades del entrenamiento se resume en los códigos:

1. net = newff(minmax(p), t, [10], {'tansig','tansig'}, 'trainlm');
2. net.inputs{1}.processFcns = {'removeconstantrows','mapminmax'};
3. net.outputs{2}.processFcns = {'removeconstantrows','mapminmax'};
4. net.trainParam.goal = 1e-10;
5. net.trainParam.epochs = 5000;
6. net.divideFcn = 'dividerand';
7. net.divideFcn = 'divideblock';
8. net.divideMode = 'sample'; % Divide up every sample
9. net.divideParam.trainRatio = 70/100;
10. net.divideParam.testRatio = 15/100;
11. net.divideParam.valRatio = 15/100;

Finalmente el intervalo de clasificación del llanto que permite la generación de clase (normal-patológico). La salida binaria de la red, su convergencia a cero como normal o hacia uno como patológico, establece correspondencia de la salida de la red con valores del vector target.

En el trabajo se usan dos intervalos de clasificación, el primero dado por la función implícita round de MATLAB® la cual fija un intervalo que acota valores menores de 0,5 a cero como normal, y a uno como patológico si los valores están por encima de ese rango; round redondea cada salida de la red. El segundo intervalo, determinante en la fase de generalización, proviene de un Índice de Anormalidad (IANOR) ^{(2), (3}, éste expresa que si la salida binaria de la red es mayor o igual a cero y menor o igual a 0,20 el caso es normal y si el referido valor es mayor o igual a 0,21 y menor o igual a 1, el caso es patológico.

Pruebas de Clasificación

Las pruebas de clasificación buscan la mejor generalización. Empleando los casos de los Anexos, tomando según diseño, 20 casos para entrenar (10 patológicos y 10 de control) y 10 casos para generalizar (5 patológicos y 5 de control) la conformación de estas pruebas en relación con las funcionalidades en el entrenamiento de división de muestras y validación cruzada y los resultados de cada prueba de clasificación en la generalización los tiene la tabla 4.

Los resultados de la fase de entrenamiento en las 5 pruebas de clasificación (excepto la prueba 3) son satisfactorios, así el valor medio de las pruebas de Sensibilidad, Especificidad y Precisión alcanzan 92%, 90% y 91%, por ese orden. En la tabla 4, prueba de clasificación 3, no funciona divideblock sin validación cruzada, por ello no fue posible entrenar ni lograr resultado en la generalización. En esta prueba 3, la validación cruzada es determinante. Esto se demuestra en la propia tabla 4, prueba de clasificación 4, la de mejor resultado integral en la fase de generalización comparándola con las pruebas restantes. En la matriz de confusión de la prueba 4 de 10 casos (5 patológicos y 5 de control) solo falla la clasificación de un caso patológico, clasificando correctamente los casos de control, prueba con 90% de Precisión. El resto de las pruebas de la tabla 4 (1, 2, 5 y 6) tienen dificultad para clasificar casos patológicos y de control, según cada matriz de confusión y prueba diagnóstica. Así, la prueba de clasificación 4 cumple el objetivo del trabajo siendo seleccionada para clasificar el llanto del recién nacido usando la red neuronal supervisada.

Generación de clase o clasificación del llanto

Considerando los casos, el diagnóstico médico, los intervalos de clasificación para la generación de clase (normal-patológico) explicados en el diseño, la tabla 5 expone el comportamiento específico de la salida de la red neuronal supervisada en la fase de generalización de la prueba de clasificación 4.

En la tabla 5 está el valor de la salida de la red, los intervalos de clasificación, el vector deseado, la denominación de casos y su diagnóstico previo por los médicos (neonatólogos), al final y muy importante, la clasificación de la red neuronal supervisada según el intervalo de clasificación que implica el IANOR, el cual verifica la generalización de la red en cada caso. IANOR junto a la selección de casos, al método acústico para obtener parámetros del llanto provocado en neonatos con hipoxia y el tratamiento estadístico para estudiar atributos relevantes de este llanto, entre otros, viene de una Metodología de Análisis del Llanto Orientado al Diagnóstico de Patología en el Neurodesarrollo Infantil ^{(2), (3}, resultado de tesis doctoral. Usar el intervalo que implica el IANOR es aspecto novedoso y fundamental en la clasificación de llanto por la red neuronal. La tabla 5 en concordancia con la prueba 4 (tabla 4) muestra el caso patológico clasificado normal que disminuye la Sensibilidad al 80%. Coincide que el CASO24_9092 es una pretérmino de 35 semanas con distress respiratorio, casi en frontera de clasificación.

Casos virtuales

Para verificar los resultados de clasificación de llanto se repite la prueba de clasificación 4 (con igual condición de entrenamiento a la usada en los casos reales) para clasificar llanto en 10 casos virtuales (CV), 5 patológicos y 5 de control, cuyos datos están en la tabla 6 en la que desde CV1 a CV5 son de control y de CV6 a CV10 son patológicos.

Los parámetros acústicos de los casos virtuales se han obtenido por la generación de valores dentro del rango de cada parámetro ^{(2), (3}. En la tabla 7 aparece la generalización en la clasificación de llanto con los casos virtuales, viéndose pruebas diagnósticas con clasificación compatible a los casos reales y Precisión del 90%.

Plano ROC con casos reales y virtuales

De los métodos estadísticos y las pruebas diagnósticas son útiles los gráficos Receiver Operating Characteristic (ROC). Las curvas ROC resumen en pruebas estadísticas multinivel la habilidad de las mismas para discriminar entre pacientes con enfermedad o sin ella ⁽⁴⁵. En el plano ROC cada par ordenado (x,y) de una prueba se asocia según (1-Especificidad, Sensibilidad). Así los pares resultados de las pruebas diagnósticas de la prueba de clasificación 4 para casos reales (P4r) y virtuales (P4v) pueden representarse en la figura 3 como:

[Figure ID: f3] Fig. 3.

Gráfico ROC (sólo pares ordenados) de la prueba de clasificación 4 para casos reales y virtuales.

En gráficos ROC las coordenadas de las pruebas situadas por debajo de la línea de 45 grados respecto al eje horizontal tienen la peor discriminación (clasificación) asociada. La discriminación por encima de la línea referida comienza a acercarse a la discriminación imperfecta, la cual se perfecciona a medida que las coordenadas se aproximen al área superior izquierda. Las pruebas de clasificación P4r y P4v en la figura 3 muestran buena discriminación.

El trabajo que aquí se presenta tiene como antecedente la contribución: una aproximación al diagnóstico del llanto infantil basado en redes neuronales supervisadas ⁽⁴⁶. Una comparación entre el trabajo citado y el actual reviste significativas diferencias, a pesar de alguna semejanza estructural y de parámetros. La contribución actual supera el trabajo de Torres y otros, el cual adolece de la optimización de las funcionalidades del entrenamiento, de las funciones de activación tangente sigmoidal para capas ocultas y de salida, no usa validación cruzada ni parada temprana, no busca el punto óptimo entre los errores de entrenamiento, validación y generalización de la red. En el trabajo citado ⁽⁴⁶ se emplean 17 casos de los que se reconoce 4 de 4, utilizándose solo 2 casos de control; la contribución actual usa 30 casos (20 para entrenar y 10 a reconocer) con balance en número de patológicos y de control, con verificación de reconocimiento de 10 casos virtuales y pruebas diagnósticas que comprueban la calidad en la clasificación de casos reales y virtuales con aceptables valores prácticos de Sensibilidad y Especificidad y 90% de Precisión. En general la contribución aquí presentada es más rápida y eficiente que la del trabajo citado, cuenta con el algoritmo de entrenamiento Levenberg-Marquardt y clasifica usando el IANOR, de la referida Metodología de Análisis del Llanto Orientado al Diagnóstico de Patología en el Neurodesarrollo Infantil. Estos son aspectos importantes al comparar esta contribución con el trabajo citado que apuntan a su originalidad.

Otros trabajos relevantes del estado del arte de la clasificación de llanto infantil con redes neuronales citados como referencias: clasificación de llanto infantil usando redes neuronales artificiales ⁽²¹, redes neuronales y mapas autoorganizados: nuevas técnicas con computadora en la evaluación acústica del llanto infantil ⁽²², extracción de coeficientes cepstrales de frecuencia mel del llanto infantil para clasificar llanto con redes neuronales feedforward ⁽²⁵ y detección de patologías desde el llanto infantil aplicando redes neuronales de gradiente conjugado escalado ⁽²⁶ utilizan otros métodos de selección de casos, incluidos no neonatos, otros tipos de llanto, algoritmos, parámetros y procedimientos de extracción de parámetros en el llanto; usan otras metodologías de diseño, plataformas y software para procesamiento de datos y desarrollo de la aplicación diferentes al empleado en esta contribución lo que impide cualquier comparación con el presente trabajo.