Análisis del tono de piel para su representación en materiales educativos (STAR

npj Digital Medicine volumen 6, Número de artículo: 151 (2023) Citar este artículo

640 Accesos

26 altmétrica

Detalles de métricas

Las imágenes que representan tonos de piel oscuros están significativamente subrepresentadas en los materiales educativos utilizados para enseñar a los médicos de atención primaria y dermatólogos a reconocer las enfermedades de la piel. Esto podría contribuir a las disparidades en el diagnóstico de enfermedades de la piel entre diferentes grupos raciales. Anteriormente, los expertos en el campo evaluaban manualmente los libros de texto para estimar la diversidad de imágenes de la piel. La evaluación manual no se adapta a muchos materiales educativos e introduce errores humanos. Para automatizar este proceso, presentamos el marco de Análisis del tono de piel para la representación en materiales educativos (STAR-ED), que evalúa la representación del tono de la piel en materiales de educación médica mediante el aprendizaje automático. Dado un documento (por ejemplo, un libro de texto en .pdf), STAR-ED aplica el análisis de contenido para extraer texto, imágenes y entidades de tablas en un formato estructurado. A continuación, identifica imágenes que contienen piel, segmenta las partes de esas imágenes que contienen piel y estima el tono de la piel mediante el aprendizaje automático. STAR-ED se desarrolló utilizando el conjunto de datos Fitzpatrick17k. Luego probamos externamente STAR-ED en cuatro libros de texto médicos de uso común. Los resultados muestran un sólido rendimiento en la detección de imágenes de la piel (0,96 ± 0,02 AUROC y 0,90 ± 0,06 puntuación F1) y en la clasificación de tonos de piel (0,87 ± 0,01 AUROC y 0,91 ± 0,00 puntuación F1). STAR-ED cuantifica la representación desequilibrada de los tonos de piel en cuatro libros de texto médicos: las imágenes de tonos de piel marrones y negros (Fitzpatrick V-VI) constituyen sólo el 10,5% de todas las imágenes de piel. Visualizamos esta tecnología como una herramienta para que los educadores, editores y profesionales médicos evalúen la diversidad de tonos de piel en sus materiales educativos.

Los libros de texto de medicina, los apuntes de conferencias y los artículos publicados utilizados en los planes de estudio de las principales facultades de medicina carecen de una representación adecuada de los tonos de la piel en las imágenes utilizadas para demostrar las manifestaciones de las enfermedades de la piel1,2,3. Por ejemplo, una evaluación manual reciente de libros de texto médicos de uso común encontró una subrepresentación significativa de los tonos de piel de Fitzpatrick (FST) V y VI, que representan tonos de piel marrones y negros1,2. La pandemia de COVID-19 ha puesto de relieve aún más esta desigualdad: la anotación manual de fotografías publicadas de manifestaciones cutáneas de COVID-19 reveló una representación insuficiente de imágenes que mostraban piel oscura4.

Debido a que las enfermedades de la piel aparecen de manera diferente según el tono de piel, se necesitan materiales educativos que representen diversos tonos de piel para una fuerza laboral de atención médica bien capacitada1,2,3,4,5. Louie y Wilkes sugieren que las desigualdades raciales en la atención médica (accesibilidad, prestación y calidad) están influenciadas por la falta de representación diversa en los materiales curriculares1. Por ejemplo, los diagnósticos de cáncer de piel (p. ej., melanoma, carcinoma de células escamosas) se retrasan significativamente en pacientes de color, lo que lleva a una mayor morbilidad y mortalidad6.

Análisis previos de materiales académicos relacionados con la dermatología (revistas y libros de texto) han mostrado una representación insuficiente de FST V y VI; sin embargo, las imágenes se anotaron y analizaron manualmente, es decir, un experto en el campo localizó cada imagen en un libro de texto/revista y etiquetó el tono de piel. Desafortunadamente, este enfoque manual no es manejable para un corpus grande debido a su naturaleza laboriosa, la fatiga visual del operador y el error entre observadores en el etiquetado del tono de piel1,2,4. La evaluación automática de la representación del tono de la piel mediante aprendizaje automático (ML) promete ayudar significativamente a identificar sesgos en materiales educativos médicos y no se ha realizado anteriormente en materiales educativos.

Los enfoques basados en el aprendizaje automático para el análisis del tono de la piel en dermatología se han aplicado anteriormente solo a conjuntos de datos seleccionados (por ejemplo, ISIC 20187 y SD-1988), pero no a materiales académicos del mundo real. Un enfoque anterior utilizó el ángulo de tipología individual (ITA) calculado a partir de valores de intensidad de píxeles9,10,11; Los valores de ITA luego se asignaron a FST12. Sin embargo, anteriormente, un modelo de aprendizaje automático entrenado para clasificar FST directamente a partir de imágenes de piel funcionó mejor en la categorización de FST que la estimación basada en ITA con conversión a FST13. Los métodos basados en ITA dependen de valores de píxeles sin procesar, lo que los hace más sensibles a las condiciones de iluminación. Estos modelos anteriores identificaron que los conjuntos de datos de imágenes de piel seleccionados utilizados para desarrollar modelos de aprendizaje automático en dermatología representaban significativamente los tonos de piel oscuros.

En este trabajo, presentamos el marco de Análisis del tono de piel para la representación en materiales educativos (STAR-ED) para evaluar automáticamente el sesgo en la representación del tono de la piel en materiales de educación médica mediante el aprendizaje automático. STAR-ED podría emplearse en materiales académicos disponibles en el mercado, como libros de texto, revistas y diapositivas en diferentes formatos de archivo (por ejemplo, .pdf, .pptx, .docx). Los expertos en el campo (p. ej., profesores de facultades de medicina, médicos) pueden utilizar directamente los resultados para analizar sus materiales e identificar posibles sesgos en la representación. La descripción general del proceso STAR-ED se muestra en la Fig. 1, y está diseñado para tomar materiales académicos como entrada y proporciona una cuantificación de imágenes FST I-IV versus FST V-VI, automatizando una tarea que anteriormente se realizaba manualmente2. 14. Los componentes principales del proceso son la ingesta automática de materiales académicos tradicionales (libros de texto en formato .pdf), el análisis de diferentes entidades (figuras), la extracción de imágenes, la selección de imágenes de piel, el enmascaramiento de píxeles que no son de piel y la estimación de tonos de piel. .

Un marco STAR-ED toma materiales académicos (por ejemplo, en formato .pdf) como entrada, seguido de la extracción de imágenes de la piel en el material académico proporcionado. Específicamente, los píxeles de la imagen que se identifican como piel se utilizan para estimar la categoría del tono de piel. B Corpus Conversion Service (CCS) (7) es una herramienta de ingesta de documentos existente que se emplea para analizar diferentes entidades de documentos, como todas las imágenes y tablas de los datos. Extrajimos todas las imágenes utilizando la notación de objetos JavaScript (JSON) (8); El resultado del paso de ingesta contiene las coordenadas y el número de página de las imágenes identificadas. C Dado que nos centramos en imágenes relacionadas con enfermedades de la piel, las imágenes que no son de piel (p. ej., ilustraciones gráficas e imágenes de patología) se descartan utilizando un clasificador XGBoost (9). D Para cada imagen que representa piel, enmascaramos regiones de píxeles no relacionadas con la piel en el primer plano y el fondo (p. ej., píxeles de ropa, equipos de laboratorio). Empleamos segmentación de píxeles de piel basada en colores que extrae píxeles que cumplen con un umbral predefinido. E Finalmente, las regiones de piel segmentadas se introducen en un marco de aprendizaje profundo previamente entrenado, es decir, ResNet17 ajustado como se describe en Materiales y métodos, para estimar la categoría de tono de piel como clara (FST I-IV) u oscura (FST V–VI). Imágenes adaptadas de Wikimedia commons.

En esta sección, describimos los resultados de STAR-ED, un marco de análisis de representación de tonos de piel de extremo a extremo validado en múltiples fuentes de datos educativos en dermatología. A continuación se proporcionan los resultados para los componentes del marco: selección de imágenes de piel, segmentación de píxeles de piel y estimación del tono de piel. Describimos y validamos cada paso.

Para visualizar la diferencia entre las imágenes de piel y las que no son de piel, aplicamos un análisis de componentes principales en el espacio de características que incluye histograma de gradiente orientado (HoG) y estadísticas básicas (media y desviaciones estándar) de los canales de imagen en el espacio de color CIE LAB. Las distribuciones de imágenes de piel y no piel (proyectadas con los dos componentes principales) se muestran en la Fig. 2A para los conjuntos de datos de DermEducation y Medical Textbooks (descritos en Materiales y métodos). Las imágenes de piel y no piel muestran una superposición sustancial, como se visualiza en el gráfico PCA. Esto sugiere que las estadísticas de una sola imagen no pueden distinguir de manera confiable entre piel y no piel y nos motivó a utilizar enfoques de aprendizaje automático para STAR-ED.

Una vez que las imágenes se extraen de los materiales, el paso de selección tiene como objetivo identificar imágenes de piel y descarta imágenes que no son de piel (por ejemplo, imágenes de patología). Para este fin, extrajimos un conjunto de características: histograma de gradiente orientado (HoG) (23) y desviaciones media y estándar de canales de imagen en el espacio de color CIELAB (24). A Esto muestra las visualizaciones del Análisis de Componentes Principales (PCA) de imágenes de piel (verde) y no cutáneas (rojo) en los dos conjuntos de datos (DermEducation y Medical Textbooks) utilizados para la validación del paso de selección. Leyenda: Punto rojo – Sin piel; Punto verde - Piel. B Esto demuestra un rendimiento alentador en la identificación de imágenes de piel en DermEducation utilizando clasificadores Support Vector Machines (SVM) (18) y Extreme Gradient Boosting (XGBoost) (9) en un entorno de validación cruzada estratificada cinco veces. Leyenda: Barra roja – SVM; Barra verde – XGB. C Muestra el desempeño comparativo de estos dos clasificadores cuando se utilizan en cuatro libros de texto de dermatología como prueba externa. Los resultados generales confirman el beneficio de los enfoques de aprendizaje automático para identificar imágenes de piel, y se logra un rendimiento competitivo entre los clasificadores SVM y XGB, mientras que este último tiene una ligera ventaja y se utiliza en STAR-ED.

Se entrenaron y probaron dos clasificadores, la máquina de vectores de soporte (SVM)15 y XGBoost (XGB)16, para la tarea de selección de imágenes de piel. Para las métricas de rendimiento informático, las imágenes que contienen piel se trataron como clase positiva y las imágenes que no contenían ninguna imagen de piel se trataron como clase negativa.

La Figura 2B muestra el rendimiento de SVM y XGB en el conjunto de datos de DermEducation utilizando una configuración de validación cruzada estratificada cinco veces. Con el conjunto de datos de DermEducation, ambos clasificadores logran un rendimiento competitivo con XGB, lo que da como resultado un rendimiento ligeramente mejor con una puntuación F1 promedio de 0,96 ± 0,008 y un área promedio bajo la característica operativa del receptor (AUROC) de 0,95 ± 0,013. La Figura 2C muestra los resultados cuando estos modelos entrenados se validan con el conjunto de datos externo de Libros de texto médicos compuesto por imágenes extraídas por CCS de cuatro libros de texto médicos. Se logra un rendimiento consistentemente alentador (>0,9 AUROC) entre los clasificadores en los cuatro libros de texto, lo que confirma la solidez del marco. Específicamente, el clasificador XGB da como resultado un AUROC promedio de 0,96 ± 0,02 y una puntuación F1 de 0,90 ± 0,06 F1 en todos los libros de texto. En resumen, la detección de imágenes de piel podría realizarse satisfactoriamente utilizando clasificadores tradicionales de aprendizaje automático (sin redes profundas sofisticadas). XGB se utilizó para el proceso final de STAR-ED debido a su rendimiento ligeramente mejor, particularmente en su AUROC, que, a diferencia de la precisión, es independiente de umbrales de predicción únicos.

Segmentación de píxeles de piel destinada a enmascarar píxeles que no son de piel (p. ej., fondo, primer plano) como se muestra en la Fig. 3.

A Segmentación de ejemplos de píxeles de piel con sus correspondientes puntuaciones Jaccard. B Ejemplos de segmentación de píxeles de la piel, donde los píxeles de lesiones y de primer plano y de fondo están enmascarados. C Ejemplos de comparaciones de segmentación. El primer ejemplo demuestra un mayor acuerdo entre dos anotaciones, mientras que el segundo ejemplo refleja menos acuerdo entre estas anotaciones. Imágenes adaptadas de Wikimedia commons.

Utilizamos el conjunto de datos SkinSegmentation (descrito en la sección Materiales y métodos) para comparar los resultados de la segmentación del método propuesto con las segmentaciones manuales realizadas por un experto en el dominio. Tenga en cuenta que las segmentaciones expertas excluyen tanto los píxeles que no son de piel como las regiones que contienen lesiones cutáneas, mientras que la segmentación automática y basada en intensidad no excluye las lesiones cutáneas en la etapa actual. La Figura 3C muestra dos ejemplos en los que se logra un acuerdo máximo y mínimo. En la figura 3A se muestran más métricas de comparación, como el índice de Jaccard. En general, la comparación de los resultados de la segmentación proporciona una tasa promedio de falsos positivos de 0,24, una tasa de falsos negativos de 0,05, una tasa de verdaderos positivos de 0,36, una tasa de verdaderos negativos de 0,34, un índice de Jaccard de 0,51 y una precisión de 0,70. Tenga en cuenta que los píxeles relacionados con la piel se tratan como la clase positiva y los píxeles no relacionados con la piel en una imagen de piel (por ejemplo, tela) se etiquetan como la clase negativa en el cálculo de las tasas positivas y negativas verdaderas.

La Tabla 1 muestra los resultados de la estimación (media y desviación estándar) en el conjunto de datos Fitzpatrick17K11, basados en una validación cruzada quíntuple estratificada a través de múltiples enfoques de aprendizaje automático. En la tabla, mostramos los resultados de los métodos cuando se utilizan píxeles enmascarados sin formato en comparación con el uso de funciones de ingeniería de entrada basadas en HOG + ITA (consulte la sección Métodos para obtener más detalles). Clasificamos los tonos de piel como FST I – IV y FST V-VI. FST V-VI se etiqueta como clase positiva y FST I-IV se etiqueta como clase negativa en el cálculo de las métricas de precisión, exactitud y puntuación F1. Usamos métricas ponderadas para tener en cuenta el desequilibrio de clases calculando el promedio de métricas binarias en las que la puntuación de cada clase se pondera por su presencia en la muestra de datos reales.

Además, calculamos la métrica de recuperación para todos los métodos. En ResNet-18 previamente entrenado (recuerdo = 0,88) utilizamos píxeles enmascarados como entrada. Para los modelos de ML tradicionales, utilizamos los vectores de características (HOG + ITA), ya que muestran un rendimiento similar al de los píxeles y, al mismo tiempo, reducen el tiempo de ejecución del entrenamiento y las pruebas (consulte la Tabla 1). Podemos observar que a partir de los métodos tradicionales (Bosque aleatorio = 0,61, árboles extremadamente aleatorios = 0,61, Ada Boost = 0,64 y aumento de gradiente = 0,65), el bosque aleatorio equilibrado (recuperación = 0,77) logra el mejor recuerdo para ambos tonos de piel, mientras que los otros métodos funcionan mal para la clasificación FST V-VI.

Descubrimos que el marco de aprendizaje profundo ponderado ResNet-1817, previamente entrenado con ImageNet18, que contiene 11,689,512 parámetros y ajustado con Fitzpatrick17K11, tiene el mejor rendimiento e incorporó este método de estimación del tono de piel para el marco STARE-ED.

Después del entrenamiento y la validación en el conjunto de datos Fitzpatrick17k, evaluamos el enfoque de estimación del tono de piel utilizando múltiples fuentes externas. Consulte la Fig. 4 para ver las puntuaciones AUROC y F1 para cada uno de los cuatro libros de texto en el conjunto de datos de Libros de texto médicos utilizando un ResNet-18 previamente entrenado y ajustado como se describe en Materiales y métodos. La Figura 4 también muestra la proporción de imágenes FST I – IV versus FST V – VI para cada libro de texto según lo estimado por STAR-ED y en comparación con la verdad básica. Observamos en cada libro de texto de dermatología utilizado para la validación STAR-ED, existe una subrepresentación del FST V-VI, en todos los casos inferior o igual al 10,5%. Anteriormente, estas imágenes de libros de texto se etiquetaban manualmente para evaluar el sesgo en la representación del tono de la piel en un proceso que requería más de 100 horas-persona en comparación con el marco STAR-ED, que genera una evaluación del sesgo en cuestión de minutos2.

El rendimiento se evalúa utilizando la puntuación AUROC y F1. También podemos observar las proporciones del tono de piel en cada libro de texto, los tonos estimados por nuestro método propuesto y la verdad fundamental (GT). Leyenda del primer gráfico de barras: barra morada: puntuación F1; Barra azul – AUROC. Leyenda del segundo gráfico de barras: Barra morada: tonos de piel FST I-IV; Barra magenta: tonos de piel FST V-VI.

Realizamos pruebas externas adicionales con DermEducation, un conjunto de datos de imágenes independiente utilizado por los dermatólogos para estudiar para los exámenes de la junta (consulte la sección Materiales y métodos). Cuando se utiliza un marco de aprendizaje profundo ResNet17 ponderado previamente entrenado con ImageNet18 y ajustado como se describe en Materiales y métodos, obtenemos un AUROC de 0,87 y una puntuación F1 de 0,91 para la estimación del tono de piel en comparación con otros métodos establecidos, como los árboles equilibrados19 con AUROC de 0,82 y puntuación F1 de 0,80. Evaluación del mapeo del índice de Fitzpatrick basado en ITA (consulte la Tabla complementaria 1); da como resultado el rendimiento de estimación del tono de piel más bajo con una puntuación F1 de 0,36.

Encontramos que STAR-ED demuestra de manera automática un claro sesgo en la representación entre materiales educativos de dermatología y libros de texto para el tono de piel FST V-VI (≤10,5%).

Las disparidades en el diagnóstico dermatológico pueden estar relacionadas con desigualdades en los materiales educativos dermatológicos. En particular, existen informes consistentes de expertos en el campo sobre la falta de imágenes FST V-VI en los materiales utilizados para capacitar a dermatólogos y médicos de atención primaria1,2. Hasta ahora, los esfuerzos para comprender los sesgos de representación en estos materiales se han realizado manualmente, lo que requiere mucha mano de obra y poco práctico para aplicaciones a gran escala. La contribución de este artículo es el desarrollo y la validación de una herramienta de aprendizaje automático de un extremo a otro, STAR-ED, que ingiere automáticamente estos materiales y proporciona un análisis de representación que puede facilitar la detección y comprensión del sesgo de representación. Una herramienta de este tipo podría tener un gran impacto al proporcionar conocimiento de primera mano sobre posibles sesgos antes de la publicación o rápidamente después de la publicación. STAR-ED es flexible para trabajar en diferentes formatos de materiales educativos, por ejemplo, .pdf, libros escaneados como imágenes, diapositivas en .pptx y documentos de Word en .docx. Por lo tanto, STAR-ED podría usarse más allá de los libros de texto y también podría evaluar trabajos de investigación, conjuntos de estudio de imágenes y diapositivas de conferencias.

Para crear STAR-ED, probamos varios métodos de aprendizaje automático para crear un flujo de trabajo de un extremo a otro que realizara la selección de imágenes de piel, la segmentación de píxeles de piel y la estimación del tono de piel. Un desafío al estimar la distribución del tono de la piel a partir de materiales complejos, como los libros de texto, es analizar e identificar imágenes de la piel de otros materiales (p. ej., texto, tablas). Anteriormente se han desarrollado varias metodologías basadas en reglas para la ingesta de documentos; sin embargo, Staar et al desarrollaron un enfoque basado en el aprendizaje automático que permite una mayor flexibilidad entre los tipos de documentos20. Sin embargo, a diferencia de un conjunto de datos dermatológicos seleccionados, las imágenes extraídas de libros de texto u otros materiales educativos a menudo también contienen imágenes que no son de la piel. Para distinguir entre imágenes de piel y sin piel, creamos un vector de características para cada imagen que incluía el descriptor de histograma de gradiente orientado (HOG) y una característica basada en intensidad basada en el espacio de color CIE LAB. Anteriormente, los descriptores HOG se utilizaban para distinguir lesiones cutáneas21. Además, trabajos anteriores sobre la separación de imágenes con piel y sin piel se han basado en la agrupación en el espacio de color; Una comparación de espacios de color normalizados RGB, HSV, YCbCr, CIE LAB y CIE Luv para construir clasificadores probabilísticos para identificar la piel encontró que CIE LAB tenía el mejor rendimiento22. Combinamos estas características y descubrimos que el clasificador XGB tenía un rendimiento bueno y escalable al separar imágenes de piel de imágenes sin piel. Las imágenes de piel suelen tener objetos de primer plano y de fondo, lo que requiere la identificación de regiones de la imagen que muestran la piel. Para la segmentación de píxeles de la piel, nuestra metodología actual utiliza una técnica de segmentación de píxeles de la piel basada en la intensidad. Trabajos anteriores sobre datos de la International Skin Imaging Collaboration (ISIC) utilizaron la máscara R-CNN para la segmentación de lesiones cutáneas; sin embargo, las imágenes ISIC son dermatoscópicas, más estandarizadas que las imágenes clínicas heterogéneas que se ven en los libros de texto23. Además, nuestro enfoque simplificado permite un modelo más liviano para la aplicación generalizada de este marco y al mismo tiempo permite una predicción del tono de piel posterior que se acerca a la verdad fundamental (Fig. 4). Finalmente, probamos múltiples metodologías diferentes para evaluar el tono de la piel y descubrimos que un modelo Resnet previamente entrenado y ajustado en el conjunto de datos Fitzpatrick17k tenía el mejor rendimiento para predecir imágenes FST I-IV y FST V-VI. Validamos todo el proceso en cuatro libros de texto que muestran enfermedades de la piel; Estos libros de texto fueron seleccionados debido a su identificación previa como libros de texto básicos de dermatología en trabajos anteriores2.

Pudimos utilizar STAR-ED para recapitular los hallazgos en la literatura, que muestra una representación insuficiente significativa de la piel FST V-VI en los materiales educativos de dermatología. STAR-ED permite que esta evaluación de sesgos se realice a escala y sin la necesidad de pasar horas etiquetando manualmente. Imaginamos que STAR-ED permita a los educadores, editores y profesionales médicos evaluar rápidamente sus materiales educativos.

El trabajo futuro tiene como objetivo poner a prueba STAR-ED entre diferentes editores y creadores de contenido de todo el mundo. Visualizamos esta tecnología como una herramienta para que los educadores, editores y profesionales de la dermatología evalúen rápidamente sus materiales educativos, que podrían ampliarse a otros dominios (por ejemplo, historia) para identificar automáticamente la falta de representación diversa.

Si bien se logra un rendimiento alentador en la detección de imágenes de la piel y la estimación de las categorías de tonos de piel, el proceso propuesto no considera el contenido sin imágenes de un material académico determinado, por ejemplo, textos, listas de autores y tablas, que podrían integrarse más adelante para proporcionar múltiples funciones. análisis de representación modal.

Una limitación de nuestra metodología de segmentación de píxeles de la piel es que no excluye por completo la piel enferma o lesionada, que puede tener patrones de pigmentación que no representan la apariencia de la piel sana del individuo. Las iteraciones futuras de STAR-ED tendrán como objetivo agregar un paso que segmente la piel enferma o lesionada para mayor granularidad. Para estimar el tono de piel, separamos las imágenes en dos grupos: FST I-IV y FST V-VI para capturar la falta de tonos de piel marrones y negros en los materiales educativos. Este modelo fue construido para recapitular manualmente numerosos estudios previos en el espacio del sesgo del material educativo, que se han centrado en FST V y VI2. Si bien esto significa que no capturamos una mayor granularidad en los tonos de piel, sí evalúa los tonos de piel históricamente excluidos. La evaluación del tono de la piel a partir de imágenes únicamente también está limitada por las diferencias en el equilibrio del color entre diferentes cámaras y las diferencias en la iluminación, las cuales pueden afectar la apariencia de la piel23. Sin embargo, la literatura reciente ha demostrado que el etiquetado más preciso se produce con tonos de piel adyacentes, como FST V y VI24. Además, utilizamos no expertos capacitados para etiquetar el tono de piel real, pero pudimos validarlo con un subconjunto de imágenes etiquetadas por expertos en el dominio. Trabajos recientes han demostrado que los no expertos capacitados pueden desempeñarse de manera similar a los etiquetadores expertos, especialmente a la luz de la variabilidad observada incluso entre los expertos24. Si bien utilizamos la escala de tono de piel de Fitzpatrick para etiquetar el tono de piel, esta escala tiene sus propios sesgos y subjetividad; Los dermatólogos han discutido las ventajas de utilizar escalas alternativas para estimar el tono de la piel25. Las iteraciones futuras de este trabajo podrían incorporar cualquier escala de estimación del tono de piel alternativa que se desarrolle.

En esta sección, describimos los conjuntos de datos utilizados para entrenar y probar nuestro marco y los algoritmos de aprendizaje automático utilizados. Este estudio estuvo exento del IRB debido al uso de datos disponibles públicamente.

La descripción de cómo se utiliza cada conjunto de datos durante el desarrollo de métodos se describe en la figura complementaria 3. DermEducation es un conjunto de imágenes de conveniencia de imágenes dermatológicas que se utilizan con fines educativos. DermEducation contiene un total de 2708 imágenes, entre las cuales 461 son imágenes que no son de piel y 2247 imágenes de piel (1932 FST I-IV y 315 FST V-VI). Se utilizó DermEducation para entrenar el clasificador de piel versus no piel. Además, se utilizó para validar la estimación del tono de piel propuesta comparándola con la estimación del tono basada en ITA. Un estudiante de medicina realizó el etiquetado de piel versus no piel y tono de piel y un dermatólogo revisó su precisión.

El conjunto de datos SegmentedSkin es un conjunto de imágenes convenientes de imágenes dermatológicas de código abierto seleccionadas por un dermatólogo de Wikimedia. Un dermatólogo creó máscaras de segmentación de piel sana para estas 22 imágenes. Este conjunto de datos se utilizó para validar la segmentación de píxeles de la piel.

Fitzpatrick17K11 es un conjunto de datos disponible públicamente con 16,577 imágenes clínicas provenientes de dos atlas dermatológicos de código abierto en línea con etiquetas FST generadas previamente por dermatólogos. Después del preprocesamiento, utilizamos 13.844 imágenes que representan FST I-IV y 2168 imágenes que representan FST V-VI. Se utilizó Fitzpatrick17K para entrenar y validar nuestro estimador de tono de piel.

Para pruebas externas adicionales y para demostrar cómo se puede utilizar nuestro marco en materiales educativos del mundo real, también utilizamos cuatro libros de texto médicos de propiedad personal de los autores. Como grupo, nos referimos a esto como el conjunto de datos de libros de texto médicos, que se compone de: libro de texto de dermatología de Rook26, Bolognia 4e27, Fitzpatrick Color Atlas 8e28 y Fitzpatrick Dermatology in General Med 9e29. Después de utilizar el servicio de conversión de corpus para extraer imágenes, filtramos imágenes pequeñas (<100 píxeles en cualquier dimensión). Consulte la Tabla 2 para obtener un resumen de los conjuntos de datos utilizados en este artículo: Libros de texto médicos (que contienen cuatro libros de texto), DermEducation y Fitzpatrick17K, disponible públicamente. Tenga en cuenta que la proporción de imágenes de piel e imágenes que no son de piel varía según los libros de texto y los conjuntos de datos. Por ejemplo, Atlas28 tiene 822 imágenes de piel y sólo 57 son imágenes que no son de piel; por otro lado, Fitzpatrick General29 tiene sólo 1881 imágenes de piel en comparación con 1096 imágenes que no son de piel. Para el conjunto de datos de libros de texto médicos, los autores etiquetaron manualmente las imágenes como piel o no piel. Las imágenes de la piel fueron etiquetadas como FST I-IV y FST V-VI por no dermatólogos que fueron capacitados con ejemplos anteriores. Las distribuciones de etiquetas se compararon con las informadas previamente por expertos en el dominio en un subconjunto de imágenes y se encontró que eran similares, ver Fig. 5. El nivel de acuerdo entre un subconjunto de imágenes etiquetadas tanto por expertos en el dominio como por nuestros etiquetadores capacitados fue de 0,887 para Fitzpatrick. , 0,860 para Atlas y 0,855 para Bolonia (Fig. 5). Las etiquetas de DermEducation fueron realizadas por un estudiante de medicina, mientras que las etiquetas de Fitzpatrick17k se incluyeron en el conjunto de datos11.

Distribuciones de etiquetas de no dermatólogos y números totales informados anteriormente por expertos en el campo en varios capítulos de los libros de Bolognia y Atlas.

La descripción general del método propuesto se muestra en la Fig. 1. A continuación describimos los componentes principales de la tubería propuesta.

Utilizamos el Servicio de Conversión de Corpus (CCS) para ingerir materiales académicos en un formato de documento PDF escaneado y programático20. El CCS es un servicio basado en la nube que puede incorporar grandes corpus a escala. Utiliza modelos de IA30 para convertir documentos PDF en archivos de texto estructurados en notación de objetos JavaScript31. Además de extraer el texto principal de los documentos, el CCS también permite al usuario identificar fácilmente las tablas e imágenes con sus títulos y su posición en los documentos. Esta capacidad de extracción de imágenes facilita la extracción de imágenes que pueden usarse como datos (sin procesar) para el trabajo descrito en este artículo.

Para lograr simplicidad en el paso de detectar imágenes de piel, utilizamos el descriptor de histograma de gradiente orientado (HOG), que se usa comúnmente en la detección de objetos y es invariante a las transformaciones geométricas o fotométricas locales32. El vector de características HOG para una imagen I, (hi) se calcula a partir del histograma ponderado de magnitud de contenedores de direcciones obtenidos del gradiente de los valores de intensidad de píxeles en las direcciones horizontal (Gx) y vertical (Gy). Gx(r, c) = I(r, c + 1) − I(r, c − 1) y Gy(r, c) = I(r + 1, c) − I(r − 1, c) representan los gradientes del píxel identificado por la r-ésima fila y la c-ésima columna. El ángulo relacionado con estos gradientes se obtiene como θi(r, c) = arctan(Gy/Gx) y su magnitud se define como Mi(r, c) = pG2y + Gx2. Los valores de los ángulos se agrupan en C = 32 grupos después de un análisis de sensibilidad en un rango de grupos, y cada valor de θi se asigna al grupo más cercano ponderado por la magnitud Mi correspondiente. Además, agregamos valores de intensidad de píxeles directos después de que el espacio de color RGB se transforma al espacio de color CIE LAB (es decir, canales L, a y b), que se sabe que es robusto en diferentes dispositivos de imágenes. El vector de características derivado de estos canales en la imagen I es pi = [μL,μa,μb,σL,σa,σb], donde μ representa el valor medio y σ representa el valor de desviación estándar. El vector de características general es la concatenación de las características HOG (hi) y las características basadas en intensidad (pi), lo que da como resultado un vector de características final de 38 dimensiones para la detección de imágenes de piel.

La etapa de clasificación se valida utilizando los algoritmos SVM15 y XGBoost16, y la estrategia de prueba de entrenamiento utiliza una validación cruzada estratificada cinco veces con el conjunto de datos de DermEducation. Para SVM, utilizamos el kernel RBF ya que codifica mejor la relación entre características de forma no lineal. Con este fin, configuramos nu: el parámetro que controla el error de entrenamiento (es decir, el número de vectores de soporte) en 0,01 y el parámetro gamma determina la influencia del radio en el núcleo RBF y se configuró en 0,05, con el objetivo de evitar el sobreajuste. durante el entrenamiento. Para el clasificador XGBoost, empleamos una calibración basada en validación cruzada (cv) usando pliegues cv = 3, donde los hiperparámetros se configuran desde el pliegue de mejor rendimiento. Empleamos las características de recepción de área operativa (AUROC) y la puntuación F1 como nuestras métricas de rendimiento.

Existen múltiples enfoques para la segmentación de la piel. Podemos clasificar las estrategias como métodos basados en umbrales, basados en modelos y basados en regiones. Saxen y Al-Hamadi33 demostraron que los métodos basados en regiones son los de mejor rendimiento en la segmentación de color (no se utiliza/evalúa información de textura). Como nuestro objetivo general es clasificar los tonos de piel binarios, optamos por utilizar enfoques de segmentación de la piel en lugar de segmentación de lesiones. Cuando se necesita más granularidad, tendremos que considerar los píxeles de la lesión y no solo el enfoque de los píxeles de la piel versus los que no son de la piel. Utilizamos una combinación de un algoritmo de crecimiento de regiones y una segmentación basada en colores en los espacios de color HSV e YCbCr para los experimentos iniciales. Primero, convertimos nuestras imágenes RGB a espacios de color HSV y YCbCr. Los rangos utilizados se basaron en artículos publicados anteriormente33. En segundo lugar, después de recortar las imágenes, aplicamos cuencas hidrográficas y otras operaciones morfológicas.

Para realizar la clasificación del tono de piel, utilizamos el conjunto de datos Fitzpatrick17k para entrenamiento y evaluación mediante validación cruzada. Para las pruebas externas utilizamos los libros de texto detallados en la Tabla 2 y DermEducation. Como datos de entrada solo utilizamos los píxeles de piel extraídos de nuestra sección anterior (consulte Píxeles seleccionados en la Fig. 3B, C). Nuestro objetivo era etiquetar imágenes de piel como FST I-IV o FST V-VI. Para estos experimentos, exploramos enfoques de aprendizaje profundo y de ingeniería de funciones. Para los vectores de características diseñadas, utilizamos la concatenación del vector de características HOG, la media y la desviación estándar de los canales Luminancia (L) y Amarillo (b) en el espacio de color CIE LAB y los valores ITA, que están altamente correlacionados con los índices de melanina9. 12,23. Estos vectores de características se utilizaron en múltiples métodos de Ensemble (Random Forest34, Extremely Randomized Trees35, AdaBoost36 y Gradient Boost16); consulte la Tabla 1, ya que todos los modelos se desempeñaron de manera similar en un nivel promedio. Los árboles aleatorios y aleatorios funcionaron de manera similar a los otros métodos, requiriendo menos tiempo de cálculo que Ada Boost y Gradient Boosting. Todos los modelos se implementaron con scikit-learn v0.24.237 y imbalanced-learn38. Además, evaluamos modelos de aprendizaje profundo. Utilizamos un ResNet-18 previamente entrenado, que es una red neuronal convolucional que tiene 18 capas de profundidad. Las pesas previamente entrenadas contienen 11689512 parámetros. La red se entrenó con más de un millón de imágenes del conjunto de datos de ImageNet18. Después de cargar los pesos, modificamos la última capa para considerar solo dos clases (FST I-IV y FST V-VI) y realizamos un reentrenamiento ponderado durante veinte épocas. El reentrenamiento se realizó con optimización estándar de descenso de gradiente estocástico en pérdida de entropía cruzada ponderada, una tasa de aprendizaje de 1e-3 con una caída lineal y un tamaño de lote de 32. La implementación se realizó con Scientific Python Stack v3.6.939 y Pytorch. v1.8.140. Los resultados se pueden ver en la Tabla 1 y la Fig. 4. También probamos un enfoque existente que asigna los valores de ITA al tono de piel de Fitzpatrick. Cuando se utilizan métodos basados en ITA, el ITA se asigna posteriormente a FST como se muestra en la Tabla complementaria 1.

Luego, los seis índices de tono de piel de Fitzpatrick se fusionan en dos categorías (FST I-IV y FST V-VI) y los resultados se comparan con STAR-ED. La estimación del tono de piel se evaluó mediante todos los métodos con una división de datos del 70 % de los datos utilizados para el entrenamiento, el 10 % para la validación y el 20 % para el entrenamiento. Estas divisiones sólo se aplican al conjunto de datos Fitzpatrick17K; el resto de los conjuntos de datos se utilizaron únicamente como conjuntos de datos de prueba.

Más información sobre el diseño de la investigación está disponible en el Resumen de informes de investigación de la naturaleza vinculado a este artículo.

DermEducation es un conjunto de datos educativos privados que está disponible previa solicitud. Los libros de texto consistían en el libro de texto de dermatología de Rook (ISBN 9781118441190), Bolognia 4e27 (ISBN 9781118441190), Fitzpatrick Color Atlas 8e (ISBN 9781259642197) y Fitzpatrick Dermatology in General Med 9e (ISBN 9781259642197). Fitzpatrick17k está disponible públicamente en https://github.com/mattgroh/fitzpatrick17k.

El código para la detección de imágenes de piel, la segmentación de píxeles de la piel y la estimación del tono de la piel y el conjunto de datos SkinSegmentation están disponibles aquí: https://github.com/IBM/star-ed.

Louie, P. & Wilkes, R. Representaciones de raza y tono de piel en imágenes de libros de texto médicos. Soc. Ciencia. Medicina. 202, 38–42 (2018).

Artículo PubMed Google Scholar

Adelekun, A., Onyekaba, G. & Lipoff, JB El color de la piel en los libros de texto de dermatología: una evaluación y un análisis actualizados. Mermelada. Acad. Dermatol. 84, 194-196 (2021).

Artículo PubMed Google Scholar

Massie, JP y cols. Una imagen de la medicina moderna: raza y representación visual en la literatura médica. J. Natl Med. Asociación. 113, 88–94 (2021).

PubMed Google Académico

Lester, JC, Jia, JL, Zhang, L., Okoye, GA y Linos, E. Ausencia de imágenes de piel de color en publicaciones sobre manifestaciones cutáneas de COVID-19. Hno. J. Dermatol. 183, 593–595 (2020).

Artículo CAS PubMed PubMed Central Google Scholar

Massie, JP y cols. Representación del paciente en la literatura médica: ¿estamos representando adecuadamente la diversidad? Plast. Reconstr. Cirugía. Globo. Abierto 7, e2563 (2019).

Artículo PubMed PubMed Central Google Scholar

Cormier, JN y cols. Diferencias étnicas entre pacientes con melanoma cutáneo. Arco. Médico Interno. 166, 1907-1914 (2006).

Artículo PubMed Google Scholar

Codella, NCF y cols. Análisis de lesiones cutáneas hacia la detección del melanoma 2018: un desafío organizado por la International Skin Imaging Collaboration. arXiv. Preimpresión en https://arxiv.org/abs/1902.03368 (2019).

Sun, X., Yang, J., Sun, M., Wang, K. Un punto de referencia para la clasificación visual automática de imágenes clínicas de enfermedades de la piel. En: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds) Computer Vision – ECCV 2016. Lecture Notes in Computer Science, vol 9910. (Springer: Cham, 2016).

Del Bino, S. & Bernerd, F. Variaciones en el color de la piel y las consecuencias biológicas de la exposición a la radiación ultravioleta. Hno. J. Dermatol 169, 33–40 (2013).

Artículo PubMed Google Scholar

Kinyanjui, NM, Odonga, T., Cintas, C., Codella, NC, Panda, R., Sattigeri, P. y Varshney, KR Equidad de los clasificadores según tonos de piel en dermatología. En Proc. Conferencia internacional sobre informática de imágenes médicas e intervención asistida por computadora 320–329 (Springer International Publishing: Cham, 2020).

Groh, M. y col. Evaluación de redes neuronales profundas entrenadas en imágenes clínicas en dermatología con el conjunto de datos Fitzpatrick 17k. En: Proc. Conferencia IEEE/CVF sobre visión por computadora y reconocimiento de patrones. (2021).

Wilkes, M., Wright, CY, du Plessis, JL y Reeder, A. Tipo de piel de Fitzpatrick, ángulo de tipología individual e índice de melanina en una población africana: pasos hacia evaluaciones de fotosensibilidad de la piel de aplicación universal. JAMA Dermatol. 151, 902–903 (2015).

Artículo PubMed Google Scholar

Chang, CC, et al. Clasificación robusta del tipo de piel mediante redes neuronales convolucionales. En: Proc. 13ª Conferencia IEEE sobre Aplicaciones y Electrónica Industrial (ICIEA). 2011-2014 (2018).

Ebede, T. & Papier, A. Disparidades en los recursos educativos en dermatología. Mermelada. Acad. Dermatol. 55, 687–690 (2006).

Artículo PubMed Google Scholar

Noble, WS ¿Qué es una máquina de vectores de soporte? Nat. Biotecnología. 24, 1565-1567 (2006).

Artículo CAS PubMed Google Scholar

Chen, T., Guestrin, C. XGBoost: un sistema de impulso de árboles escalable. En Proc. 22ª Conferencia Internacional ACM SIGKDD sobre Descubrimiento de Conocimiento y Minería de Datos. 785–794 (2016).

Él, K., Zhang, X., Ren, S., Sun, J. Aprendizaje residual profundo para el reconocimiento de imágenes. 770–778 (2016).

Deng, J. y col. Imagenet: una base de datos de imágenes jerárquicas a gran escala. En Proc. Conferencia IEEE sobre visión por computadora y reconocimiento de patrones. 248–255 (2009).

Chen, C., Liaw, A., Breiman, L. Uso de bosque aleatorio para aprender datos desequilibrados. Universidad de California, Berkeley; 110(24) (2004).

Staar, P., Dolfi, M., Auer, C., Bekas, C. Servicio de conversión de corpus: una plataforma de aprendizaje automático para ingerir documentos a escala. En Proc. Conferencia internacional sobre descubrimiento de conocimiento y minería de datos. 774–782 (2018).

Javaid, A., Sadiq M., Akram, F. Clasificación del cáncer de piel mediante procesamiento de imágenes y aprendizaje automático. En: Proc. Conferencia Internacional de Bhurban sobre Ciencias y Tecnologías Aplicadas (IBCAST). 439–444 (2021).

Montenegro, J., Gómez, W., Sánchez-Orellana, P. Un estudio comparativo de espacios de color en la segmentación facial basada en la piel. En: Proc. X Congreso Internacional de Ingeniería Eléctrica, Ciencias de la Computación y Control Automático (CCE). 313–317 (2013).

Lester, JC, Clark, L., Linos, E., Daneshjou, R. Fotografía clínica en pieles de color: consejos y mejores prácticas. Hno. J. Dermatol. https://doi.org/10.1111/bjd.19811 (2021).

Groh, M., Harris, C., Daneshjou, R., Badri, O. y Koocheck, A. Hacia la transparencia en conjuntos de datos de imágenes dermatológicas con anotaciones de tonos de piel por parte de expertos, multitudes y un algoritmo. Proc. Computadora ACM Hum. Interactuar. 6, 1–26 (2022).

Artículo de Google Scholar

Okoji, Reino Unido, Taylor, SC, Lipoff, JB Equidad en la tipificación de la piel: por qué es hora de reemplazar la escala Fitzpatrick. Hno. J. Dermatol. https://doi.org/10.1111/bjd.19932 (2021).

Burns, T., Breathnach, S., Cox, N., Libro de texto de dermatología de Griffiths C. Rook. (John Wiley e hijos, 2008).

Bolognia, J., Schaffer, JV, Cerroni, L. Dermatología. 4ª edición. 138-160 (Elsevier, 2018).

Wolff, K., Johnson, R., Saavedra, A., Roh, E. Atlas en color y sinopsis de dermatología clínica de Fitzpatrick (McGraw Hill, 2017).

Kang, S. y col. Dermatología de Fitzpatrick (McGraw Hill, 2019).

Livathinos, N. y col. Conversión robusta de documentos PDF utilizando redes neuronales recurrentes. En Proc. 32ª Conferencia Anual sobre Aplicaciones Innovadoras de la Inteligencia Artificial (IAAI-21) 35, 15137–15145 (2021).

Severance, C. Descubriendo la notación de objetos de JavaScript. Computadora 45, 6–8 (2012).

Google Académico

Dalal, N. & Triggs, B. Histogramas de gradientes orientados para la detección humana. En Proc. Conferencia de la IEEE Computer Society sobre visión por computadora y reconocimiento de patrones (CVPR'05) 1, 886–893 (IEEE, 2005).

Saxen, F., Al-Hamadi, A. Segmentación de la piel basada en el color: una evaluación del estado de la técnica. En Proc. Conferencia internacional IEEE sobre procesamiento de imágenes (ICIP). 4467–4471 (IEEE, 2014).

Breiman, L. Bosques aleatorios. Mach. Aprender. 45, 5–32 (2001).

Artículo de Google Scholar

Geurts, P., Ernst, D. y Wehenkel, L. Árboles extremadamente aleatorios. Mach. Aprender. 63, 3–42 (2006).

Artículo de Google Scholar

Hastie, T., Rosset, S., Zhu, J. y Zou, H. Adaboost multiclase. Estadística. Interfaz 2, 349–360 (2009).

Artículo de Google Scholar

Pedregosa, F. et al. Scikit-learn: aprendizaje automático en Python. J. Mach. Aprender. Res. 12, 2825–2830 (2011).

Google Académico

Lemaître, G., Nogueira, F. y Aridas, C. Aprendizaje imequilibrado: una caja de herramientas de Python para abordar la maldición de los conjuntos de datos desequilibrados en el aprendizaje automático. J. Mach. Aprender. Res. 18, 1-5 (2017).

Google Académico

Harris, CR y cols. Programación de matrices con NumPy. Naturaleza 585 (septiembre), 357–362 (2020).

Artículo CAS PubMed PubMed Central Google Scholar

Paszke, A. et al. Pytorch: una biblioteca de aprendizaje profundo de alto rendimiento y estilo imperativo. Avances en sistemas de procesamiento de información neuronal (2019).

Descargar referencias

La realidad virtual cuenta con el respaldo de la subvención de apoyo/subvención básica del Centro Oncológico de MSK (P30 CA008748) y NIH/NCI U24CA264369. JZ cuenta con el respaldo de NSF CAREER 1942926. RD cuenta con el respaldo de 5T32AR007422-38 y el Stanford Catalyst Program.

Los siguientes autores contribuyeron igualmente: Girmaw Abebe Tadesse, Celia Cintas.

Estos autores supervisaron conjuntamente este trabajo: James Zou, Roxana Daneshjou.

IBM Research – África, Nairobi, Kenia

Girmaw Abebe Tadesse, Celia Cintas y Skyler Speakman

IBM Research – TJ Watson, Nueva York, NY, EE. UU.

Kush R. Varshney y Chinyere Agunwa

IBM Research – Europa, Zurich, Suiza

Peter Staar

Universidad de Stanford, Stanford, California, EE. UU.

Justin Jia, Elizabeth E. Bailey, James Zou y Roxana Daneshjou

Universidad de Pensilvania, Filadelfia, Pensilvania, EE. UU.

Ademide Adelekun & Ginikawana Onyekaba

Departamento de Dermatología, Facultad de Medicina de Temple, Filadelfia, PA, EE. UU.

Jules B. Lipoff

Universidad de California San Francisco, San Franciscoa, CA, EE. UU.

Jenna C Lester

Centro Oncológico Memorial Sloan-Kettering, Nueva York, NY, EE. UU.

Verónica Rotemberg

También puedes buscar este autor en PubMed Google Scholar.

GAT y CC contribuyeron igualmente como coautores. JZ, PhD y RD contribuyeron igualmente como coautores principales. AT, CC, KRV, PS, CA, SS, JCL, VR, JZ y RD ayudaron a concebir y diseñar el estudio. GAT, CC, KRV, JJ, EEB, AA, JBL, GO, RD ayudaron a adquirir, interpretar y analizar los datos. GAT, CC, KRV, RD y JZ ayudaron a redactar el manuscrito. Todos los autores ayudaron a revisar el manuscrito. Todos los autores aprueban la versión enviada.

Correspondencia a Girmaw Abebe Tadesse.

Los autores declaran que no existen intereses no financieros en competencia, pero los siguientes intereses financieros en competencia: CC, KRV, PS, CA, SS son empleados de IBM. GAT fue empleado por IBM cuando se completó el trabajo y ahora es empleado por Microsoft.

Nota del editor Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Tadesse, GA, Cintas, C., Varshney, KR et al. Análisis del tono de piel para representación en materiales educativos (STAR-ED) mediante aprendizaje automático. npj Dígito. Medicina. 6, 151 (2023). https://doi.org/10.1038/s41746-023-00881-0

Descargar cita

Recibido: 05 de noviembre de 2022

Aceptado: 21 de julio de 2023

Publicado: 18 de agosto de 2023

DOI: https://doi.org/10.1038/s41746-023-00881-0

Cualquier persona con la que comparta el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt