La IA en medicina necesita contrarrestar el sesgo y no afianzarlo más: vacunas

De

Por

ryan levi

,

Dan Gorenstein

Todavía es pronto para la IA en el cuidado de la salud, pero ya se han encontrado prejuicios raciales en algunas de las herramientas. Aquí, profesionales de la salud en un hospital de California protestan contra la injusticia racial tras el asesinato de George Floyd. MARK RALSTON/AFP vía Getty Images ocultar leyenda

Todavía es pronto para la IA en el cuidado de la salud, pero ya se han encontrado prejuicios raciales en algunas de las herramientas. Aquí, profesionales de la salud en un hospital de California protestan contra la injusticia racial tras el asesinato de George Floyd.

Médicos, científicos de datos y ejecutivos de hospitales creen que la inteligencia artificial puede ayudar a resolver lo que hasta ahora han sido problemas intratables. La IA ya se muestra prometedora para ayudar a los médicos a diagnosticar el cáncer de mama, leer radiografías y predecir qué pacientes necesitan más atención. Pero a medida que crece la emoción, también existe un riesgo: estas nuevas y poderosas herramientas pueden perpetuar las desigualdades raciales de larga data en la forma en que se brinda la atención.

"Si arruinas esto, realmente puedes dañar a las personas al afianzar el racismo sistémico aún más en el sistema de salud", dijo el Dr. Mark Sendak, científico de datos líder en el Instituto Duke para la Innovación en Salud.

Estas nuevas herramientas de atención médica a menudo se crean utilizando el aprendizaje automático, un subconjunto de IA donde los algoritmos se entrenan para encontrar patrones en grandes conjuntos de datos, como información de facturación y resultados de pruebas. Esos patrones pueden predecir resultados futuros, como la posibilidad de que un paciente desarrolle sepsis. Estos algoritmos pueden monitorear constantemente a todos los pacientes en un hospital a la vez, alertando a los médicos sobre los riesgos potenciales que, de lo contrario, el personal con exceso de trabajo podría pasar por alto.

Sin embargo, los datos sobre los que se basan estos algoritmos a menudo reflejan desigualdades y sesgos que han plagado durante mucho tiempo la atención médica de los EE. UU. Las investigaciones muestran que los médicos a menudo brindan atención diferente a los pacientes blancos y a los pacientes de color. Esas diferencias en la forma en que se trata a los pacientes se inmortalizan en datos, que luego se utilizan para entrenar algoritmos. Las personas de color también suelen estar subrepresentadas en esos conjuntos de datos de capacitación.

“Cuando aprendes del pasado, replicas el pasado. Afianzas aún más el pasado”, dijo Sendak. "Porque tomas las inequidades existentes y las tratas como la aspiración de cómo se debe brindar la atención médica".

Un estudio histórico de 2019 publicado en la revista Science descubrió que un algoritmo utilizado para predecir las necesidades de atención médica de más de 100 millones de personas estaba sesgado en contra de los pacientes negros. El algoritmo se basó en el gasto en atención médica para predecir las necesidades de salud futuras. Pero históricamente con menos acceso a la atención, los pacientes negros a menudo gastaban menos. Como resultado, los pacientes negros tenían que estar mucho más enfermos para que se les recomendara atención adicional según el algoritmo.

"Básicamente estás caminando donde hay minas terrestres", dijo Sendak sobre intentar construir herramientas clínicas de IA utilizando datos que pueden contener sesgos, "y [si no tienes cuidado] tus cosas explotarán y dañarán a las personas". ."

En el otoño de 2019, Sendak se asoció con la Dra. Emily Sterrett, médica de emergencias pediátricas, para desarrollar un algoritmo para ayudar a predecir la sepsis infantil en el departamento de emergencias del Hospital de la Universidad de Duke.

La sepsis ocurre cuando el cuerpo reacciona de forma exagerada a una infección y ataca sus propios órganos. Si bien es raro en los niños (aproximadamente 75 000 casos anuales en los EE. UU.), esta afección prevenible es fatal para casi el 10 % de los niños. Si se detecta rápidamente, los antibióticos tratan eficazmente la sepsis. Pero el diagnóstico es un desafío porque los primeros síntomas típicos (fiebre, frecuencia cardíaca alta y recuento alto de glóbulos blancos) se asemejan a otras enfermedades, incluido el resfriado común.

Un algoritmo que pudiera predecir la amenaza de sepsis en los niños cambiaría las reglas del juego para los médicos de todo el país. "Cuando se trata de la vida de un niño en juego, tener un sistema de respaldo que la IA pueda ofrecer para reforzar parte de esa falibilidad humana es muy, muy importante", dijo Sterrett.

Pero el innovador estudio de Science sobre el sesgo reforzó a Sendak y Sterrett que querían ser cuidadosos en su diseño. El equipo pasó un mes enseñando el algoritmo para identificar la sepsis en función de los signos vitales y las pruebas de laboratorio en lugar de datos de facturación de fácil acceso pero a menudo incompletos. Cualquier ajuste al programa durante los primeros 18 meses de desarrollo provocó pruebas de control de calidad para garantizar que el algoritmo encontrara la sepsis igualmente bien, independientemente de la raza o el origen étnico.

Pero casi tres años después de su esfuerzo intencional y metódico, el equipo descubrió que un posible sesgo aún logró colarse. El Dr. Ganga Moorthy, becario de salud global del programa de enfermedades infecciosas pediátricas de Duke, mostró a los desarrolladores de la investigación que los médicos de Duke tardaron más en ordenar análisis de sangre para los niños hispanos finalmente diagnosticados con sepsis que los niños blancos.

"Una de mis principales hipótesis era que los médicos estaban tomando las enfermedades de los niños blancos quizás más en serio que las de los niños hispanos", dijo Moorthy. También se preguntó si la necesidad de intérpretes ralentizaba el proceso.

"Estaba enojado conmigo mismo. ¿Cómo podríamos no ver esto?" dijo Sendak. "Nos perdimos por completo todas estas cosas sutiles que, si alguna de ellas fuera consistentemente cierta, podría introducir un sesgo en el algoritmo".

Sendak dijo que el equipo había pasado por alto este retraso, lo que podría enseñarle a su IA de manera incorrecta que los niños hispanos desarrollan sepsis más lentamente que otros niños, una diferencia de tiempo que podría ser fatal.

Durante los últimos años, los hospitales y los investigadores han formado coaliciones nacionales para compartir las mejores prácticas y desarrollar "libros de estrategias" para combatir los prejuicios. Pero las señales sugieren que pocos hospitales están considerando la amenaza a la equidad que plantea esta nueva tecnología.

La investigadora Paige Nong entrevistó a funcionarios de 13 centros médicos académicos el año pasado, y solo cuatro dijeron que consideraban el sesgo racial al desarrollar o examinar algoritmos de aprendizaje automático.

"Si un líder en particular en un hospital o un sistema de salud estuviera personalmente preocupado por la inequidad racial, eso informaría cómo pensaban sobre la IA", dijo Nong. "Pero no había nada estructural, no había nada a nivel regulatorio o político que les obligara a pensar o actuar de esa manera".

Varios expertos dicen que la falta de regulación hace que este rincón de la IA se sienta un poco como el "salvaje oeste". Investigaciones separadas de 2021 encontraron que las políticas de la Administración de Drogas y Alimentos sobre el sesgo racial en la IA eran desiguales, con solo una fracción de algoritmos que incluso incluían información racial en las aplicaciones públicas.

La administración de Biden durante los últimos 10 meses ha lanzado una serie de propuestas para diseñar barandas para esta tecnología emergente. La FDA dice que ahora les pide a los desarrolladores que describan los pasos tomados para mitigar el sesgo y la fuente de datos que sustentan los nuevos algoritmos.

La Oficina del Coordinador Nacional de Tecnología de la Información de la Salud propuso nuevas regulaciones en abril que requerirían que los desarrolladores compartan con los médicos una imagen más completa de qué datos se usaron para construir algoritmos. Kathryn Marchesini, directora de privacidad de la agencia, describió las nuevas regulaciones como una "etiqueta nutricional" que ayuda a los médicos a conocer "los ingredientes utilizados para hacer el algoritmo". La esperanza es que una mayor transparencia ayude a los proveedores a determinar si un algoritmo es lo suficientemente imparcial como para usarlo de manera segura en los pacientes.

La Oficina de Derechos Civiles del Departamento de Salud y Servicios Humanos de EE. UU. propuso el verano pasado regulaciones actualizadas que prohíben explícitamente a los médicos, hospitales y aseguradoras discriminar "mediante el uso de algoritmos clínicos en [su] toma de decisiones". La directora de la agencia, Melanie Fontes Rainer, dijo que si bien las leyes federales contra la discriminación ya prohíben esta actividad, su oficina quería "asegurarse de que [los proveedores y las aseguradoras] estén conscientes de que esto no es solo 'Compre un producto listo para usar, cierre tus ojos y úsalo'".

Muchos expertos en IA y sesgo dan la bienvenida a esta nueva atención, pero hay preocupaciones. Varios académicos y líderes de la industria dijeron que quieren ver que la FDA explique en detalle en las pautas públicas exactamente lo que los desarrolladores deben hacer para demostrar que sus herramientas de inteligencia artificial son imparciales. Otros quieren que ONC requiera que los desarrolladores compartan públicamente la "lista de ingredientes" de su algoritmo, lo que permite a los investigadores independientes evaluar el código en busca de problemas.

A algunos hospitales y académicos les preocupa que estas propuestas, especialmente la prohibición explícita del HHS de usar IA discriminatoria, puedan resultar contraproducentes. "Lo que no queremos es que la regla sea tan aterradora que los médicos digan: 'Está bien, simplemente no usaré ninguna IA en mi práctica. Simplemente no quiero correr el riesgo'", dijo Carmel Shachar. , director ejecutivo del Centro Petrie-Flom para la Política de Derecho de la Salud de la Facultad de Derecho de Harvard. Shachar y varios líderes de la industria dijeron que sin una guía clara, los hospitales con menos recursos pueden tener dificultades para mantenerse del lado correcto de la ley.

Mark Sendak de Duke da la bienvenida a las nuevas regulaciones para eliminar el sesgo de los algoritmos, "pero lo que no escuchamos decir a los reguladores es: 'Entendemos los recursos que se necesitan para identificar estas cosas, monitorear estas cosas. Y vamos a hacer inversiones para asegurarnos de que abordemos este problema'".

El gobierno federal invirtió $ 35 mil millones para atraer y ayudar a los médicos y hospitales a adoptar registros de salud electrónicos a principios de este siglo. Ninguna de las propuestas regulatorias en torno a la IA y el sesgo incluye incentivos o apoyo financiero.

La falta de financiamiento adicional y una guía regulatoria clara deja a los desarrolladores de IA para solucionar sus propios problemas por ahora.

En Duke, el equipo comenzó de inmediato una nueva ronda de pruebas después de descubrir que su algoritmo para ayudar a predecir la sepsis infantil podría estar sesgado en contra de los pacientes hispanos. Se necesitaron ocho semanas para determinar de manera concluyente que el algoritmo predijo la sepsis a la misma velocidad para todos los pacientes. Sendak plantea la hipótesis de que hubo muy pocos casos de sepsis para el tiempo de demora para que los niños hispanos se incorporaran al algoritmo.

Sendak dijo que la conclusión fue más aleccionadora que un alivio. "No encuentro reconfortante que en un caso raro específico, no tuviéramos que intervenir para evitar el sesgo", dijo. "Cada vez que te das cuenta de una falla potencial, existe la responsabilidad de [preguntar], '¿Dónde más está sucediendo esto?'"

Sendak planea construir un equipo más diverso, con antropólogos, sociólogos, miembros de la comunidad y pacientes que trabajen juntos para eliminar el sesgo en los algoritmos de Duke. Pero para que esta nueva clase de herramientas haga más bien que mal, Sendak cree que todo el sector de la atención médica debe abordar su inequidad racial subyacente.

"Tienes que mirarte en el espejo", dijo. "Requiere que te hagas preguntas difíciles a ti mismo, a las personas con las que trabajas, a las organizaciones de las que formas parte. Porque si en realidad estás buscando sesgos en los algoritmos, la causa raíz de muchos de los sesgos son las desigualdades". en cuidado."

Esta historia proviene del podcast de políticas de salud Tradeoffs. Dan Gorenstein es el editor ejecutivo de Tradeoffs y Ryan Levi es el productor senior del programa. La cobertura de la excelencia diagnóstica de Tradeoffs está respaldada en parte por la Fundación Gordon y Betty Moore.