Lógicamente IA: prueba y monitoreo de modelos de IA utilizados para contrarrestar la información errónea en línea

Estudio de caso de Logically AI.

Este estudio de caso se centra en el uso de IA para detectar información errónea en línea a gran escala.

En este estudio de caso, describimos nuestros enfoques y principios para construir sistemas de inteligencia artificial confiables para detectar información errónea en línea. Lógicamente, utiliza un marco de IA Human in the Loop llamado HAMLET (Humans and Machines in the Loop Evaluation and Training) para permitir el desarrollo de tecnologías de IA confiables y responsables.

Este marco facilita que las máquinas y los expertos trabajen juntos para diseñar sistemas de IA con mayor confiabilidad, incluida la solidez, la generalización, la explicabilidad, la transparencia, la equidad, la preservación de la privacidad y la responsabilidad. Nuestro enfoque de IA confiable considera todo el ciclo de vida de los sistemas de IA, desde la selección de datos hasta el desarrollo de modelos, el desarrollo y la implementación de sistemas y, finalmente, el control y la supervisión continuos. HAMLET aborda varios desafíos a nivel de datos y modelos para desarrollar soluciones de IA efectivas para los problemas del entorno de información en línea. El marco permite la recopilación de anotaciones de datos de expertos, comentarios de expertos, monitoreo del rendimiento del sistema de IA y gestión del ciclo de vida.

La gestión de la calidad de los datos es inherente para poder abordar los datos atípicos, las anomalías y las inconsistencias de manera efectiva. Manejar el sesgo del nivel de datos es fundamental para eliminar patrones y modelos ruidosos que brindan información engañosa.

La supervisión del rendimiento del modelo de IA y la gestión del ciclo de vida también son fundamentales para hacer frente a la naturaleza dinámica del entorno de información en línea. Los modelos de IA son entidades de software únicas en comparación con el código tradicional y su rendimiento puede fluctuar con el tiempo debido a los cambios en la entrada de datos en el modelo después de la implementación. Una vez que se ha implementado un modelo, es necesario monitorearlo para garantizar que funcione como se espera. Por lo tanto, se requieren herramientas que puedan probar y monitorear modelos para garantizar su mejor rendimiento para mitigar los riesgos regulatorios, de reputación y operativos. Los principales conceptos que se deben monitorear son los siguientes:

Para monitorear estos riesgos, HAMLET aprovecha la automatización y las mejores prácticas de la industria en torno a las operaciones de aprendizaje automático (MLops) para diseñar e implementar flujos de trabajo para detectar automáticamente la degradación del rendimiento del modelo.

El establecimiento de la confiabilidad es un procedimiento dinámico. La mejora constante de la confiabilidad de la IA requiere una combinación de flujos de trabajo manuales y basados ​​en la automatización guiados por marcos y principios conceptuales. MLOps proporciona un punto de partida para construir el flujo de trabajo para una IA confiable. Al integrar el ciclo de vida de ML, MLOps conecta la investigación, la experimentación y el desarrollo de productos para permitir el aprovechamiento rápido del desarrollo teórico de una IA confiable. Contiene las siguientes propiedades que se incorporan dentro de nuestro marco HAMLET:

Más información sobre Principios normativos del Libro Blanco de IA.

Nuestro enfoque es relevante para los principios de seguridad, protección y solidez, ya que permite el desarrollo de tecnologías de IA que adoptan las mejores prácticas en la gestión de la seguridad de los datos, el riesgo a nivel de datos y la gestión de amenazas. Además, nuestro enfoque impulsa la adopción de estándares de la industria para una IA responsable y confiable. Esto no solo permite el desarrollo seguro y responsable de las tecnologías de IA, sino que también aumenta su solidez para hacer frente a los ataques de los adversarios.

Nuestro enfoque es relevante para los principios de transparencia y explicabilidad, ya que nos permite desarrollar modelos y sistemas de IA que cumplen con los estándares de la industria en cuanto a equidad, responsabilidad, confiabilidad y explicabilidad. Esto asegura una mayor transparencia, así como flexibilidad para el uso y el desarrollo colaborativo de aplicaciones.

Nuestro enfoque es relevante para los principios de equidad, ya que nos permite desarrollar una pila de tecnología de IA robusta y madura para desarrollar productos y servicios comerciales que contrarrestan la información errónea/desinformación a escala para satisfacer la satisfacción y la confianza del usuario. Reconocemos expresamente el riesgo de sesgo, que informa nuestros procesos para la recopilación de conjuntos de datos y la participación de equipos interdisciplinarios, y significa que nuestro enfoque busca activamente evitar la producción de resultados discriminatorios.

Si bien se ha demostrado que las tecnologías de IA son capaces de detectar información errónea a gran escala, para que sean realmente efectivas deben implementarse siguiendo principios de IA confiables en aplicaciones del mundo real. Sin embargo, muchos sistemas de IA actuales son vulnerables a sesgos, riesgos de privacidad del usuario y ataques imperceptibles. Estos inconvenientes degradan la experiencia del usuario y erosionan la confianza de las personas en los sistemas de IA.

HAMLET permite que las máquinas y los expertos trabajen juntos para diseñar sistemas de IA con mayor confiabilidad, incluida la solidez, la generalización, la explicabilidad, la transparencia, la equidad, la preservación de la privacidad y la responsabilidad. Este enfoque de IA confiable considera todo el ciclo de vida de los sistemas de IA, desde la selección de datos hasta el desarrollo de modelos, el desarrollo y la implementación de sistemas y, finalmente, el control y la supervisión continuos.

Nos permite desarrollar modelos y sistemas de IA que cumplen con los estándares de la industria en cuanto a equidad, responsabilidad, confiabilidad y explicabilidad para permitir una gran transparencia y flexibilidad para el uso y el desarrollo colaborativo de aplicaciones.

Proporciona a la empresa una pila de tecnología de IA robusta y madura para desarrollar productos y servicios comerciales que contrarresten la información errónea/desinformativa a escala para satisfacer la satisfacción y la confianza del usuario.

Para obtener más información sobre otras técnicas, visite el Catálogo de herramientas y métricas de la OCDE: https://oecd.ai/en/catalogue/overview

Para obtener más información sobre los estándares relevantes, visite AI Standards Hub: https://aistandardshub.org/