Con la continua expansión del potencial de las aplicaciones de inteligencia artificial (IA), una cuestión central sigue sin resolverse: ¿confiarán los usuarios y adoptarán las tecnologías impulsadas por IA? Dado que las perspectivas de desarrollo de la IA dependen en gran medida de la percepción de su fiabilidad, garantizar la confiabilidad y la confianza en la IA desempeña un papel fundamental en la promoción de su aplicación práctica y generalizada. Sin embargo, las teorías, modelos matemáticos y métodos en el campo de la ingeniería de confiabilidad y la gestión de riesgos no han seguido el rápido desarrollo de las tecnologías de IA. Esto conduce a importantes obstáculos regulatorios y a limitaciones en la adopción amplia de modelos de IA en áreas de toma de decisiones críticas (como medicina, aviación, finanzas, centrales nucleares) debido a la falta de elementos clave como la confiabilidad y la confianza. Para aprovechar plenamente el potencial de la toma de decisiones automatizada basada en IA en estas aplicaciones críticas para la seguridad, es necesario establecer una confianza moderada mediante la gestión de expectativas — es decir, una evaluación precisa de los límites reales de la capacidad de la IA. Este artículo se centra en la confiabilidad funcional de los sistemas de IA bajo el paradigma de aprendizaje supervisado: primero analiza las características únicas que distinguen los sistemas de IA de los sistemas tradicionales y argumenta la necesidad de desarrollar teorías de confiabilidad especializadas y métodos de gestión de riesgos; luego presenta sistemáticamente cinco mecanismos de ingeniería actuales para lograr una IA confiable y de confianza: incluyendo la cuantificación de incertidumbre (UQ) basada en modelos y sin modelos, la predicción de fallos, el aprendizaje con rechazo, la verificación formal y la IA aumentada por conocimiento; finalmente propone varios desafíos y oportunidades de investigación en el campo de la ingeniería de confiabilidad y garantía de confianza de los sistemas de IA. Esta investigación tiene como objetivo profundizar la comprensión de los problemas de confiabilidad de los sistemas de IA y fomentar la participación de investigadores en campos como la gestión de riesgos y la ingeniería de confiabilidad en esta dirección de investigación cada vez más importante.

aprendizaje profundo; ingeniería de confiabilidad; gestión de riesgos; IA confiable; sistemas de IA