С продолжающимся расширением потенциала применения искусственного интеллекта (ИИ) остаётся нерешённым ключевой вопрос: будут ли пользователи доверять и принимать технологии, основанные на ИИ? Поскольку перспективы развития ИИ сильно зависят от восприятия его надёжности, обеспечение надежности и доверия к ИИ играет фундаментальную роль в продвижении его широкого практического применения. Однако теории, математические модели и методы в области инженерии надёжности и управления рисками отстают от стремительного развития технологий ИИ. Это приводит к серьёзным препятствиям для регуляторного утверждения и широкого внедрения ИИ-моделей в критически важных областях принятия решений (например, в медицине, авиации, финансах, атомных электростанциях) из-за отсутствия надёжности и ключевых факторов доверия. Чтобы полностью раскрыть потенциал автоматизированного принятия решений на базе ИИ в этих критически важных с точки зрения безопасности приложениях, необходимо создать умеренное доверие через управление ожиданиями — то есть точную оценку реальных границ возможностей ИИ. В статье сосредоточено внимание на функциональной надёжности систем ИИ в рамках парадигмы контролируемого обучения: сначала анализируются уникальные особенности ИИ-систем по сравнению с традиционными системами и обосновывается необходимость разработки специализированных теорий надёжности и методов управления рисками; затем систематически рассматриваются пять инженерных механизмов для достижения доверенного и надёжного ИИ: включая количественную оценку неопределённости (UQ) на основе модели и вне модели, прогнозирование сбоев, обучение с отказом, формальную верификацию и усиление знаний в ИИ; в конце обсуждаются многочисленные исследовательские вызовы и возможности в области инженерии надёжности и обеспечения доверия ИИ-систем. Исследование направлено на углубление понимания проблем надёжности ИИ-систем и на привлечение исследователей из областей управления рисками и инженерии надёжности к работе над этим всё более важным направлением.

глубокое обучение; инженерия надёжности; управление рисками; доверенный искусственный интеллект; системы ИИ