Modèles de langage de type ChatGPT pour les tests et la vérification des systèmes autonomes intelligents : revue systématique

Dun Li ,  

Ruiguan Lin ,  

Zisheng Wang ,  

Yan-Fu Li ,  

摘要

Cet article propose une revue systématique sur la manière dont les grands modèles de langage (LLMs) de type ChatGPT facilitent les tests et la vérification des systèmes autonomes intelligents (AIS). Basé sur les avancées récentes en raisonnement génératif, cette étude intègre les preuves issues de 120 articles évalués par des pairs, couvrant quatre domaines clés : la génération de scénarios de test, la détection des vulnérabilités, la vérification formelle et la surveillance en temps réel. Par une analyse comparative du fuzz testing, de l'exécution symbolique et de l'apprentissage par renforcement, l'article met en lumière les capacités des LLMs à améliorer l'automatisation, la couverture sémantique et l'adaptabilité, tout en soulignant leurs limites en termes d'intégrité des benchmarks, d'explicabilité et d'efficacité des ressources. La revue introduit un tableau structuré résumant les jeux de données représentatifs, les applications spécifiques et les insights comparatifs entre les méthodes de test traditionnelles et basées sur les LLM. Elle analyse les principaux défis, notamment le manque de benchmarks, l'insuffisance d'explicabilité et les risques éthiques, et explore les pistes émergentes telles que les cadres de vérification hybrides et l'amélioration de la qualité des données. Cette étude vise à combler le fossé conceptuel et pratique entre l'ingénierie de la sécurité en IA et le raisonnement des grands modèles, offrant une feuille de route pour l'intégration des LLM dans les processus futurs de vérification AIS.

关键词

ChatGPT;Grands modèles de langage;Systèmes autonomes intelligents;Test;Vérification;Sécurité IA

阅读全文