Los sistemas expertos necesitan verificarse y validarse y para esto existen diferentes formas. Se analiza los aspectos tales como utilidad, robustez, eficiencia, posibilidades de ampliación o facilidad de manejo.
Lo primero a asegurarse al verificar o validar un sistema experto, es ver si la salida es la correcta o las que se espera, a partir de ello se puede comenzar para verificar la demás estructura interna. Para esto es importante: Asegurar la calidad del producto desarrollado. Asegurar su utilización en dominios críticos. Aceptar su uso en la rutina diaria.
Verificar la Base de Conocimientos: Verificación de la consistencia: Reglas redundantes, conflictivas, contenidas en otras y cíclicas. Verificación de la integridad: Valores de atributos sin referencia, valores ilegales de atributos, conclusiones inalcanzables y reglas sin salida.
Todo el personal involucrado en el proceso de validación. Partes del sistema a validar. Criterios de validación. Métodos de validación. Momento en que se realiza la validación. Los errores cometidos en la validación.
Validación contra el experto: Se utiliza las interpretaciones y opiniones de los expertos humanos. Aquí existen 3 tipos: Validación contra un experto, validación contra un grupo de expertos y validación contra un consenso e expertos. Validación contra el problema: ¿Nuestro sistema resuelve correctamente el tema planteado?
Cualitativos: Comparación de rendimientos: - Validación superficial. - Pruebas de Turing. - Pruebas de Campo. - Análisis de sensibilidad. Cuantitativos: Utilizan medidas estadísticas para medir el rendimiento: - Medidas de pares. - Medidas de grupos. - Ratios de acuerdo.
INDICE DE ACUERDO: Cociente entre números de observaciones de acuerdo entre los expertos y numero de observaciones totales. INDICE DE ACUERDO DENTRO DE UNO: Considera acuerdos parciales aquellas interpretaciones que se diferencian solo en una categoría semántica.
Índice kappa: