i=2I

i= i=

i=arbitrary

Complex decision boundaries

Machine Learning Design & Validation of Classifiers

Computer Vision Detection of Errors A/D Converter Sensor Object

Pattern of Data X1 + o X1 y X2 son observaciones (features) llamados tambien atributos o variables. “+” -> clase 1 “-” -> clase 2 Learning es el proceso de generalizar los patrones de las clases a partir de las observaciones previamente clasificadas X2

Samples Learning System Classifiers El fundamento del sistema de aprendizaje es extraer una regla de decision de unas muestras para aplicarlo a una nueva data. Un tipico sistema de aprendizaje puede ser un arbol de decision, una funcion discriminante (Pattern Recognition) o un neural network. El sistema de aprendizaje tiene un conjunto de muestras finitas que se saben a que clase pertenecen. Se escoge la estructura o tipo de clasificador a usarse. El clasificador tiene que a partir de su estructura y de las muestras previamente clasificadas, relacionar las muestras observadas a distintos patrones que representan clases.

Classification Systems Data for classification Decision Pertaining to class Classifier Luego de que el clasificador ha sido entrenado con muestras previamente clasificadas el clasificador podra clasificar datos nuevas en distintas clases.

Design of a classifier Learning System Classifier for Specific Samples for training Values of variables (xi) Classes Pertaining to samples Learning System Classifier type Classifier for Specific application Case Variables (Features)

Estimating the execution of a learning system What is an error? Class (+) Class (-) Classification (+) Correct (+/+) Error (-/+) Classification (-) Error (+/-) Correct (-/-) Ejemplo : Dos clases Clase “+” y clase “-” Reason for error (estimate) = number of errors number of cases

Apparent and true error Samples for training New cases Classifier Apparent reason for error True error La razon de error aparente esta parcializado. Es optimista. La razon de error verdadera (casos nuevos) es mas objetivo. En la medida que el numeros de casos nuevos sea grande el estimado de error de casos nuevos se acercara al verdadero error. Como estimar la razon de error verdadera (necesitamos muestras que conozcamos a que clase pertenece)?

Error estimation using samples for training and samples for testing Cases for training the classifier Cases for testing the classifier Las muestras de entrenamiento serviran para inducir reglas de clasificacion en el tipo de clasificador usado. Tambien se usa para estimar la razon de error aparente. Las muestras de prueba (independiente de las de entrenamiento) se usaran para estimar la razonde error verdadera.

Example: 1-d Class 1: n1 = 5 X1 Train Y1 Train Class 2: n1 = 5 Y2 Test

Estimation of Parameters

Classification ML Rule

Classification ML Rule

A simpler Classification ML Rule

Classification ML Rule