Experimentación Numérica Desarrollo de Programas 1 Sección de Ingeniería Informática Grupo 5

Agenda Objetivo de la Experimentación Selección de Método Experimental Hipótesis Ejecución del Experimento Resultados Conclusiones Grupo 5

Objetivo de la Experimentación Que es lo que buscamos mediante esta prueba de experimentación, según los objetivos del curso y del proyecto planteado.

Objetivo de la Experimentación Algoritmos a comparar: Algoritmo A: Grasp Algoritmo B: Voraz El objetivo principal de la experimentación es comparar dos algoritmos para saber que algoritmo es el mas adecuado para resolver un problema determinado. Comparar dos algoritmos y en base a los resultados inferir que uno es MEJOR que otro, o que un algoritmo siempre ofrecerá mejores soluciones, es erróneo; porque al tratar con un algoritmo meta heurístico, las soluciones se vuelven aleatorias (el grasp no devuelve siempre la misma solución a un problema). Además porque sabemos (según la investigación algorítmica) que no siempre los algoritmos se comportan de la misma manera en condiciones distintas, como pueden ser la complejidad del problema planteado (muchos proyectos para la cartera). Por eso definimos como objetivo es : “Probar que la solución proporcionada por un algoritmo es EN PROMEDIO mejor a la proporcionada por otro algoritmo” Grupo 5

¿Cómo evaluamos una solución? Problema a evaluar ¿Como repartir presupuesto? “Evaluación y selección de proyectos de inversión para entidades financieras” Mayor Ganancias ¿Cómo evaluamos una solución? ¿Qué indicador es el adecuado comparar para escoger entre una u otra solución? Como todos sabemos, el problema consiste en la evaluación y selección de proyectos de inversión para entidades financieras, como realizarlo para obtener mayores ganancias. Ahora, tenemos que saber de que manera compararemos los resultados para el problema planteado ¿Como vamos a evaluar la eficiencia de una cartera? ¿en que nos podemos basar para decir que una solución es mejor que otra? ¿Qué tipo de indicador necesitamos en el problema? ¿como debe definirse este indicador? Grupo 5

Variable de Respuesta R (Cartera) = Promedio ( ) Rentabilidad de Cartera Se realiza el calculo de un rendimiento por medio de los indicadores VAE, TIR, PRI y BC Como evaluamos la solución de un problema? Por la RENTABILIDAD DE CARTERA RESUELTA, que será nuestra variable respuesta. ¿Por qué la rentabilidad? Por que el objetivo del problema es obtener mayores ganancias y este es representado por la rentabilidad. ¿Cómo evaluamos la rentabilidad en una cartera resuelta? Para una solución donde, cada proyecto tiene el monto que se invertirá, se halla un rendimiento por cada proyecto utilizando los indicadores financiero VAE, TIR, PRI y BC. Luego para hallar un indicador representativo de toda la cartera (RENTABILIDAD DE CARTERA) se realiza un promedio, de los rendimientos individuales por proyecto. La Rentabilidad de Cartera es la variable representativa de la cartera, y por tanto la variable de respuesta para el algoritmo. R (Cartera) = Promedio ( ) Grupo 5

Selección de Método Experimental Luego de definido lo que deseamos probar, necesitamos saber como lo vamos a probar. Para eso se decide aplicar métodos estadísticos que nos acerquen a la nuestro objetivo.

¿Qué método experimental usamos? Distribución de Fisher Distribución T-Student Distribución Ji-Cuadrado Distribución Normal Prueba Z Existen varios métodos estadísticos de pruebas que podemos usar sin restricción, pero cada uno de estos estadísticos se adecuan a determinados problemas mucho mejor que otros métodos. Esto depende de las características del problema a resolver. Grupo 5

¿Qué criterio de evaluación? Para dos muestras: Prueba de la razón de la varianza de 2 muestras. Prueba de la diferencia entre las medias de 2 muestras. Prueba de la diferencia entre las proporciones de dos muestras con observaciones independientes. Basados en teorías estadísticas, las pruebas estadísticas para dos muestras pueden evaluarse por 3 diferentes criterios, tales como: 1.- Prueba de la razón de la varianza de 2 muestras. 2.- Prueba de la diferencia entre las medias de 2 muestras. 3.- Prueba de la diferencia entre las proporciones de dos muestras con observaciones independientes. Iremos descartando cada una hasta llegar a la mas adecuada: 1: Este criterio consiste en medir la proporción de las varianzas de las muestras, debido a que las varianzas son iguales no se puede realizar esta medición. ( ya que son la misma varianza una relación de proporción daría 1) “ A priori sabemos que las varianzas son iguales; porque, solo la prueba solo depende de un único y mismo factor, este factor es el algoritmo en si (el código o potencia que uno le dio en la implementación). No existe ningún factor externo por tanto están en las mismas condiciones; es decir, la variabilidad es debido a un mismo factor: el algoritmo.” 3: Por este criterio si se puede realizar una medición. Como su nombre lo dice es propio para observaciones independientes, por ejemplo: - % de soluciones que se ejecutan en menos de un tiempo t. - % de soluciones que superan un mínimo de % de rendimiento de cartera (variable de respuesta) Pero no es aplicable al actual planteamiento, por que buscamos realizar una comparación general de los algoritmos sin especificar ninguna condición particular.(Según el objetivo del experimento) 2: Por ultimo nos queda la prueba de diferencia de medias, este seria el mas adecuado por que de los 3 es el que se adecua mejor al objetivo del problema, además consiste en la evaluación de la diferencia que existe entre las medias, realiza una comparación directa entre una medida representativa de cada algoritmo. Grupo 5

Muestras Independientes Método experimental Muestras Independientes Mas de dos muestras Dos muestras Es Normal (Pruebas paramétricas) No es Normal (Pruebas no paramétricas) Es Normal (Pruebas paramétricas) No es Normal (Pruebas no paramétricas) 1 Varianzas Iguales Varianzas Diferentes Prueba de Mann Whitney Prueba Duncan Prueba de Kruskal Wallis Sabiendo que evaluaremos las medias entre dos muestras, debemos seleccionar un método matemático o distribución que se utilizara. De partida escogemos el T-Student, porque por teoría esta distribución sirve para comparar medidas de muestras independientes, además que su objetivo es demostrar con una hipótesis que una media es mejor que otra y no por azar. Y como sabemos, es justo lo que necesitamos según el análisis (comparar medias y demostrar que una es mejor que otro) Ahora para saber que T-Student usare: Sabemos que las muestras tienen varianzas iguales. (por eso usaremos el t-student para varianzas iguales) Por tanto para usar el T-Student para varianzas iguales debemos corroborar lo siguiente: Son Muestras independientes: si por que las muestras no dependen entre si. Estamos tratando con dos o mas muestras?: con dos muestras. Las muestras son normales: tendría que probarse para poder utilizar la t-student Las varianzas son iguales: se sabe a priori, pero igual requiere de verificación estadística. Se puede realizar la prueba de t-student, para hallar que muestra es mejor que la otra. 2 Distribución T-Student Distribución T-Student 3 Grupo 5

T-Student Como escogimos T-Student. En que consiste la prueba T-Student: Es exclusivamente para la comparación de medias. Sirve para comparar la medias de dos muestras y nos dice a un nivel de significación alfa si la diferencia de las medias es significativa fue cosa de azar. ( Es decir nos dice si el grasp le va a ganar al voraz o solo le ligo en estas 100 corridas que se realizaron) La t-student trabaja en su formula con la media y la varianza, por eso requiere saber si son varianzas iguales o diferentes, porque existe un tratamiento diferente para cada caso. Alfa: es el grado de confianza, o de certeza que se escoge de antemano, por costumbre se escoge 5%. Puede variar dependiendo del problema o del objetivo. En si el alfa es que tan seguro deseo estar para aceptar o rechazar la hipótesis. c: es el punto critico que separa la región critica de la región de aceptación. (Quien expone esto debe explicar un poco mas de teoría del t-student, Y CAMBIAR GRAFICO) Grupo 5

Hipótesis Para formalizar la hipótesis de la prueba experimental.

Hipótesis Asumiendo que: u1: media del rentabilidad de cartera que se obtiene al aplicar el Algoritmo A (Grasp). u2: media del rentabilidad de cartera que se obtiene al aplicar el Algoritmo B (Voraz). H0: u1 = u2 H1: u1 > u2 Asumiendo que : …(guioncitos!!) La hipótesis nula H0 dice que las medias son iguales. La hipótesis alternativa H1 dice que el voraz es menor que el grasp (en rendimiento) Por tanto esperamos que la prueba T rechace la hipótesis nula y me diga que corra el riesgo de aceptar la hipótesis alternativa. Al negar la nula solo digo que no son iguales, es decir a este punto no se cual es el mejor. ¿Cómo saber cual es mejor? Entonces para saber quien es mejor me fijo en las muestras notando que en todos los casos, o en su mayoría, el grasp le gana al voraz. (ósea me fijo cual de las medias es mayor y punto). Esto se puede realizar porque ya se justifico que no es “champa” que sean diferentes, por lo tanto si puedo evaluarlas con solo mirarlas y compararlas. Grupo 5

Ejecución del Experimento

Ejecución del Experimento Software utilizado: NetBeans 6.5 : Desarrollo del los algoritmos SPSS 15.0: Procesamiento de resultados Grupo 5

Muestra de ejecución Ejecución de bachero: genera aleatoriamente los datos. Ejecución de algoritmo Voraz. Ejecución de algoritmo Grasp. (Se muestra la ejecución: solo como prueba!!) A continuación se mostraran las corridas de los algoritmos y nuestro generador de problemas. Grupo 5

Datos utilizados Captura de Generación de Datos: Datos Voraz: Datos Grasp: Aquí tenemos los datos generados para la experimentación realizada. Cada conjunto de datos contiene: #Problema / Variable de respuesta (rendimiento) 1 0.29 2 0.6 … … 100 0.46 Se plantearon 100 problemas diferentes y se obtuvieron tales valores. Esto se realizo para cada algoritmo. Grupo 5

Resultados A continuación mostraremos los resultados e interpretación de las pruebas que realizamos a los datos obtenidos.

Primer paso 1. Prueba Z de Kolmogorov-Smirnov: Para evaluar si las muestras siguen una distribución normal. Prueba muestra Grasp: Prueba muestra Voraz: Como explicamos anteriormente, la primera prueba consiste en saber si las muestras cumplen una distribución normal. La prueba tiene que realizarse para cada una de las muestras Grasp y Voraz. Para realizar esta prueba el SPSS también requiere de un plantear una hipótesis nula y alternativa: H0: La muestra es normal H1: La muestra NO es normal La prueba llamada Z de Kolmogorov-Smirnov, es la prueba que encontramos para este evaluación. El programa SPSS solo requiere de la muestra y nos brindara los estadísticos necesarios para la interpretación. ¿Como se interpretan los resultados? Para esto el SPSS brinda un valor, el nivel de significancia (p), y se interpreta así: Si el alfa que tu definiste (siempre 5%) es mayor al nivel de significancia (p) que dio el SPSS se puede rechazar las nula, si el nivel de significación es mayor entonces no puedes rechazar la nula. Por ejemplo: Si sale un Smirnov de 9.12 con nivel de significancia 0.07. ¿Alfa predefinido > Nivel de significancia? ¿ 0.05 > 0.07 ? NO ES CIERTO Por lo tanto puedo rechazar la nula. Esto sin mirar el 9.12 resultado del Smirnov, solo me fijo en el nivel de significancia. Por eso es de esperar que estos valores (nivel de significancia-p) salgan altos para no negar la nula, ósea confirmar que nuestra muestra es normal. Grupo 5

Segundo paso 2. Prueba Levene: Para evaluar si las varianzas de las muestras son iguales. Como explicamos anteriormente, la segunda prueba consiste en saber si las muestras tienen varianzas iguales. Esto lo suponíamos de a priori pero pasamos a realizar el estadístico necesario. La prueba se realiza para las dos muestras en conjunto (Grasp y Voraz). Para realizar esta prueba el SPSS también requiere de un plantear una hipótesis nula y alternativa: H0: Las muestras tienen varianzas iguales H1: Las muestras tienen varianzas diferentes La prueba llamada Levene, es la prueba que encontramos para este evaluación. El programa SPSS solo requiere de las muestras y nos brindara los estadísticos necesarios para la interpretación. ¿Como se interpretan los resultados? Para esto el SPSS brinda un valor, el nivel de significancia (p), y se interpreta así: Si el alfa que tu definiste (siempre 5%) es mayor al nivel de significancia (p) que dio el SPSS se puede rechazar las nula, si el nivel de significación es mayor entonces no puedes rechazar la nula. Por ejemplo: Si sale un Levene de 3.12 con nivel de significancia 0.08. ¿Alfa predefinido > Nivel de significancia? ¿ 0.05 > 0.08 ? NO ES CIERTO Por lo tanto puedo rechazar la nula. Esto sin mirar el 3.12 resultado del Levene, solo me fijo en el nivel de significancia. Por eso es de esperar que este valor (nivel de significancia) salga alto para no negar la nula, ósea confirmar que las muestras tiene varianzas iguales. Grupo 5

Tercer paso 3. Prueba T-Student: Para aceptar o rechazar la hipótesis planteada. Finalmente luego de realizar las validaciones necesarias, se aplica la prueba T-Student, diciéndome si puedo rechazar la hipótesis (diapo 13). Para la prueba T-Student el programa SPSS solo requiere de las muestras y nos brindara los estadísticos necesarios para la interpretación. ¿Como se interpretan los resultados? El SPSS brinda un valor, el nivel de significancia (p), y se interpreta así: Si el alfa que tu definiste (siempre 5%) es mayor al nivel de significancia que dio el SPSS se puede rechazar las nula, si el nivel de significación es mayor entonces no puedes rechazar la nula. Por ejemplo: Si sale un T de 3.12 con nivel de significancia 0.06. “Como nuestra hipótesis es una Unilateral con cola derecha, entonces el nivel de significancia evaluado para rechazar la hipótesis nula es 1-p/2, y no directamente el p (nivel significancia)” P= 0.06 - P/2 = 0.03 ¿Alfa predefinido > Nivel de significancia? ¿ 0.05 > 0.03 ? SI ES CIERTO Por lo tanto puedo rechazar la nula. Esto sin mirar el 3.12 resultado del T, solo me fijo en el nivel de significancia. Por eso es de esperar que este valor (P/2 ) salga bajo para poder negar la nula, ósea negar que las muestras tienen medias iguales. Grupo 5

Conclusiones

Conclusiones Con un 95% de confianza se afirma que: Hay suficiente evidencia para rechazar la hipótesis nula. En promedio el algoritmo Grasp arroja soluciones con medias muestrales mejores que el algoritmo Voraz. Es conveniente por los resultados, implementar el algoritmo Grasp. Se implementará en algoritmo Grasp. Se tiene que concluir según los datos. Grupo 5

Bibliografía CORDOVA Manuel, Estadística Aplicada. Primera Edición, Editorial Moshera S.R.L. 2008. MENDENHALL William y SINCICH Terry, Probabilidad y Estadística para Ingeniería y Ciencias. Cuarta Edición, Prentice Hall México 1997. FLORES José, Probabilidad y Estadística. Tercera Edición, Fondo Editorial PUCP 2006. http://www.ucm.es/info/dosis/Preventiva/doctorado/TEMA10.pdf http://www.portalesmedicos.com/publicaciones/articles/1314/1/Test-no-parametricos-para-datos-biosanitarios-con-SPSS.html https://www.itescam.edu.mx/principal/sylabus/fpdb/recursos/r41337.PPT#297,4,Diapositiva4 http://www.youtube.com/watch?v=5USipH2OPSw http://cca.uprm.edu/agronomia/raul_macchiavelli/agro5005/lab10clave.pdf http://eio.usc.es/eipc1/BASE/BASEMASTER/FORMULARIOS-PHP-DPTO/MATERIALES/311121867.pdf Grupo 5