Prototipo y Evaluación Capítulo 9 Por que se necesita evaluar durante el proceso iterativo de diseño? La cantidad de métodos disponibles y como seleccionar.

Presentación del tema: "Prototipo y Evaluación Capítulo 9 Por que se necesita evaluar durante el proceso iterativo de diseño? La cantidad de métodos disponibles y como seleccionar."— Transcripción de la presentación:

1 Prototipo y Evaluación Capítulo 9 Por que se necesita evaluar durante el proceso iterativo de diseño? La cantidad de métodos disponibles y como seleccionar entre ellos Como conducir la evaluación como una investigación real, con objetivos específicos de aprendizaje y los pasos Como escribir planes concisos y reportes de evaluación Como construimos los prototipos y las herramientas que usamos Métodos informales de evaluación Métodos iterativos de chequeo en el campo

2 Evaluación Formativa El diseño es evaluado de acuerdo a los requerimientos La evaluación es realizada bajo condiciones reales Los resultados de la evaluación se incorporan en la próxima versión mejorada Ver Figura 9.1 (dos diseños alternativos en un paquete de CAD, un menú pull-down corriente y B un menú alternativo en forma de torta). El proceso de evaluación. La construcción del prototipo y su evaluación siguiendo los requerimientos o las especificaciones del problema, reportamos resultados que influencian la próxima etapa en el desarrollo de las especificaciones del diseño.

3 Evaluación Sumativa Conducir una evaluación a Full Escala puede significar que todas las otras actividades de diseño se deben parar Otra alternativa es evaluar cuando el diseño está completo Pero la evaluación sumativa presenta los siguientes problemas El diseño puede fallar en su evaluación, pero ya no hay tiempo para rectificar las fallas Se corre el peligro de no realizar ninguna evaluación

4 Técnicas Formativas Simples Esto minimiza la cantidad tiempo durante el cual el diseño se para: A. Aprendiendo a partir del diseño y de la construcción de prototipos, descubriendo los problemas en el prototipo que no se visualizaron en el papel B. Aplicar pruebas informales al prototipo inicial, probándolo nosotros mismos o invitando a otros a probarlo. C. Conducir una serie de estudios de campo de mejoras progresivas de el mismo prototipo Una cuarta opción no discutida en esta lección D. Chequear una componente del diseño bajo condiciones controladas, típicamente en un laboratorio de usabilidad Proveer resultados más exactos que otros métodos

5 Realizando la Investigación Las etapas básicas: 1. Se identifican las propiedades de usabilidad a ser medidas, estableciendo requerimientos particulares que el diseño debe alcanzar 2. Se pondrá a punto el prototipo para ser usado para la evaluación 3. Se diseña el experimento, se localizan a los usuarios que realizarán la prueba, definiremos las actividades que el usuario va a realizar y programaremos las pruebas 4. Nosotros aplicaremos las pruebas y recogeremos la data; a cada usuario se le explicará de que trata la prueba, antes de realizarla 5. Se analizará la data para establecer como las condiciones de la prueba han afectado la eficiencia de las actividades 6. Se concluirá definiendo acerca de las mejoras que requiere el diseño. Las etapas 3, 4, y 5 representan el proceso del diseño experimental.

6 Análisis y Diseño del Experimento La clase de resultados que esperamos para: Las clases que esperamos evitar: No se aprecia diferencia - Resultados confusos debido a experimentos mal realizados Sin significancia estadística

7 El Plan de Investigación y su Reporte Dos etapas esenciales en la documentación de la evaluación Figura 9.4. Los roles del plan de investigación y su reporte

8 Documentación a través de Pro formas Pro forma: Un plan de dos oraciones o reporte que sumariza el documento completo. La primera oración: Se requiere de una maquina de tickets que el usuario la primera vez que la use sea capaz de operarla exitosamente sin entrenamiento previo… La segunda oración: ….. Nosotros intentamos llevar a cabo un examen de laboratorio de la maquina para confirmar que por lo menos un 95% de los usuarios pueden completar normalmente su compra sin dificultad. También es util en la documentación el análisis de usabilidad por ejemplo, un reporte de análisis: Se requiere que el paquete de graficación produzca una secuencia de copias de planos, la cual debe tomar un tiempo mínimo de preparación. Nosotros hemos establecido un conjunto de predicciones de tiempo-rendimiento para los pasos en la tarea de graficar los planos,y y han mostrado que cada plano tomara al usuario aproximadamente 40 segundos

9 Ejemplos de Planes de Pro formas y Reportes Chequeo informal de una herramienta de dibujo para pantallas grandes (basado en Pedersen et al., 93): Se requiere una herramienta de dibujo para pantallas grandes que pueda mantener y aumentar las prácticas de reuniones informales normales. Nosotros proponemos confirmar que reúne los requerimientos en un chequeo de usuarios informales. Este es un requerimiento de la herramienta de dibujo para pantalla grande que ella debe mantener y aumentar las practicas de reuniones informales normales. Nosotros hemos conducido examen informales a los usuarios que confirman la utilidad de la herramienta pero indica la complejidad de la interface del usuario disuade a algunos usuarios potenciales.

10 Ejemplos de Planes de Pro formas y Reportes La evaluaciones de un ambiente de video (Gaver et al., 92) Es un requerimiento del ambiente de video que colegas físicamente separados fueran capaces de trabajar juntos natural y efectivamente. Nuestra intención es montar una prueba de campo continua para determinar la efectividad del ambiente en el soporte de trabajo distribuido. Es un requerimiento del ambiente de video que los colegas físicamente separados sean capaces de trabajar juntos,de una manera efectiva y natural. Nosotros hemos llevado a cabo una prueba de campo la cual se extendió por varios años, la cual ha generado un numero de descubrimientos, identificando la necesidad de soportar el rango completo de trabajo compartido y conocer los deseos de los usuarios para ambas privacidad y percepción completa.

11 Ejemplos de planes Pro Forma y Reportes Pruebas controladas de una maquina rápida de tickets de transito: Se requiere de la maquina de ticket que los usuario la primera vez que la use sea capaz de operarla exitosamente sin entrenamiento previo. Nosotros intentamos llevar a cabo un examen de laboratorio de la maquina para confirmar que por lo menos un 95% de los usuarios pueden completar normalmente su compra sin dificultad. Se requiere de la maquina de ticket que los usuario la primera vez que la use sea capaz de operarla exitosamente sin entrenamiento previo. Nosotros hemos llevado a cabo un examen de laboratorio de la maquina para confirmar que por lo menos un 94% de los usuarios pueden completar normalmente su compra en menos de 60 segundos.

12 Prototipo Los prototipos son comúnmente chequeados durante el diseño del sistema interactivo. Los prototipos deben tener propiedades especiales. Dominados por la necesidad de Diseñar e implementar una interfaz del usuario completa, de tal manera que el sistema pueda ser chequeado externamente con tareas validas. Y para hacer esto con restricciones de tiempo, haciendo uso de herramientas de prototipos apropiadas.

13 Herramientas para construcción Prototipos Características deseables, identificadas por Hix y Hartson(1993) Fácil de desarrollar y modificar apariencias de las pantallas. Facilidad de enlazar pantallas y modificar los enlaces. Servir de soporte para un rango de tipos de interfaces de usuarios. Servir soporte para una variedad de dispositivos de entrada. Proveer los medios para usar programas externos y acceder textos, gráficos y otros medios externos. La herramientas que ofrecen estar características incluyen Hypercard, Visual Basic, Tcl/tk

14 Aprendiendo mientras se realiza el prototipo Por ejemplo: ¿Que tan grande debe ser una caja para que se acomoden nombres de 24 caracteres? ¿Que problemas surgen al usar un menú unido a una caja?

15 Prueba informal del prototipo Considere el siguiente problema de diseño: Diseñe un equipo manual, interactivo que sirva de soporte al usuario para que rápida y fácilmente grabe y reproduzca los mensajes de voz. Una prueba informal nos habilitara a responder la siguiente pregunta: ¿Que tan exitosa es la herramienta de reconocer mensajes de acuerdo a una categoría de nombres? ¿Cómo la rata del reconocimiento es afectada por el número de categorías en uso? ¿Qué clases de errores hace debido al ruido del ambiente? ¿Es afectado por el tono de la voz de los usuarios? ¿Es lo suficientemente rápida en la operación para q se prefiera en lugar de un registrador de microcassette? ¿? ¿Es fácil aprender utilizar?

16 Conduciendo una prueba informal Las seis etapas son afectadas: Identificar las características principales. Nos centramos en las características identificadas en la declaración del problema o en los primeros documentos sobre los requisitos. 2. Desarrollar el prototipo. Todo lo que necesitamos es un prototipo que (a) tiene las funciones para apoyar las tareas del interés (b) tiene el funcionamiento para permitir una prueba realista (c) tenga bastante robustez para sobrevivir cada prueba sin fallar seriamente. 3. Diseño experimental. Necesitamos un número pequeño de los usuarios, a quienes fijamos una gama conveniente de las tareas de prueba patrón, elegido para probar la funcionalidad del prototipo tan completa como sea posible. 4. Recoger datos. La observación directa y la grabación de videos y los protocolos concurrentes son especialmente efectivos. 5. Análisis de datos. Las buenas y malas características del diseño serán probablemente obvias enseguida; podemos también tomar medidas de rendimiento simples. 6. Conclusiones finales. El resultado primario de la prueba informal es una lista de los cambios del diseño.

17 Caso de Estudio Una herramienta colaborativa de dibujo Bly and Minneman (1990). B: Bien, eso está Ok, eso luce como A: El cual es B: este. A: Cuál es, si usted toma su caja azul B: huh A y observe que la izquierda superior de la caja. De abajo hacia la derecha, es una línea diagonal DIBUJA NDO B: La derecha. A: entre estos dos. Lo que me distes es el punto de partida oooh, es la versión de adentro -hacia fuera. Lo siento, tu tienes razón B: Entonces yo hago esto por que yo quiero que el míos sea estrecho. Bien, solamente dibújalo mejor de lo que yo acabo de hacer

18 Pruebas de campo iterativas La importancia de ganar la participación del usuario La necesidad de considerar las seis etapas 1. Identificar las propiedades principales Retrasar este paso hasta que hemos desarrollado el prototipo, hemos identificado nuestros usuarios y hemos instalado el sistema Entonces conduzca las investigaciones según las características de lo que nos concierne Evite confundir a los usuarios cambiando constantemente el sistema.

19 Pruebas de campo iterativas (continuación) 2. Preparando el prototipo Un prototipo a full escala, dirigido a los niveles adecuados de la confiabilidad y del funcionamiento Apropiado para modificarlo a medida que la prueba de campo está en proceso Los problemas con el diseño serán descubiertos durante el proceso de hacer el prototipo. Incluya un tiempo para corregirlos.

20 Pruebas de campo iterativas (continuación) 3. Diseño del experimento Planee invertir una cantidad muy grande de esfuerzo en identificar a usuarios y planear sus tareas? Necesite encontrar una organización conveniente del usuario y ganar su compromiso con la evaluación.Implica normalmente la aprobación del alto nivel de la gerencia Identifique a un grupo de usuario, introdúzcalo al proyecto asegure su compromiso también.Evite a grupos de trabajos altamente críticos para la organización Deber preparase para correr los dos sistemas el nuevo y el viejo en paralelo

21 Pruebas de campo iterativas (continuación) 3. Diseño del experimento Selección de actividades a realizar: debe acercarse tanto como sea posible a la clase de actividad para la cual se ha diseñado el sistema. Las actividades deben también proporcionar oportunidades de conducir experimentos y de variar la manera en la cual la actividad es realizada

22 Pruebas de campo iterativas (continuación) 4. Realización de las pruebas Los usuarios deben ser bien entrenados antes de que se realicen las pruebas; dé un tiempo de plazo, para este entrenamiento Asegúrese que el sistema está preparado adecuadamente con los datos Haga pruebas al inicio, para medir que tan rápido los usuarios aprenden e identificar los problemas de familiarización Realice otras pruebas más adelante cuando los usuarios están completamente familiarizados con el sistema y han comenzado a ajustarse a sus prácticas del trabajo.

23 Pruebas de campo iterativas (continuación) 5. Análisis Enfocarse en antes y después de la investigación Por ejemplo, medir la mejoría en el rendimiento de las tareas y en la reducción en errores a medida que los usuarios ganan familiaridad Buscar efectos similares a medida que los cambios se le hacen al diseño

24 Pruebas de campo iterativas (continuación) 5. Análisis Derivando conclusiones Permita la posibilidad de cambios inmediatos en el diseño Algunos cambios se deberán posponer para futuros proyectos

25 Caso de Estudio: Evaluando a Tívoli,una herramienta de soporte para reuniones Ver Pedersen et al. (1993). Los pizarrones electrónicos Tivoli se encuentran en tres localidades No se tomó ninguna acción especial para entrenar a los usuarios Conclusiones básicas Se lograron reuniones exitosas con Tivoli Se usó con frecuencia en reuniones de lluvias de ideas Trabajo lo suficientemente bien como para justificar una versión Multi-sitios Pero tiende a ser usado por un participante de la reunión, los diseñadores erraron al incrementar la funcionalidad

26 Caso de Estudio: Evaluando a Tívoli,una herramienta de soporte para reuniones. Ver Pedersen et al. (1993). Un resumen pro-forma: Es un requisito de Tivoli que debe permitir la intervención de varios participantes, Hemos conducido pruebas informales con usuario que confirman la utilidad de la herramienta pero indican que la complejidad de la interfaz, disuade a algunos usuarios potenciales, y conduce a una práctica en la cual todo el uso lo realiza un miembro de la reunión.

27 Tarea Ejercicios 1, 4, 6 y 7