Ventajas e inconvenientes de usar ET en usabilidad

Leo a Ania Rodríguez en el blog de Aga:

Pros:
• Augment usability findings
• Understand key performance indicators for visual elements on page such as photography which is not available with web analytic data
• Understand what elements users gaze/ dwell on during tasks
• Provides visual representations for hard to express behaviors
• Providing additional insights to Moderator so that they can ask more probing questing
• Observers can see what participants are fixating/dwelling on real time while users are performing the task
• Allows for compelling visualizations of usability problems for executive presentations
• Client teams and executive membership perceive this method to be cutting-edge

Cons:
• Just because a user fixates on an area does not mean they saw it
• Higher severity issues can be found without the use of eye tracking
• Misinterpretations of data likely if not adequately contextualized (e.g., heat maps)
• Interaction between moderator and participant changes
• Eye tracking equipment can be difficult to learn and use
• Eye tracking equipment is costly
• Dynamic sites are difficult to analyze (for Ajax and Flash heavy sites)
• Eye tracking is subject to technical problems

Ventajas del thinking aloud regresivo frente al concurrente

Las técnicas de thinking aloud combinadas con un test con ET pueden ser:

• CTA (Concurrent Think-Aloud): el usuario habla mientras se le graba con el ET
• RTA (Regresive Think-Aloud): el usuario, una vez grabada la sesión, ve el vídeo con las fijaciones marcadas (gaze-cued RTA) o sin ellas marcadas (video-cued RTA) y lo comenta

Leo en el blog de Aga Bojko:

Studies have shown that gaze-cued RTA provides more feedback than Concurrent Think-Aloud protocol (CTA) in terms of the number of words spoken and comments made by participants [source (pdf)]. Researchers have also noted that gaze-cued RTA feedback tends to be of a higher quality than feedback obtained through CTA, resulting in the discovery of more usability issues. However, when gaze-cued RTA is compared to video-cued RTA (with no gaze overlay), the differences in user feedback are minimal. [source (pdf: pp 15 - 19)].

A quién no perder de vista

Hay algunos autores que están trabajando actualmente con ET y que merece la pena seguirlos:

Aga Bojko, que está escribiendo el libro"Eye Tracking the User Experience" para Rosenfeld Media y se publicará en 2012 (espero!), va publicando posts sobre sus reflexiones a la vez que escribe. Además es profesora de Usability Evaluation Methods en la universidad DePaul.

Andrew T. Duchowsky, autor del libro "Eye Tracking Methodology: Theory and Practice" (2007) y de varios artículos. Del libro puede servirme en especial el apartado sobre "Experimental Design" en "Part III Eye Tracking Methodology" (ver tabla de contenidos). Otra publicación para leer de este autor, para tener una idea general de la investigación con ET:

• A Breadth-First Survey of Eye Tracking Applications (2002)
  This paper reports on eye tracking methodologies spanning
  three disciplines: neuroscience, psychology, and computer
  science, with brief remarks about industrial engineering
  and marketing.

Lecturas generales para comenzar desde el principio

Son varios cientos los documentos que se han escrito sobre el uso de técnicas de seguimiento de la mirada, muchos de ellos son resultados de investigación obtenidos con la aplicación de un eyetracker. Antes de abordar estudios concretos, estoy leyendo artículos y libros más generales, y otros que tengo anotados y pongo aquí, en mi tablón de anuncios, nada formal.

Nielsen, Pernice. Eyetacking web usability (2010) LIBRO
- Específico para el análisis de la usabilidad en sitios web
- Trata de forma muy ligera cómo funcionan los eyetrackers hoy en día
- Cuenta cómo han montado las sesiones de tests con usuarios
- Se centra en estos aspectos para el análisis: layout de la página web, navegación, elementos concretos como el login, el contacto, el selector de idioma, los logos, el carro de la compra, y dedica un capítulo a las imágenes y otro a la publicidad...
- Termina comentando los distintos comportamientos observados

Poole, Linden (2004). Eye tracking in Human-Computer Interaction aned Usability Research: Current status and future prospects. ARTÍCULO
- Específico para HCI
- Hace un vaciado de las métricas que se han utilizado en diversos estudios realizados con ET y las organiza en función de si se tratan de métricas basadas en las fijaciones, en las sacadas y en los scanpath
- Para cada métrica indica cómo intepretaron sus autores los resultados obtenidos
- Artículo de gran utilidad para aplicar métricas que otros ya han usado, pero no son 100% replicables las interpretaciones porque depende de qué se mide.

Primeros resultados

Hasta ahora había leído mucho -muchísimo- sobre estudios acerca del comportamiento visual de los usuarios en las páginas de resultados de los buscadores. De este tema salieron dos papers, el de EPI (Marcos, González-Caro 2010) y el de Hong Kong (González-Caro, Marcos 2011):

• Marcos, Mari-Carmen; González-Caro, Cristina. El comportamiento de los usuarios en la página de resultados de los buscadores: un estudio basado en la técnica de eye tracking. El Profesional de la Información, 19:4, julio-agosto 2010, 348-358. (2.3 Mb). [URL alternativa]

• González-Caro, Cristina; Marcos, Mari-Carmen. “Different Users and Intents: An Eye-tracking Analysis of Web Search”. In: King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining (Kowloon, Hong Kong, February 09 - 12, 2011). New York: ACM, 2011.

También hemos enviado un paper con más resultados a Interact 2011. Estamos esperando la respuesta (cruzo los dedos)

¿Era necesario este blog?

Depende... para la humanidad, sin duda no. Para mis amigos y familia, tampoco, de hecho no sabrán que existe. Para mis contactos, seguidores, necesario no, pero posiblemente interesante ojearlo de ciento a viento. Para mi, creo que sí.

Si hasta ahora he estado dando la lata que si el eyetracker por aquí, el eyetracker por allá, ahora publico en EPI, luego me voy a Hong Kong... a partir de este mes de mayo de 2011 voy a darla mucho más porque tengo un eyetracker, sí, lo tengo, quiero decir que no se lo llevan dentro de un mes ni de dos, que es para mi -bueno, para nosotros, para la gente del grupo-

Hemos comprado un eyetracker Tobii T60 y una licencia del software. Aún no lo hemos visto en funcionamiento en espera de tener un portátil con puerto wirefire. Y como es de esperar, mi investigación va a estar muy vinculada a esta herramienta. Ya iré contando qué sale de todo esto...

De momento abro este blog para mi, para usarlo como tablón donde anotar lo que leo, lo que encuentro, lo que pienso. Podría tener un Google Docs y ya está, pero aquí me lo organizo un poco mejor con los tags. Manos a la obra, y...

... bienvenido Ms. Tracker!