58306103 Käyttöliittymien arviointimenetelmät (3 op)

Sari A. Laakso ja Antti Latva-Koivisto

 

Aiheet ja esitykset

 

Kurssikuvaus

 

Työohjeet

 


Arvosanat

Seminaarin arvosanat intranetissä. Kirjoittaudu sisään laitoksen unix-tunnuksellasi.

Aikataulu ja esitykset

Pvm

Esitys

Lähteitä

ke 18.1.

Aiheiden jako

 

1.

ke 25.1.

Simulointitestaus (simulation-based expert review)

Esittäjä: Jyrki Salonen [ppt 2.6 MB]

Opponentti: Antti Kavonen [html]

Demo. Miten menetelmää sovelletaan ja miten käliongelmia löytyy? Millaisia käliongelmia?

[Laakso04]

Laakso S.A., Käyttöliittymien arviointimenetelmät. Käyttöliittymät II –kurssin luentokalvot. Helsingin yliopisto, tietojenkäsittelytieteen laitos, 2004. [pdf]

2.

ke 1.2.

Kognitiivinen läpikäynti (cognitive walkthrough)

Esittäjä: Teemu Talja [ppt 900 KB]

Opponentti: Jyrki Salonen [html]

Demo. Ota esimerkkijärjestelmäksi jokin muu kuin Ical-kalenteriohjelma. Mitä eroa simulointitestauksen tuloksiin verrattuna? Mistä erot johtuvat?

[Lewis97]

Lewis C., Wharton C., Cognitive Walkthroughs. Teoksessa Helander M., Landauer T., Pradhu P. (toim.), Handbook of Human-Computer Interaction. Elsevier Science B.V., Netherlands, 1997, s. 717-732.

3.

ke 8.2.

Käytettävyysläpikäynti (usability walkthrough)

Esittäjä: Samuli Kaipiainen [ppt 1.7 MB]

Opponentti: Teemu Talja [html]

Demo. Mitä eroa tuloksilla on simulointitestauksen ja kognitiivisen läpikäynnin tuloksiin verrattuna? Mistä erot johtuvat?

[Bias94]

Bias R. G., The pluralistic usability walkthrough: coordinated empathies. Teoksessa Nielsen J., Mack R.L. (toim.), Usability inspection methods. Wiley, New York, USA, 1994, s. 63-76.

[Bias91]

Bias R. G., Walkthroughs: efficient collaborative testing. IEEE Software, Vol. 8, No. 5, 1991, s. 94-95. [pdf]

4.

ke 15.2.

Käytettävyystestauksella selville saatavat ongelmat (usability testing)

Esittäjä: Jani Hanhisalo [ppt 2 MB]

Opponentti: Samuli Kaipiainen [html]

Käytettävyystestaa samaa ohjelmistoa, josta Jyrki Salonen teki simulointitestausta, ja käytä ainakin osittain samoja testitapauksia. Mitkä ovat tulosten erot? Mistä erot johtuvat?

[Nielsen93]

Nielsen J., Usability Engineering. Academic Press, New York, 1993.

Ks. luku 6, s. 207-226.

[Laakso05]

Laakso S.A., Käyttöliittymät. Käyttöliittymät-kurssin luentomoniste, sarja D424, Helsingin yliopisto, tietojenkäsittelytieteen laitos, 2005. [pdf 27 MB]

5.

ke 22.2.

Ymmärrettävyystesti (understandability test)

Esittäjä: Kari Ukkonen [ppt 300 KB]

Opponentti: Jani Hanhisalo [html]

Laadi muutama virtuaali-ikkuna ja testaa. Demo testauksesta. Miksi Lauesen on kehittänyt tällaisen menettelyn? Mitä eroa käytettävyystestaukseen? Mitä hyötyä? Millaisia ongelmia pelkällä datalla testauksesta tulee?

[Lauesen05]

Lauesen S., User Interface Design. A Software Engineering Perspective. Pearson Education Ltd, 2005.

Ymmärrettävyystestit: s. 199-201, 333-334, 368-371.

Virtuaali-ikkunoiden laatiminen testattavaksi paperiprotoksi, ks. esim. luku 6 eli s. 167-197.

Väliviikot

 

 

6.

ke 15.3.

Heuristinen arviointi (heuristic evaluation)

Esittäjä: Jere Salonen [ppt 3.9 MB] [Ongelmalista doc 40 KB]

Opponentti: Kari Ukkonen [html]

Demo Nielsenin heuristiikkojen käytöstä suurelle yleisölle suunnatun käyttöliittymän arvioinnissa (walk-up-and-use interface), esim. kirjastojärjestelmä, jonka arvioinnissa arvioijalle ei anneta syötteeksi minkäänlaisia skenaarioita. Miten menetelmää sovelletaan? Oma käsityksesi menetelmän eduista ja ongelmista tulosten kannalta?

Arvioinnissa käytettävät heuristiikat: [html]

[Nielsen94]

Nielsen J., Heuristic evaluation. Teoksessa Nielsen J., Mack R.L. (toim.), Usability inspection methods. Wiley, New York, USA, 1994, s. 25-62.

Ks. heuristiikat s. 30, sovellusalue (walk-up-and-use interface) s. 31 ensimmäinen kappale. Huomaa, että case study s. 36-47 ei ole suurelle yleisölle suunnattu järjestelmä, mutta voit silti hyödyntää tätäkin materiaalia.

7.

ke 22.3.

Heuristinen läpikäynti (heuristic walkthrough)

Esittäjä: Osma Suominen [ppt 900 KB]

[Työvaiheet pdf 80 KB]

[Ongelmalista xls 20 KB]

Opponentti: Jere Salonen [html]

Demo: Miten tätä menetelmää sovelletaan? Kritiikki Nielsenin heuristista arviointia kohtaan? Hyödynnä myös käytettävyystestauksen avulla tehtyä vertailua siitä, mitä käyttösekvenssit saavat kiinni ja mitä heuristinen arviointi tuottaa [Doubleday97]. Ratkaiseeko heuristinen läpikäynti nämä ongelmat?

[Sears97]

Sears A., Heuristic Walkthroughs: Finding the Problems Without the Noise. International Journal of Human-Computer Interaction, Vol. 9, No. 3, 1997, s. 213-234.

[Doubleday97]

Doubleday A. et al., A comparison of usability techniques for evaluating design. DIS’97 Conference Proceedings, ACM, 1997.

8.

ke 29.3.

Käyttöliittymäohjeistoilla arviointi (guideline reviews)

Esittäjä: Tommi Ahonen [pdf 1.1 MB]

Opponentti: Osma Suominen [html]

Katso lähteenä olevaa Nielsenin käsittelemää ohjeistoa. Valitse sopiva esimerkkijärjestelmä, ja laadi sen käyttöliittymän seuraavan version suunnittelua varten pätkä ohjeistoa (guideline). Mitkä ovat tällaisen ohjeiston ongelmat ja edut? Mitä kälin osia ohjeisto voi kattaa mielekkäällä tavalla? Millaisissa käytännön työelämän tilanteissa guidelinet ovat hyviä ja millaisissa eivät? Havainnollista esitystäsi lähteen ja oman työsi esimerkeillä.

Nielsen J., Durability of Usability Guidelines. Alertbox, January 17, 2005.

[html]

Nielsen J., Sixty Guidelines From 1986 Revisited. Sidebar to Jakob Nielsen's column "Durability of Usability Guidelines." Alertbox, January 17, 2005.

[html]

9.

ke 5.4.

Käytettävyystestaus kentällä (laboratory and field testing)

Esittäjä: Marju Kettunen [ppt 800 KB]

Opponentti: Tommi Ahonen [html]

Demo/esimerkki. Mitä kannattaa testata kentällä ja mitä testihuoneessa? Riippuuko se esim. testattavasta järjestelmästä? Lähteissä painotetaan kovasti sitä, ettei kentällä testauksesta ole hyötyä. Millaisissa tapauksissa selvästi on näin? Millaisissa tapauksissa ei välttämättä ollenkaan olisikaan näin?

[Kjeldskov04]

Kjeldskov J. et al., Is it Worth the Hassle? Exploring the Added Value of Evaluating the Usability of Context-Aware Mobile Systems in the Field. Proceedings of the 6th International Mobile HCI 2004 conference, Glasgow, Scotland, 2004, s. 61-73. [pdf]

[Kaikkonen05]

Kaikkonen et al., Usability Testing of Mobile Applications: A Comparison between Laboratory and Field Testing. Journal of Usability Studies, Vol. 1, No. 1, November 2005, s. 4-16. [pdf]

10.

ke 12.4.

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys

Esittäjä: Aki Korpua [ppt 60 KB]

Opponentti: Marju Kettunen [html]

Onko lähteen asiantuntija-arvio samanlainen menetelmä kuin ensimmäisen esityksen simulointitestaus? Mitä yhteistä ja eroa, erojen seuraukset? Miten käyttäjätarkkailun tekeminen olisi vaikuttanut käyttäjätestauksen (lokin keruu, haastattelut) tuloksiin? Arvioi lähdettä erityisesti testitapausten näkökulmasta.

Demoja/esimerkkejä. Etsi vastaavia ongelmia jostakin tuntemastasi järjestelmästä, ja havainnollista konkreettisten esimerkkiesi avulla testitapausten vaikutuksia.

[Steves01]

Steves M. P., Morse E., Gutwin C., Greenberg S., A Comparison of Usage Evaluation and Inspection Methods for Assessing Groupware Usability. Proceedings of the ACM SIGGROUP Conference on Supporting Group Work, ACM, 2001. [pdf]

Pääsiäinen

Pääsiäislomapäivät to 13.4. – ke 19.4.

 

11.

ke 26.4.

Arviointimenetelmien vertailu

Esittäjä: Antti Kavonen [ppt 250 KB]

Opponentti: Aki Korpua [html]

Konkreettisia esimerkkejä. Miten arviointimenetelmiä ja niiden tuloksia on lähteissä vertailtu? Suhteuta lähteiden tuloksia seminaarissa tehtyihin havaintoihin. Mikä vaikuttaa eniten hyvien tulosten saamiseen?

[Gray98]

Gray W. D., Salzman M. C., Damaged Merchandise? A Review of Experiments That Compare Usability Evaluation Methods. Human-Computer Interaction, 1998, Vol. 13, No. 3, s. 203-261.

[Hartson03]

Hartson H. R., Andre T. S., Williges R. C., Criteria For Evaluating Usability Evaluation Methods. International Journal of Human-Computer Interaction, Vol. 15, No. 1, 2003, s. 145-181.

 

 


Viimeksi päivitetty 17.5.2006 / salaakso@cs.helsinki.fi