Empiirinen ohjelmistotutkimus - paneelikeskustelu 24.3.2004

Ohjelmistotekniikassa, kuten missä tahansa insinööritieteessä, saadut tulokset on validoitava jollain tavalla. Jos käytettävissä on analyyttinen ja käytännössä toimiva analyysimenetelmä, sitä kannattaa käyttää. Valitettavasti näin ei aina ole, joten tarvitaan empiiristä validointia.

Empiirinen validointi on teoriassa yksinkertaista. Tehdään koe, kerätään aineisto, analysoidaan ja lasketaan tulokset. Käytännössä ohjelmistotekniikan erityispiirteet vaikuttavat kaikkiin osavaiheisiin, kuten olemme jo seminaarissa nähneet. Validoitaessa on otettava huomioon otsikon kysymykset: Mistä ohjelmistotekniikassa validoinnissa on kyse? Miksi validoidaan? Milloin validoidaan? Miten validoidaan sillä tavalla, että tulokset ovat merkittäviä? Mitä yleensäkin tarkoittaa tulosten merkittävyys ohjelmistotekniikassa?

Kiitokset kaikille paneeliin osallistuneille. Paneeli oli menestys. Keskustelu oli rikasta ja asiallista. Kaikki osallistujat olivat aktiivisesti mukana. Tilaisuus osoitti, että hyvin valmistautuneet motivoituneet oppilaat pystyvät pitämään erinomaisia paneelikeskusteluja.

Paneelin artikkelit

Paneelissa käsiteltiin seuraavia artikkeleita:

• Walter Tichy, Should Computer Scientists Experiment More? IEEE Computer, 31(5), May 1998. Pages 32 - 40.
• Barbara Kitchenham et al., Preliminary Guidelines for Empirical Research in Software Engineering. IEEE Transactions on Software Engineering, 28(8), August 2002. Pages 721 - 734.
• Carolyn Seaman, Qualitative Methods in Empirical Studies of Software Engineering. IEEE Transactions on Software Engineering, 25(4), July/August 1999. Pages 557 - 572.

Lisäksi paneelissa käsiteltiin lyhyesti seuraavaa empiiristä tutkimusta:

• Ann Kelley Sobel and Michael R. Clarkson, Formal Methods Application: An Empirical Tale of Software Development. IEEE Transactions on Software Engineering, 28(3), March 2002. Pages 308 - 320.

Empiirisestä tutkimuksesta annettu palaute ja palautteeseen annettu vastine olivat myös käsittelyssä:

• Daniel Berry and Walter Tichy, Comments on "Formal Methods Appliation: An Empirical Tale of Software Development". IEEE Transactions on Software Engineering, 29(6), June 2003. Pages 567 - 571.
• Ann Kelley Sobel and Michael Clarkson, Response to "Comments on 'Formal Methods Application: An Empirical TAle of Software Development'". IEEE Transactions on Software Engineering, 29(6), June 2003. Pages 572 - 575.

Paneelikeskustelun ydinkohdat

Paneelikeskustelun yhteenvetona voidaan todeta:

• Ohjelmistotekniikan tuloksia tulee validoida mahdollisuuksien mukaan sekä analyyttisin että empiirisin menetelmin.
• Empiirinen validointi mielletään pitkälti tieteen tekemiseksi, mutta myös käytännön yrityksissä tapahtuvaa validointia tarvitaan.
• Ilman kunnollista tilastotieteen ymmärtämistä ei voida tehdä kunnollista empiiristä validointia.
• Empiirisestä validoinnista saatujen tulosten yleistäminen laajempaan populaatioon on vaikeaa.
• Opetuksessa ei välttämättä tarvita kaikille tarkoitettua empiirisen ohjelmistotutkimuksen kurssia, mutta jossain olisi hyvä opettaa:
  1. Tiedon keruuta ja tietojen hyötykäyttöä.
  2. Haastattelutekniikoita.
  3. (Empiirisen ohjelmistotutkimuksen) artikkelien lukutaitoa.
• Empiiristä validointia harrastavan tutkijan pitää hallita laaja sovellusalue: psykologiaa, sosiologiaa, matematiikkaa, kognitiotiedettä, tilastotiedettä jne.
• Tutkimusten ajallinen vanheneminen on huomioitava validoinnissa.

Yksityiskohtaiset kommentit (ranskalaisina viivoina) löytyvät täältä.