Kokeellinen algoritmitutkimus

Termejä

muuttuja

• ks. muuttujasivu

koepiste (design point)

• kontrolloitujen muuttujien arvokombinaatio

koesuunnitelma (experimental design)

• joukko koepisteitä ja toistojen määrä kussakin pisteessä

koe (test, trial)

• yksi ajo tietyssä koepisteessä
• tuloksena koeyksilö

koeyksilö

• havaintomuuttujien arvot tietyssä koepisteessä
• yhden kokeen tulos
• vaihtelu saman koepisteen eri koeyksilöissä johtuu tuntemattomista muuttujista

koesarja (experiment)

• tietyn koesuunnitelman mukainen joukko kokeita
• tuloksena joukko koeyksilöitä
• päämääränä testata hypoteesia tai vastata kysymykseen

pilottikoe (pilot test)

• koesarjan suunnitteluvaiheessa tehtävä koe
• tulokset käytetään kokeiden suunnitteluun ja toteutusten testaukseen, ei hypoteesien testaamiseen tai kysymyksiin vastaamiseen

Koesarjan vaiheet

1. Päämäärien määrittely
   • tutkimuksen tarkoitus ja motivaatio
   • kysymykset, joihin etsitään vastausta
   • hypoteesit, joita testataan
2. Muuttujien valinta
   • selitettävät muuttujat, selittävät muuttujat, lohkomuuttujat
   • kontrolloitujen muuttujien tasot
   • havaintomuuttujien mittaustapa ja mitta-asteikko
3. Kokeiden suunnittelu
   • aineiston valinta
   • koepisteet
   • toistojen määrä kussakin koepisteessä
   • kokeiden suoritusjärjestys (satunnaistaminen)
4. Kokeiden toteuttaminen ja suorittaminen
   • algoritmien ja skriptien toteuttaminen ja testaus
   • kokeet tehdään alusta loppuun ilman muutoksia
5. Tulosten analyysi
   • tilastollinen analyysi (keskiluvut, hajontaluvut, korrelaatio, regressio, jne.)
   • visuaalinen analyysi
   • hypoteesien hyväksyminen tai hylkääminen, kysymyksiin vastaaminen
   • havaintojen selittäminen
   • johtopäätökset: seurauksia, suosituksia, tarve lisätutkimuksiin
   • uudet hypoteesit tai kysymykset vaativat uuden koesarjan
6. Raportointi
   • koejärjestelyjen kuvaus (toistettavuus)
   • tulosten esittäminen (havainnollisuus, graafiset esitykset)