WWW ja tiedonhaku

Henri Block

Helsinki 10.5.1996

Tieteellisen kirjoittamisen harjoitus 3 (tutkielma)

HELSINGIN YLIOPISTO

Tietojenkäsittelytieteen laitos

Tiivistelmä

WWW ja tiedonhaku
Henri Block
Tieteellisen kirjoittamisen harjoitus 3 (tutkielma)
Tietojenkäsittelytieteen laitos
Helsingin yliopisto
10.5.1996

Hyperteksti mahdollistaa suurten tietomäärien säilyttämisen tiiviissä muodossa ja tarjoaa menetelmän hakea teksti- ja visuaalista tietoa nopeasti. Tutkielmassa esitellään tiedonhaun peruskäsitteet ja kuvataan tärkeimmät etsintämenetelmät, selaus ja analyyttinen tiedonhaku. Selaus soveltuu paremmin aloitteleville tiedonhakijoille ja satunnaiseen tiedonhakuun, mutta World Wide Webin suurten tietomäärien vuoksi analyyttiseen hakuun pitää turvautua mikäli kaivataan tarkkoja tuloksia. Suositellaan, että tietoa WWW:stä hakiessa yritetään ensin löytää tieto hierarkisen hakemiston (esim. Yahoo) avulla ja täydennetään hakua hakurobotin (esim. Alta Vista) tietokannasta.

Sisältö

  1. Johdanto
  2. Peruskäsitteet
    1. Tiedonhaku
    2. Käyttöliittymäsuunnittelun periaatteet
    3. Sijainnin ilmaiseminen
    4. Erilaiset linkkityypit
    5. Samankaltaisten artikkelien etsiminen
  3. Selaus ja erilaiset käyttäjät
    1. Selaus tiedonhakumenetelmänä
    2. Aloittelevat tiedonhakijat
    3. Tietosisältöä tuntemattomat käyttäjät
    4. Tietosisällön hyvin tuntevat käyttäjät
  4. Analyyttinen tiedonhaku ja kokeneet tiedonhakijat
    1. Analyyttisen haun menetelmät
    2. Kyselyt
      1. Perinteiset kyselyt
      2. Sumeat kyselyt ja kynnysmalli
      3. Vektoriavaruus- ja todennäköisyysmallit
    3. Kokeneet tiedonhakijat
  5. Menetelmien vertailu
  6. Malli tiedonhaulle WWW:stä
    1. Hierarkiset hakujärjestelmät - Yahoo
    2. Hakurobotit - Alta Vista
    3. Vertailu
  7. Yhteenveto
  8. Lähteet

1 Johdanto

Jo World Wide Webin (WWW, Web) räjähdysmäisen kasvun vuoksi hyperteksti on yksi tulevaisuuden tärkeimpiä tiedon talletusmuotoja. Onkin syytä tarkastella miten tätä tietoa voidaan hypertekstistä ja WWW:stä erityisesti hakea. Mitkä ovat tärkeimmät erilaiset hakustrategiat, mitkä ovat syyt niiden käyttöön ja minkälaisille käyttäjille ne soveltuvat?

Esittelen sekä selausta että analyyttisempaa, täsmällisiin hakuehtoihin perustuvaa hakua. Lähtökohtana on se, että selaus soveltuu paremmin kokemattomammille käyttäjille ja analyyttinen tiedonhaku kokeneille, ammattimaisille hakijoille. Selaus on myös selvästi epämuodollisempaa ja sopii näinollen paremmin viihteellisempään, satunnaiseen ja päämäärättömään tiedonhakuun. Vertailen selaamista tietosisällön kannalta kokemattomien ja kokeneitten käyttäjien osalta. Lopuksi esittelen mallin WWW-tiedonhausta ja siihen liittyviä apuvälineitä, kuten hierarkista hakemistoa ja hakurobottia.

2 Peruskäsitteet

Hyperteksti mahdollistaa suurten tietomäärien säilyttämisen tiiviissä muodossa ja tarjoaa menetelmän hakea teksti- ja visuaalista tietoa nopeasti. Hypertekstijärjestelmät tarjoavat apua ihmisen tiedonhakuun ja -käsittelyyn liittyvien ajatusmallien tehostamiselle, mikä on tärkeää nykyisen tiedon sekä määrän, että monimutkaisuuden kasvaessa nopeasti. Hyperteksti parantaa oleellisesti perinteisten tekstitietokantojen ja painettujen teosten saantikohtien kuten hakemistojen ja viitteiden toteuttamista. Hyperteksti tarjoaa myös runsaasti uusia saantikohtia, joista WWW:kin tukee mm. elektronisia kirjanmerkkejä ja historialistoja. Uuden tutkimuksen aiheena ovat nykyään graafiset kartat ja muut tavat visualisoida verkon rakennetta sekä kokonaisuutena, että kuljettujen linkkien osalta. Webin hajautetun rakenteen vuoksi siihen ei voida soveltaa kaikkia samoja tiedonhakutapoja kuin keskitettyihin hypertekstijärjestelmiin. Esimerkiksi cd-romilla toimitettaviin tietosanakirjoihin on niiden rajallisuuden ja muuttumattomuuden vuoksi helppo suorittaa täydellinen tekstihaku, mutta Internetin laajuuden sekä verkkoyhteyksien hitauden ja epävarmuuden johdosta WWW:ssä tieto ehtii muuttua olennaisesti ennen vastaavan haun vastausten saantia. Hypertekstin sisäiset linkit helpottavat myös eri artikkelien välisten yhtäläisyyksien etsimistä.

2.1 Tiedonhaku

Ennen tietokoneitten tuomaa automaatiota tiedonhaku perustui alan ammattilaisten ylläpitämiin hakemistoihin [Bär85]. Ongelmana oli esimerkiksi kirjastoissa, että hakuja pystyi tekemään vain yhden hakusanan perusteella kerrallaan. Koska synonyymeihin ja toisiinsa liittyviin termeihin perustuvia hakuja ei voinut tehdä, niin haut eivät tuottaneet parasta mahdollista tulosta, vaikka tietoa olisikin ollut saatavilla. Tiedon määrän kasvu vain suurensi näitä ongelmia. Tietokoneistettu tiedonhaku helpotti täsmällisempää tiedon löytämistä, mutta kun WWW on tehnyt kaikista Internetin käyttäjistä tiedontuottajia, niin informaatiotulva on saanut aivan uudet mittasuhteet. Tarvitaan tehokkaita hakumenetelmiä ja -järjestelmiä, jotta tämä tietomäärä pystytään hyödyntämään.

Bärtschin [Bär85] mukaan tiedonhaun tutkimus jakautuu neljään keskeiseen alueeseen:

2.2 Käyttöliittymäsuunnittelun periaatteet

Tiedonhaussa, kuten kaikissa muissakin sovelluksissa, täytyy esitystapaan ja ulkoasuun kiinnittää erityistä huomiota [Erk95]. Oleellista on, että tieto ja järjestelmän omat ominaisuudet kuten WWW:ssä linkit esitetään koko ajan yhdenmukaisesti. Käyttäjän mentaalinen kuormitus on minimoitava. Hänen silmilleen ei saa kerralla työntää liian suurta informaatiotulvaa ja turhien tehosteiden käyttöä pitäisi välttää. On tärkeää, että informaatio tarjotaan käyttäjälle valmiiksi jäsenneltynä, mahdollisimman selkeässä, helposti omaksuttavassa ja visuaalisesti todenmukaisessa muodossa. Käyttöliittymän on oltava joustava ja otettava huomioon erilaisten käyttäjien tarpeet. Esimerkiksi kokeneille käyttäjille tulisi tarjota erilaisia oikoteitä tehtävien suoritukseen. Aloittelijoille taas tulisi antaa tarvittavaa opastusta. Joustavuus ilmenee mm. mahdollisuutena säätää käyttäjäkohtaisia asetuksia. Käyttöliittymän tulisi käyttää hyväkseen erilaisia metaforia todellisuudesta, tuttuja termejä ja mieluiten käyttäjän äidinkieltä. Tehtävien suorituksen tulisi tapahtua luonnollisessa järjestyksessä jonkin todellisen mallin mukaan.

2.3 Sijainnin ilmaiseminen

Olennainen osa käyttöliittymää on, että järjestelmä ilmaisee selkeästi missä tilassa se on ja antaa palautetta jokaisen toiminnon jälkeen [Erk95]. Käyttäjälle pitäisi olla joka tilanteessa selvää sekä se mitä kohtaa artikkelista hän on lukemassa että myös mitä artikkelia hän tutkii; mikä on hänen sijaintinsa artikkelien muodostamassa hyperavaruudessa. WWW-selainohjelmat ilmaisevat nämä tiedot liukupalkkien tai sivunumeroiden ja osoitekenttien avulla. Samoin järjestelmän tulee aina ilmoittaa käyttäjälle mihin artikkeliin mahdollisesti aktivoitava linkki johtaa. Eksymisen välttämiseksi näiden tietojen tulisi olla koko ajan esillä ja niissä tapahtuvat muutokset tulisi esittää visuaalisesti selkeässä ja ymmärrettävässä muodossa. Useat WWW-selaimet esimerkiksi käyttävät värikoodia erottamaan jo kerran aktivoituja linkkejä muista.

2.4 Eri linkkityypit

De Bra [Deb96] toteaa, että mikäli linkkejä ei oteta huomioon, niin haku hypertekstistä on suoraan verrattavissa tavalliseen tekstitietokantahakuun. Linkit siis tarjoavat hypertekstille sen ilmaisuvoiman. Hakemistolinkit tarjoavat suoran pääsyn hakusanoista artikkeleihin. Luonnollisesti käyttäjälle voidaan - ja onkin eri käyttäjäryhmien huomioimisen kannalta tärkeää - tarjota useita eri hakemistoja aiheen, aakkostettujen hakusanojen tai erilaisten lukemisen järjestyssuositusten mukaan. Viitelinkkiä seuraamalla päästään artikkelista toiseen, esimerkiksi suoraan lähdeviitteenä olevaan artikkeliin. Tämä nopeuttaa laajan kuvan muodostamista kokonaisuudesta, jota tutkitaan. Määritelmälinkki antaa jollekin termille lyhyen määritelmän - mieluiten omassa ikkunassaan tai kentässään. WWW:ssä tällä hetkellä kaikki linkit ovat upotettuja viitelinkkejä. Niiden avulla on toteutettu myös hakemistoja ja määritelmiä, mutta esimerkiksi kokonaisen WWW-sivun lataaminen jonkin termin määrittelemiseksi on turhaa työtä. Vakinaisen määritelmäkentän varaaminen taas olisi resurssien tuhlaamista. Määritelmät tulisikin toteuttaa jonkinlaisina ponnahdusikkunoina. Andrews [And96] pitää upotettujen linkkien hyvänä puolena helppoa toteutusta ja huonoina puolina yksisuuntaisuutta, automaattisen linkkien ylläpidon puuttumista ja vaikeutta linkittää muusta tiedosta kuin tekstistä. Ratkaisuksi hän ehdottaa ulkoista linkkitietokantaa.

WWW:ssä käyttäjä voi valmiitten linkkien lisäksi itse määritellä omia kirjanmerkkejään, suoria saantikohtia aikaisemmin mielenkointoiseksi havaituista tietosolmuista. Järjestelmä pitää yllä tietoa kuljetusta linkkipolusta sekä tutkituista artikkeleista. Historialistojen avulla aikaisemmin esillä olleeseen tietoon voidaan palata aina helposti.

2.5 Samankaltaisten artikkelien etsiminen

Yhden mielenkiintoisen tai etsittävän tiedon kannalta merkittävän artikkelin löydettyään käyttäjä usein haluaa lukea samasta aiheesta uusia samantyyppisiä artikkeleita. Perinteisissä tekstitietokannoissa artikkelien samankaltaisuuden selvittäminen perustuu erilaisiin merkkijonojen ja niiden yhdistelmien vertailufunktioihin, kuten sanaston päällekkäisyyden tai sanojen lähekkäisyyden tarkasteluun. Hyperteksti tuo tähän lisänä linkkien avulla lasketut painoarvot. Nielsenin [Nie95] mukaan voidaan tehdä perusoletus, että toisiinsa linkitetyt artikkelit ovat jollain tavoin samankaltaisia. Esimerkissä artikkeleille lasketaan arvoja sen mukaan kuinka hyvin ne vastaavat kyselyyn. Artikkelille lasketaan sisäinen painoarvo sen sisällön mukaan ja siihen lisätään puolet niiden artikkelien sisäisistä painoarvoista, joihin arvioitavasta artikkelista on linkkejä. Näin kuvassa 1 keskimmäisen solmun kokonaispainoksi tulisi 1+ (4+6+6)/2=9, eli suurempi kuin minkään muun tietosolmun, vaikka solmun sisäinen painoarvo onkin pienempi kuin muitten.


kuva 1, tietosolmujen sisäiset painoarvot

3 Selaus ja erilaiset käyttäjät

Käyttäjille, jotka eivät hallitse tiedonhausta edes alkeita, on usein jo hakemiseen ryhtyminen suuri kynnys ylitettäväksi. Tämän kynnyksen madaltamiseksi aloittaminen on tehtävä mahdollisimman helpoksi. Selaaminen on usein luonnollisin tapa aloitteleville käyttäjille tutustua järjestelmään ja sen sisältöön. Selaamistapoja on useita ja niiden käyttöön vaikuttaa mm. se kuinka hyvin käyttäjä tuntee haun kohteena olevan aiheen.

3.1 Selaus tiedonhakumenetelmänä

Tiedonhaun tehtävänä on löytää suurista tietokannoista ja järjestelmistä tehtävän kannalta olennaista tietoa. Selaus on hyvin epämuodollinen ja sisältökeskeinen tiedonhakustrategia. Ilman ennakkosuunnittelua käyttäjä seuraa niitä linkkejä, joista intuitio kertoo löytyvän tarvittavaa tietoa, tai jotka muuten vain tuntuvat mielenkiintoisilta. Etsintä siis perustuu pelkästään käyttäjän tekemille valinnoille, eikä kone suosittele mitään artikkeleita. Hyvässä selaukseen rohkaisevassa järjestelmässä tieto on kuitenkin järjestetty jonkin selvän hierarkian mukaan löytämisen helpottamiseksi. Carmel et al. [CCC92] esittävät selaukselle seuraavia syitä:

Koska selaus on WWW:n pääasiallinen käyttömetodi, niin kaksi ensimmäistä syytä auttavat ymmärtämään, miksi WWW palveluna on kasvanut niin nopeasti ja saavuttanut niin monen uuden käyttäjän suosion. Web itsessään ei oikeastaan tue muita hakutapoja kuin selausta, joten kolmaskin syy soveltuu WWW:hen hyvin.

Selauksen motivaationa toimii usein yleinen mielenkiinto jotain aihepiiriä kohtaan. Carmel et al. esittelevät vielä useiden tutkijoiden malleja, joissa selaus jaotellaan:

Viimeisin selaustapa sopii hyvin ajatukseen, jonka mukaan ihmiset selaavat myös viihdytystarkoituksessa. Tämä tuntuukin olevan yksi WWW:n suosion perusteista.

3.2 Aloittelevat tiedonhakijat

Kokemattomat tiedonhakijat ovat usein kykenemättömiä suorittamaan tarkkoja ja täsmällisiä kyselyitä; loogisten operaatioiden käyttö saattaa olla ongelmallista. Esimerkiksi Marchioninin ja Schneidermanin [Mas88] tutkimuksessa useat koehenkilöt eivät ymmärtäneet, että AND- operaation käyttö pienentää haun tuloksen artikkelimäärää. Tällaisille käyttäjille selaus soveltuu yksinkertaisuutensa vuoksi erittäin hyvin. Käyttäjän ei tarvitse tuntea mekaanisia tiedonhakutekniikoita vaan hän voi rauhassa selata mielenkiintoisia linkkejä. Selaus soveltuu tiedonhaun aloittamiseen myös koska se aiheuttaa vähemmän kognitiivista rasitetta kuin tarkkojen ehtojen määrittely kyselylle. Mikäli järjestelmä samalla tarjoaa hyvän hierarkisen hakemiston tietoon ja jonkin yksinkertaisen hakujärjestelmän voi käyttäjä vähitellen opetella tehokkaampia hakukeinoja.

3.3 Tietosisältöä tuntemattomat käyttäjät

Toinen kokemattomien käyttäjien ryhmä on tutkittavaa aihetta heikosti tai ei lainkaan tuntevat käyttäjät. Heillekin selaus tarjoaa houkuttelevia ominaisuuksia. Tutkimuksissa [CCC92] on todettu, että aiheeseen perehtymättömät käyttäjät usein valitsevat useampia linkkejä kuin kokeneemmat ja harvemmin lukevat artikkeleita loppuun asti. Vilkuiltuaan artikkelia he siirtyvät nopeasti viitelinkkien kautta toisiin. Tällaiseen yleiskuvan muodostamiseen selaus onkin ihanteellinen menetelmä. Samassa tutkimuksessa havaittiin, että mikäli mahdollista, aihetta tuntemattomat käyttäjät yrittävät lähestyä aihetta jonkin itselleen tutun erikoisalan kautta. Tämän huomioonottamiseksi hypertekstijärjestelmät tulisi organisoida sellaisten hakemistojen tai valmiitten lukupolkujen avulla, jotka tukevat asteittaista oppimista. Yleisluontoisemmista artikkeleista johtaa linkkejä enemmän erikoistuneisiin artikkeleihin.

3.4 Tietosisällön hyvin tuntevat käyttäjät

Käyttäjät, jotka ovat eksperttejä haettavan tiedon alueella tietävät usein tarkkaan mitä tietoa he tarvitsevat, esimerkiksi haluavat tarkistaa jonkin faktan. Carmelin et al. [CCC92] mukaan he seuraavat harvempia linkkejä ja lukevat vähemmän artikkeleita, mutta yleensä sitten lukevat nämä artikkelit huolella läpi. He myös pystyvät paremmin ja useimmiten myös haluavat arvioida artikkelin sisältöä ja sen lähestymistapaa aiheeseen. Eksperteille selaaminen on usein tärkeä tapa pitää tietonsa ajan tasalla.

4 Analyyttinen tiedonhaku ja kokeneet tiedonhakijat

Kokeneille tiedonhakijoille ei välttämättä riitä pelkkä selaaminen vaan he kaipaavat tehokkaampaa ja täsmällisempää hakujärjestelmää. Tällaiset analyyttiset hakujärjestelmät perustuvat sille, että kone hakee tiedon käyttäjän antamien kyselyehtojen perusteella.

4.1 Analyyttisen haun menetelmät

De Bra [Deb96] määrittelee tiedonhaun vaiheet seuraavasti:

Analyyttinen tiedonhaku perustuu tarkasti etukäteen suunniteltuihin formaaleihin kyselyihin ja niiden järjestelmälliseen iterointiin. Haun täsmentämisessä voidaan käyttää apuna mm. loogisia operaatioita sekä synonyymi- ja semanttisia sanastoja. Marchioninin ja Schneidermanin [Mas88] mukaan tiedonhaun tehokkuuteen vaikuttavat tietokannan tietosisällön soveltuvuus tehtävään, tiedon organisaatio tietokannassa ja käyttöliittymän tarjoamat hakumenetelmät. Ensimmäinen tekijä on luonnollinen, lähes triviaali vaatimus: lienee turha hakea lintukirjasta tietoa Quentin Tarantinon elokuvista. Jälkimmäiset tekijät liittyvät siihen millaisia kyselyitä tietokantaan on yleensä mahdollista tehdä.

4.2 Kyselyt

Bärtschin [Bär85] mukaan kyselyjä voidaan muotoilla luonnollisella kielellä, joukkona kyselynkuvaajia (query descriptors) tai operaattorien (esim. loogisten) yhdistäminä kuvaajina. Kyselyn arvioinnissa pyritään mahdollisimman hyvään tarkkuuteen (precision) etsimällä todellisista tietosolmuista sellaiset, jotka mahdollisimman hyvin vastaavat kyselytermejä sekä samalla hyvään kattavuuteen (recall) eli etsitään mahdollisimman suuri osa koko tietokannan näistä solmuista.

4.2.1 Perinteiset kyselyt

Perinteiset kyselyt perustuvat loogisten operaatioiden AND (leikkaus), OR (yhdiste) ja NOT (negaatio) käyttöön kyselytermien yhdistelyssä. Tämä yksinkertainen malli on kuitenkin ilmaisuvoimaltaan sangen rajoittunut. Bärtschi [Bär85] esittää tätä valottavan esimerkin. Jos kyselyyn syötetään 10 termiä AND-operaattorilla yhdistettynä, vain ja ainoastaan kaikkia termejä vastaavat tietosolmut haetaan. Tuloksista jäävät pois nekin solmut, jotka olisivat sopineet 9 termiin 10:stä ja näin ollen sisältäneet oleellista tietoa. Jos taas termit yhdistetään OR-operaattorilla, niin tulokseen otetaan mukaan kaikki solmut, joissa yksikin termeistä esiintyy, eli luultavasti saadaan aivan liian paljon turhaa tietoa. Termien satunnaisesta yhdistämisestä AND- ja OR-operaattoreilla ei ole hyötyä: tulokset ovat yhtä satunnaisia kuin kysely. Kaikkien eri kombinaatioiden mukaisen kyselyn rakentaminen olisi liian työlästä. Eikä tämä kysely kuten muutkaan pelkästään loogisiin operaatioihin perustuvat kyselyt lajittelisi tuloksen tietosolmuja mitenkään.

Tämän lajitteluongelman ratkaisemiseksi on kehitetty painotus. Tietosolmuissa esiintyville termeille ja kyselyn termeille lasketaan painoarvot sen mukaan kuinka oleellisia termit ovat tietosolmun kuvaamisessa tai kyselyssä. Näiden painoarvojen avulla lasketaan jokaiselle noudetulle tietosolmulle arvo, jonka mukaan solmut järjestetään - kyselyyn parhaiten vastaavat ensimmäisiksi.

4.2.2 Sumeat kyselyt ja kynnysmalli

Tavallista painotusta tehostamaan on kehitetty muutamia malleja, joista tärkein Bärtschin [Bär85] mukaan on sumean haun (fuzzy retrieval) malli, jolla on tausta sumeassa joukko-opissa. AND-operaation tulos lasketaan osatulosten minimiarvona, OR-operaation osatulosten maksimiarvona ja NOT-operaation tulos saadaan vähentämällä termin tulos tulos (väliltä [0,1]) ykkösestä. Jos esimerkiksi termi X tuottaa tuloksen 0.9 ja termi Y tuloksen 0.6, niin X AND Y = min(0.9 , 0.6) = 0.6 ja X OR Y = max(0.9 , 0.6) = 0.9. NOT Y antaisi tulokseksi 1 - 0.6 = 0.4.

Edellisissä malleissa kyselyn kannalta paras tietosolmu on suurimman tuloksen tuottava. Kynnysmallissa (treshold model) paras solmu on tulokseltaan mahdollisimman lähelle annettua kynnysarvoa osuva. Sekä kynnysarvoa suuremmat ja pienemmät tulokset katsotaan huonommiksi. Koko kyselyn kynnysarvo määritellään kyselytermeille annetuista kynnysarvoista.

4.2.3 Vektoriavaruus- ja todennäköisyysmallit

Vektoriavaruusmallissa (vector space model) ei käytetä lainkaan loogisia operaatioita vaan tietosolmun kuvaajatermien ajatellaan muodostavan vektoriavaruuden, jossa kyselyt ja tietosolmut ovat vektoreita. Kyselyn tulos lasketaan näiden vektorien sisätulona.

Todennäköisyysmallissa (probabilistic retrieval) pyritään optimoimaan haettujen tietosolmujen oleellisuutta kyselylle. Laskennan takana oleva matemaattinen malli on kuitenkin niin monimutkainen, että kyselytermien määrää jouduttaisiin rajoittamaan muutamaan, jotta malliin perustuvat hakuohjelmat olisivat käyttökelpoisia.

4.3 Kokeneet tiedonhakijat

Kokeneet käyttäjät ovat usein tiedonhaun ammattilaisia ja haluavat hakea tietokannasta mahdollisimman nopeasti ja tehokkaasti tietoa, joka vastaa tarkasti annettuihin kysymyksiin. He eivät niinkään välitä itse tiedon muusta sisällöstä. He tuntevat etukäteen hakujärjestelmän ominaisuudet ja tietävät kuinka sitä voi hyväksikäyttää parhaiten kulloiseenkin hakuun. Kokeneet käyttäjät hallitsevat loogisten operaatioiden tehokkaan käytön ja tuntevat etukäteissuunnittelun merkityksen - he harvemmin ajautuvat turhaan selailuun. Kokeneille käyttäjille on yleensä erittäin tärkeää hakujärjestelmän ilmaisuvoima: kyselyt tulee voida esittää täsmällisesti. Myös joustavuus on suuri vaikutin, tehokäyttäjät haluavat järjestelmän mukautuvan omiin tarpeisiinsa. Käyttöliittymältä he vaativat nopeutta ja tehokkuutta lisääviä oikopolkuja sekä muita helpotteita.

5 Menetelmien vertailu

Hakustrategian valitsemiseen vaikuttaa Marchioninin ja Schneidermanin [Mas88] mukaan tärkeänä tekijänä tilanne, joka koostuu sekä fyysisistä että henkisistä olosuhteista. Tiedonhaku julkisessa paikassa, kuten kirjastossa aiheuttaa aivan erilaiset rajoitteet haulle kuin oman työhuoneen rauha. Samoin motivaatio voi vaihdella sen mukaan liittyykö haku työtehtävään tai esimerkiksi harrastuksiin. Selaus soveltuu analyyttisiä menetelmiä paremmin satunnaiseen tiedonhakuun, jossa ei edes ole pyrkimyksenä löytää tarkkaa tietoa jostain etukäteen määrätystä asiasta. Mikäli haun tarkoituksena on vastata johonkin tiettyyn ongelmaan on täsmälliseen kyselyyn perustuva haku tehokkaampi menetelmä. Koska aloittelevien tiedonhakijoiden on hankalampi käyttää hakujärjestelmiä kuin kokeneitten, niin järjestelmän tulisi olla mukautettavissa tai mukautua automaattisesti käyttäjän tarpeisiin. Aloittelijalle tulisi tarjota helppo tapa oppia järjestelmän käyttö ja kokeneelle käyttäjälle tarpeeksi tehokkaat hakuominaisuudet. Marchioninin ja Schneidermanin [Mas88] tutkimuksissa tiedonhaun ammattilaiset ylivoimaisesti useammin pitäytyivät perinteisessä hakemistoihin perustuvassa haussa, vaikka järjestelmä olisi tarjonnut helppokäyttöisemmät upotetut valikotkin. Pitempiaikaisessa tutkimuksessa museoissa taas todettiin suurimman osan hausta tapahtuvat upotettujen valikkojen kautta. Järjestelmän tulisi tukea asteittaista oppimista, jolloin tietosisältöä tuntemattomat käyttäjät voisivat helposti muodostaa kokonaiskuvan aiheesta, mutta samalla eksperteille tulisi taata pääsy pitemmälle erikoistuneisiin artikkeleihin.

6 Malli tiedonhaulle WWW:stä

World Wide Webin suuren sivumäärän vuoksi oleellisen tiedon löytäminen saattaa olla vaikea ja monimutkainen tehtävä. Käyttäjällä on WWW:stä tietoa hakiessaan neljä etenemistapaa:

Käyttäjä tietää tarkan osoitteen etsimälleen tiedolle. Tämä on kaikkein helpoin tapa, eikä vaadi varsinaista tiedonhakua.

Käyttäjä tietää jonkin hyvän aloitussivun osoitteen. Hyvä aloitussivu voi olla jonkun aiheesta kiinnostuneen henkilön kotisivu tai jokin aiheesta koottu linkkisivu. Tältä sivulta käyttäjä etenee selaamalla.

Käyttäjä käyttää hyväkseen jotain hierarkista hakujärjestelmää (esimerkiksi Yahoo). Tällä tavoin voidaan saada esille haluttu tieto tai edellisen kohdan hyvä aloitussivu.

Käyttäjä antaa haun suoritettavaksi jollekin hakurobotille (esimerkiksi Alta Vista, Infoseek, Lycos). Käyttäjä muotoilee ohjelmalle kyselyn ja käyttää tuloksia aloitussivuina mikäli ne eivät tuota haluttua tietoa suoraan.

6.1 Hierarkiset hakujärjestelmät - Yahoo

Hierarkinen hakujärjestelmä on joukko linkkejä, jotka järjestelmän ylläpitäjä on koonnut puumaiseksi rakenteeksi aiheen mukaan. Hierarkisten järjestelmien linkkitietokannat ovat huomattavasti pienempiä kuin hakurobotteja käyttävien järjestelmien, mutta niitten etuna on jonkinlainen laadunvalvonta. Koska linkit kerää ihminen eikä ohjelma, niin voidaan tarkistaa, ettei kyseessä ole saman sivun vanha versio sekä varmistaa, että sivu todellakin käsittelee aihetta, jonka mukaan sitä ollaan luokittamassa.


Kuva 2, Yahoon pääsivu

WWW:n hierarkisista hakujärjestelmistä suosituin lienee Yahoo (kuva 2 - http://www.yahoo.com/), joka on ollut aivan ensimmäisten joukossa sekä palvelun rakentajana, että sen kaupallistamisessa. Yahoo jakaa sivut 14 pääryhmään (taiteet, kauppa ja talous, tietokoneet ja Internet, koulutus, viihde, hallinto, terveys, uutiset, harrasteet, viitteet, alueet, tieteet, yhteiskuntatieteet sekä yhteiskunta ja kulttuuri) ja näiden alla on useita alaluokkia ja niiden alaluokkia. Aiheiden päällekäisyydestä Yahoo selviää puurakenteessa olevien sivuttaislinkkien (merkitty @-merkillä) avulla. Esimerkiksi tiedonhausta tietoa etsivä aloittaa tieteistä ja tietojenkäsittelystä (Science:Computer science). Täältä on sivuttaislinkki informaatiotieteisiin, joiden kautta tiedonhaku löytyy aivan eri kategorian alta kuin mistä etsiminen alkoi. Lista (Reference:Libraries:Information science:Information retrieval) sisältää 7 sivun osoitteet. Yahoon valttina on tiedon tarkka erittely ja listattujen sivujen laatu. Esimerkiksi Quentin Tarantinon Reservoir Dogs -elokuvaa käsitteleviä sivuja on listattu 11 kappaletta kategoriassa Entertainment:Movies:Genres:Action/Adventure:Titles:Reservoir Dogs. Hakurobotti antaisi elokuvan nimeen perustuvalla haulla useita tuhansia sivuja, joilla ei olisi välttämättä mitään tekemistä elokuvan kanssa. Yahoossa on itsessään mukana myös pieni hakurobotti, joka esittää Yahoon hierarkiaan luokitellut sivut erikseen.

6.2 Hakurobotit - Alta Vista

Hakurobotit ovat ohjelmia, jotka seuraavat mekaanisesti WWW-sivuilla olevia linkkejä ja kirjaavat ne tietokantaan. Varsinainen hakuohjelma sitten etsii tästä tietokannasta käyttäjän kyselyyn soveltuvat sivut. Kyselyt ovat yleensä tekstikyselyitä, joiden avulla löydetään ne sivut, joissa kyselyn sanat ovat esiintyneet. Toiset robotit indeksoivat koko sivun, jotkut vain esimerkiksi sivun sata ensimmäistä sanaa. Hakurobottien tietokannat ovat valtavia, jotkut mainostavat käsittävänsä jopa 90% kaikista Webin sivuista. Tässä piileekin niiden suurin vahvuus ja samalla myös suurin heikkous. Hakurobottia käyttämällä saa varmastikin kattavan osuuden Webin sisällöstä aiheesta kuin aiheesta, mutta samalla saa suuren määrän vanhentunutta ja asiaan varsinaisesti liittymätöntä aineistoa.


kuva 3, Alta Vistan tehokysely

Hakuroboteista tällä hetkellä kattavin, tehokkain ja käytetyin on Digitalin kehittämä Alta Vista (kuva 3 - http://altavista.digital.com/), joka mainostaa (15.4.96) sisältävänsä 11 miljardia sanaa 22 miljoonalta Web-sivulta. Webin valtaisaa kasvua kuvastaa hyvin se, että vajaa neljä kuukautta aiemmin (24.12.95) Alta Vista sisälsi 8 miljardia sanaa 16 miljoonalla sivulla; 37,5% kasvu noin sadassa päivässä. Alta Vista indeksoi sisältämistään sivuista kaikki sanat. Lisäksi se ottaa huomioon erikseen, jos sanat kuuluvat johonkin html-tagiin (esimerkiksi image, title). Alta Vista arvostaa kyselyn tuottamaa sivua sitä enemmän mitä aikaisemmin ja mitä useammin sana sivulla esiintyy. Alta Vistan tehokysely (advanced query) käyttää hyväkseen loogisia operaatioita. Niiden lisäksi sanojen läheisyyttä voi käyttää hyväksi: NEAR-operaattorin yhdistämien sanojen täytyy sijaita tekstissä korkeintaan 10 sanan etäisyydellä. Niinpä Richard NEAR Nixon löytäisi esiintymät: Richard Nixon ja Nixon, Richard sekä jopa Richard M. Nixon. Loogisista operaatioista voi rakentaa tarkkoja ja monimutkaisia kyselyitä sulkujen avulla. Sanayhdistelmät voi rajata lainausmerkeillä, jolloin haku etsii näitä täsmällisiä sanoja juuri annetussa järjestyksessä. Results ranking criteria -kenttään voi määritellä, mitä sanoja painotetaan lopullisessa lajittelussa eniten.

Alta Vista pyöristää kyselyn tuottamien sivujen määrän, mutta seuraavat esimerkit antavat viitettä millaisista määristä on kyse. Samalla käy ilmi miten loogiset operaatiot vaikuttavat kyselyyn.

Kysely Sivujen määrä
information AND retrieval 100000
information OR retrieval 7000000
information NEAR retrieval 60000
information AND NOT retrieval 7000000
retrieval AND NOT information 30000
"information retrieval" 40000

Kysely Sivujen määrä
reservoir AND dogs 5000
reservoir OR dogs 100000
reservoir NEAR dogs 4000
reservoir AND NOT dogs 40000
dogs AND NOT reservoir 100000
"reservoir dogs" 4000

6.3 Vertailu

Hierarkisen hakujärjestelmän etu on sen antaman tiedon laatu, hakurobotin taas sen antaman tiedon laajuus. Etsittäessä tärkeää tietoa lienee syytä turvautua molempiin: ensin tarkistetaan löytyykö aiheesta hyviä sivuja hierarkisesta hakemistosta ja tutkitaan ne. Mikäli tarpeellinen tieto ei löytynyt, niin käytetään hakurobottia sen etsimiseen. Hakurobotti löytää myös kaikki viitteet aiheeseen sivuilta, joiden pääaihe ei ole etsinnän kohteena oleva aihe. Jos sivu käsittelee useampia eri aiheita, se todennäköisesti löytyy paremmin hakurobotilla. Hakemistojen rasitteena on myös kategorioiden rajallisuus: mikäli etsittävä tieto ei ole kovin tarkkaan rajattua, niin kannattanee turvautua hakurobottiin.

7 Yhteenveto

World Wide Webin kaltaiset hypertekstijärjestelmät tehostavat tiedonhakua monilla eri tavoilla. Toisaalta ne tuovat tiedonhaun aloittelijoidenkin ulottuville. Järjestelmä ikäänkuin korvaa käyttäjän puutteet. Selaaminen, WWW:n pääasiallinen käyttömetodi, soveltuu tutkimusten mukaan parhaiten epämuodolliseen etsimiseen. Tämän epämuodollisuuden syynä voi olla joko käyttäjän kykenemättömyys ongelman täsmälliseen määrittämiseen tai tarkkaan määritetyn ongelman puuttuminen. Jälkimmäistä syytä edustaa esimerkiksi uuden tiedon etsiminen joltain tietyltä alalta. Selausta on kolmentyyppistä: etsivä selaus, jossa haetaan jotain tiettyä tietoa, yleinen selaus, jossa selataan kiinnostuksen kohteita ja päätetään vasta selatessa mitä tietoa haetaan sekä satunnainen selaus, jossa silmäillään tietoa päämäärättä. Analyyttinen haku perustuu formaaleihin, etukäteen suunniteltuihin kyselyihin. Yleisin kyselytapa on vielä loogisten operaatioiden käyttöön perustuva, jota arvioidaan sumeaan joukko-oppiin perustuvilla menetelmillä, mutta vektoriavaruus- ja todennäköisyysmallit ovat varteenotetavia vaihtoehtoja mikäli niiden käyttö onnistutaan optimoimaan.

Yleisesti ottaen järjestelmien tulisi tarjota kokeneelle käyttäjille tarpeeksi tehokkaat analyyttiset hakumenetelmät ja aloittelijoille helppo oppimisympäristö. Käyttäjän tulisi voida itse vähitellen siirtyä järjestelmän tehokkaampaan käyttöön. Tietosisältöä tuntemattomat käyttäjät pyrkivät viitelinkkejä seuraamalla saamaan nopeasti selkeän yleiskäsityksen aiheesta. Tiedon hyvin hallitsevat käyttäjät taas tutustuvat mieluummin perinpohjaisesti artikkeleihin ja arvioivat niitä tarkemmin. Hyvä järjestelmä rakennetaan siirtymään yleisistä aiheista vähitellen erikoisaiheisiin.

World Wide Webistä tapahtuvalle tiedonhaulle on neljä tapaa: tarkan osoitteen tietäminen, hyvän aloitussivun tietäminen, hierarkisen hakemiston käyttäminen ja hakurobotin käyttäminen. Mikäli ensimmäisistä tavoista ei ole apua kannattaa ensin tarkistaa löytyykö aihetta käsitteleviä sivuja Yahoosta ja sen jälkeen täydentää etsintää Alta Vistan avulla. Tulevaisuudessa suurimmat haasteet WWW-tiedonhaussa ovat tiedonhaun eri vaiheitten visualisointi, kuviin ja ääneen perustuva tiedonhaku sekä tekoälyn integroiminen hakujärjestelmiin.

8 Lähteet

And96
Andrews, K., Applying Hypermedia Research to the World Wide Web, http://hyperg.iicm.tu-graz.ac.at/apphrweb, 1996.
Bär85
Bärtschi, M., An Overview of Information Retrieval Subjects, Computer 18,5(1985), s.67-84.
CCC92
Carmel, E., Crawford, S., Chen, H., Browsing in Hypertext: A Cognitive Study, IEEE Transactions On Systems, Man And Cybernetics vol. 22,5(1992), s. 865-884.
Deb96
De Bra, P., Information Retrieval In Hypertext, http://wwwis.win.tue.nl/~debra/cursus/static/retrieval.html, 1996 (osa laajempaa hypertekstikurssia).
Erk95
Erkiö, H., Käyttöliittymät - luentomateriaalia, kevät 1995 osa1, Helsingin yliopisto, 1995, s. 37-38 (lainattu Info94-monisteesta).
MaS88
Marchionini, G., Schneiderman, B., Finding Facts vs. Browsing Knowledge in Hypertext Systems, Computer 21,1(1988), s. 70-80.
Nie95
Nielsen, J., Multimedia and Hypertext - Internet and Beyond, Academic Press, Inc., 1995, s. 224-234.