Tiedonhakumenetelmät, Harjoitukset 3, 15.-16.4.2004

1. Oletetaan, että käytettävissä on dokumenttikokoelma, jota kuvaa allaoleva dokumentti-termi -matriisi (dokumentit d1-d10 ja termit frog, snake, computer, user, want ja try). Matriisin alkiot kuvaavat termin esiintymistä dokumentissa.

   	frog	snake	computer	user	want	try
   d1	1	1		1	1	1
   d2			1	1	1	1
   d3	1	1				1
   d4				1	1
   d5		1			1	1
   d6				1	1	1
   d7	1		1	1		1
   d8					1
   d9					1	1
   d10			1	1	1

   a) Millaisen Boolen kyselyn muotoilisit seuraavista hakutehtävistä?

   1. "I am interested in frogs and snakes, but not in users."

   2. "I would like to see documents which tell about some computer user trying to draw animals, like frogs and snakes."

   Mitkä dokumentit palautuisivat kyselyiden tuloksena?

   b) Selosta seuraavan kyselyn suoritus käänteistiedoston avulla.

   ((user and want) or try) and not computer

2. Oletetaan, että käytössä on sama dokumenttikokoelma kuin tehtävässä 2.3.

   	frog	snake	computer	user	want	try
   d1	1	3		1	4	1
   d2			4	1	5	1
   d3	2	1				4
   d4				1	7
   d5		1			1	1
   d6				1	2	3
   d7	1			1		2
   d8					4
   d9					3	1
   d10			1	1	1

   a) Laske sisätulo ja kosini-samanlaisuusarvo seuraaville dokumenttipareille:

   1. d2 ja d6

   2. d2 ja d8

   b) Oletetaan, että käyttäjä antaa kyselytermit computer, want ja try. Anna 5 parhaan dokumentin kosini-samanlaisuusarvot kyselyn kanssa.

3. Laske edellisen tehtävän dokumenttipareille (d2,d6) ja (d2,d8) samanlaisuusarvo käyttäen samanlaisuusmittoja Overlap, Dice ja Jaccard. Kaavat löytyvät erillisestä tiedostosta (pdf). Kunkin mitan kohdalla vasemmalla olevaa kaavaa voi käyttää, kun painot ovat binäärisiä (0 tai 1) ja oikeanpuoleista kaavaa silloin, kun painot on laskettu esim. tf.idf:llä.

   Huomaatko eroja verrattuna sisätuloon ja kosinimittaan?

4. Oletetaan, että dokumenttien A-G keskinäiset samanlaisuusarvot ovat:

   
         A     B    C    D    E    F    G
   
   A     1   0.6  0.9  0.6  0.8  0.8  0.7
   
   B           1  0.3  0.6  0.5  0.8  0.7
   
   C                1    0  0.7  0.3  0.5
   
   D                     1  0.4  0.4  0.4
   
   E                          1  0.7  0.3
   
   F                               1  0.5
   
   G                                    1
   
   
   

   Selosta luennolla esitetyn hierarkkisen, agglomeratiivisen ryvästämismenetelmän toimintaa, kun ryppäiden samanlaisuusvertailussa käytetään yhden linkin kriteeriä.

   Jos et ollut luennolla, kannattaa ehkä katsoa Saltonin kirjan Automatic Text Processing esimerkkiä s. 329-333.