Nytt system for billedsøk

[Kari Larsen]

Jeg prøvde å søke på bilder av to jernbanestasjoner på Gjøvikbanen: Åneby og Sandermosen. Fikk veldig merkelige treff. Siden Åneby ligger i Nittedal, prøvde jeg "Åneby, Nittedal" og forskjellige varianter, f.eks. "Åneby stasjon", "Åneby jernbanestasjon" osv. Det dukket opp bilder av en hel rekke Esso bensinstasjoner over hele landet, og en fra Hakadal! Men det hjalp ikke å presisere "jernbanestasjon", for da kom det opp mobilstasjoner fra hele landet i tillegg. Dessuten private bilder fra familien Lind, der mannen jobbet i Esso sentralt, tror jeg, foruten fangebilder fra folk fra Nittedal og et heldigvis ubrukt damebind, som jeg ikke fant hadde noe som helst å gjøre i dette søket.

 

Finnes en oppskrift hvis jeg vil finne bilder fra:

a) Sandermosen jernbanestasjon

b) Åneby jernbanestasjon

[Arkivverket - Kristian Hunskaar]

Bildesøket bruker kunstig intelligens, dvs. at det ikke bare gir treff på søkeordene dine på grunnlag av metadata om bildene, men også på grunnlag av hva den kunstige intelligensen mener å gjenkjenne i bildene.

Hvis vi f.eks. søker på "fotball", får vi i skrivende stund treff på 193 bilder: https://nye.digitalarkivet.no/search/photo?media=photo&s=fotball&search_mode=combined

 

For mange av disse bildene finnes ikke ordet "fotball" i metadataene, men den kunstige intelligensen tror de har noe med fotball å gjøre.

• Vi får mange treff på bilder som faktisk har med fotball å gjøre, og som vi ikke ville fått treff på med et rent metadatasøk.
• Vi får noen treff på bilder av annen idrettsaktivitet, som klart kan minne om fotball, bl.a. fordi det er et fotballmål i bakgrunnen, men som likevel ikke er fotball: https://nye.digitalarkivet.no/source/241487/photo/14e251b0-0034-4341-a199-030ff1754f94?media=photo&s=fotball&search_mode=combined 
• Vi får treff på et bilde av en kunstinstallasjon, hvor kunstverket forestiller en fotball: https://nye.digitalarkivet.no/source/241371/photo/47620ded-94bb-4f61-bc0c-7f32a3c83a85?media=photo&s=fotball&search_mode=combined
• Mer absurd får vi treff på bilder av ei bensinpumpekule, som i form nok kan minne om en fotball: https://nye.digitalarkivet.no/source/241706/photo/abfa35d5-5b46-4138-833b-ec244f6627d4?media=photo&s=fotball&search_mode=combined

Vi ser her at søk med kunstig intelligens gir oss en del relevante treff som vi ikke ellers ville fått, men samtidig får vi mye "støy".

 

Her er et søk på "Sandermosen jernbanestasjon", som gir 433 treff: https://nye.digitalarkivet.no/search/photo?media=photo&s="Sandermosen jernbanestasjon"&search_mode=combined

 

Her tar støyen overhånd, fordi ingen av treffene har med Sandermosen jernbanestasjon å gjøre. En del av treffene har med jernbane å gjøre, så slik sett kan det være spennende å bla seg gjennom de 433 treffene, men når man helt spesifikt er på jakt etter et bilde av Sandermosen jernbanestasjon, er det bortkasta tid å bla seg gjennom så mange treff til ingen nytte.

 

I slike tilfeller kan det være hensiktsmessig å skru av den kunstige intelligensen og bare søke i metadata. Et bilde av Sandermosen stasjon vil høyst sannsynlig ha ordet "Sandermosen" som en del av metadataene.

For å skru av den kunstige intelligensen må du åpne "Søkemetoder" og huke av for "Kun søk i metadata", jf. skjermbilde nedenfor.

Hvis du nå søker på "Sandermosen" (https://nye.digitalarkivet.no/search/photo?media=photo&s=Sandermosen&search_mode=lexical) eller "Åneby" (https://nye.digitalarkivet.no/search/photo?media=photo&s=Åneby&search_mode=lexical), får du null treff.

 

Konklusjonen blir at bildesøket ikke inneholder noen bilder av Sandermosen jernbanestasjon eller Åneby jernbanestasjon; i alle fall ingen bilder med motiv som er identifisert som en av disse jernbanestasjonene.

 

[Kari Larsen]

Flott at menneskelig intelligens kommer inn! Håper hr KI lærer av denne samtalen at relevant info om f. eks. manglende eksakt treff er viktigere å rapportere enn mange hundre ikke-treff!