[#23525] Scanning av kirkebøker

[Gjest per helge seglsten]

Til 124: Det er i hvert fall betydelig forskjell på eksempel 7 og 9. Jeg vet ikke hva forskjell i nedlastningstid blir med ISDN-linje, men for oss med bredbånd vil i hvert fall den bedrede kvaliteten være mer verdt enn den (knapt) tregere nedlastningen.

[Gjest Rolf Steinar Bergli]

Takker for hyggelige tilbakemeldinger. Metoden som er brukt er 'Unsharp Mask' fra Photoshop (Elements 2.0). Tilsvarende funksjon finnes nok i mange andre programmer. Av innlegg (119) ser det ut til at Bent allerede har skjønt dette. :-)Metoden jeg har brukt er å sette Amount til 500% og så justere radius så høyt som mulig uten at det blir synlig halo (hvit kant rundt bokstavene). Her har jeg funnet at ca. 2,0 pixels verdi er ok. Threshold (terskeverdi?) settes så opp litt for å unngå for mye støy i bakgrunnen på sidene.Unsharp mask er en meget effektiv metode for å gjøre bilder skarpere og er helt uunnværlig i den digitale verden. F.eks kan nevnes at tilsvarende metode brukes automatisk i alle digitalkamera, som tilsynelatende tar skarpe bildet. Men som originalene fra mikrofilm-scanningene her viser, er utgangspunktet i digitale kamera og scannere tilsynelatende uskarpe. Det er altså automatisk eller manuell oppskarping som kreves for å få gode resultater. Unsharp mask metoden er vanskelig å beherske til fulle, men er derfor også mye omtalt på nettet.Geir: Det er faktisk ikke grå bakgrunn som er cluet. Dette var bare noe som jeg syntes forbedret lesingen ytterligere, men som ikke er resultat av oppskarpingen.Kan også nevne at full utgave av Photoshop har støtte for batch redigering, som gjør at man enkelt kan kjøre en definert unsharp mask prosess på tusenvis av bilder - helt automatisk.Følger spent med på prosessen videre!

[Gjest Bent Vangli]

HeiKjempeflott med mange tilbakemeldinger. Etter hvert som flere kommer fram med sine synspunkter skal jeg prøve å trekke noen konklusjoner.Med utgangspunkt fila i eksempel 1 i innlegg 120 brukte jeg følgende parametere for 'resizing' og 'unsharpen' funksjonene for å generere eksempel 7, 8 og 9 i innlegg 125:Resize : 2048x1536 (Beholder proposjonenene) Radius : 0.2 (20%) Sigma : 7 (700%) Amount : 3 (300%) Treshold : -2 (-200%)Deretter normaliserte jeg bildet noe jeg ikke tror Rolf gjorde. Dersom andre føler seg kallet til litt eksperimentering med bruk av andre parametere med utgangspunkt i originalbildet ville det være veldig fint, spesielt hvis det gis tilbakemelding om resultatene og parametere brukt.I produksjonssystemet vårt benytter vi Linux med grafikkbiblioteker fra ImageMagic for all bildebehandling. Kombinasjonen gir oss mye fleksibilitet og gjør det enkelt å lage automatiserte produksjonslinjer.mvh Bent VangliPS! Jeg kommer til å oppdatere de tre eksempelfilmrullene med de forbedrede parametrene. Prøver da med nivå 9 slik at jeg kan få tilbakemeldinger om hvordan folk med langsommere linjer oppfatter bruken av noe større filer. Filnavnene/linkene endres ikke på grunn av dette.

[Gjest Geir Thorud]

Hei,Jeg tror jeg skal holde meg borte fra å si noe om teknikken når det gjelder billedbehandling. Dette har jeg, som dere skjønner, for liten praktisk erfaring med (men selv jeg klarte å lage mye bedre bilder enn de opprinnelige).Selv om det Bent har lagt ut er blitt mye bedre, så er det et et lite stykke igjen til det Rolf fikk til.Jeg er enig med Rolf i at det er bedre å lese bildene med mørkere bakgrunn. Der har kanskje Bent noe å hente.Det har kanskje liten hensikt å kommentere de ulike komprimeringsgradene før vi vet at forutgående behandling (sharpen etc) er optimal ???Geir

[Gjest Arild Kompelien]

Ja, nå begynner det å bli brukbart. Rolf fikk løftet kvaliteten et hakk opp. Synes nok Rolf har kjørt på for hardt med amount og fått en ubehagelig haloeffekt. Bents eksempel 9 finner jeg noe blasst. Lastet derfor inn Bents eksempel 9 for å se om en mellomting kunne gjøre seg.Behandlet bildet med Levels i Photoshop, og med histogrammet foran meg økte jeg det svarte ved å legge 60 til O, og øke det kvite forsiktig ved å legge 249 til 255, og til slutt senke mellomtonene ned fra 1 til 0,50. Innbiller meg det da ble bedre å lese den minste skrifta.Hvis man gjennom finjusteringer kan heve kvaliteten et lite hakk, synes jeg nå det hele ser mer lovende ut enn i begynnelsen.

[Gjest Bent Vangli]

HeiNå ligger det etter hvert noen eksempler på forskjellige kvaliteter ute. Jeg håper flere har synspunkter. Det er lov å være subjektiv. Det er først når flere kommer med synspunkter en kan finne ut hvor den gyldne middelveien bør ligge.Selv er jeg kanskje litt konservativ i hvor langt jeg vil kjøre bildebehandlingen før publisering. Bakgrunenn for dette er at bildene som legges ut også skal være egnet for nedlastning for individuell optimalisering der hvor det er spesielle behov. Hos oss vil jo produksjonen maskinelt. Vi vil ikke ha mulighet til indivudelt å optimalisere hvert enkelt bilde. Legger vi oss på en for høy optimalisering vil en lett kunne oppleve at bildene 'sprekker' og blir helt håpløse ved eventuell personlig etterbruk i billedbehandlere. Det samme vil være også være tilfelle for den serverbaserte skaleringen som gjøres. Synspunkter?Det Arild er inne på kan kanskje ordnes bedre ved hjelp av gammajustering, som vil være mindre følsomt for variasjoner i innskanningen. De eksemplene jeg har lagt ut har alle en gammaverdi på 2,2. Noen som har prøvd noe annet?mvh Bent Vangli

[Gjest Kolbjørn Næss]

Hei Bent. Du ber om synspunkter på bilde-eks. som ligger ute.Det foto-tekniske har jeg ikke kunnskap til å kommentere, men jeg ville bare si at hvis vi kan regne med å få bildekvaliteten slik som du har vist oss i innlegg 124, eller det som Rolf Steinar har vist i innlegg 120, så må jo dette bli kjempeflott. Hvis vi i tillegg også får et fungerende søkesystem, så må jo dette bli som å komme til en ny verden i slekts-gransking. Vi gleder oss til å se mer. Kolbjørn

[Gjest Helge R. Naess]

Fotokvalitet ? - (Svar til Bent Vangli og min navnefrende Kolbjörn Næss(innlegg 132): - Det som bekymrer meg nå er at man pröver å lage noe meget godt ut av en nyere kirkebok fra etter 1900 som ingen har vanskeligheter med å lese. I et tidligere innlegg viste jeg f.eks. til Norderhov KB fra omkring 1790 som 'alle' vet er en redselsfull bok.Man kunne kanskje vri på Peer Gynt og si at 'hvis utgangspunktet er meget dårlig, (dvs. originalen), kan resultatet av RA's arbeide heller ikke bli stort bedre' ?Vel, hvis noe er mulig med moderne fototeknikk, vil det være meget gledelig. Alt jeg som ikke-fagmann kan si er: 'LYKKE TIL'.

[Gjest Ellef Ellefsen]

Bare en liten kommentar til innlegget fra Helge: Støtter ditt ønske!Har ikke helt nøyaktig årstall for når linjene i kirkeboka fra Norderhov begynte bli vanskelige, men mener det var ca.1793 og utover. Var i alla fall på begynnelsen av 1790-tallet. Filmrull HF 409 er desverre ikke å få kjøpt lenger. Enkelte bibliotek sitter med den, men tror ikke den lenger er enkel å få ved fjernlån. Nå får vi nøye oss med mikrokort en tid.(Dette var atter et lite sidespor fra meg, så nok om det). mvh Ellef Ellefsen.

[Gjest per helge seglsten]

Dersom dere (Helge og Ellef) mener at et eksempel med dårligere skrift hadde vært bedre egnet enn den pene kirkeboka som er brukt, for å få fram hvor lesbare de innskannede kirkebøkene vil bli, kan jeg i og for seg støtte dere. Men det kan nesten virke som om dere kritiserer rekkefølgen på hvilke av landets kirkebøker som skannes inn først. I så fall må det vel være en misforståelse ute og går: For det er vel ikke kirkeboka fra eksempelet som vil bli først lagt ut på nettet. Jeg går ut fra at et stort antall forskjellige bøker blir lagt ut samtidig.

[Gjest Ellef Ellefsen]

Til Per Helge:Jeg kritiserer på ingen måte rekkefølgen kirkebøkene blir lagt ut på. Var bare spent på hvor mye disse sidene (især de nederste linjene) må forstørres, før de blir leselige.Når det gjelder sider med utvannet blekk, vet jeg at det hjelper ikke stort med forstørrelse. Er fullt klar over at det ville bli altfor ressurskrevende om disse skulle avfotograferes på ny fra den originale kirkeboka. ( Men i HF 409 er det ikke snakk om utvanning, her er blekket i alla fall i orden).Dette med kirkeboka fra Norderhov var bare et lite ønske. Er glad for at arbeidet alt har kommet i gang. Eneste store ønsket jeg har, er at arbeidet med CD/DVD også starter snart. mvh Ellef Ellefsen.

[Gjest Anne Lise Hovdal]

Kirkebøkene fra Norderhov er vel ikke så gode å lese i deler av 1700-tallet, men jeg kunne også ønsket meg Stjørdal fra 1755-1820 og utover utlagt på internett. Den er noe av det verste jeg har vært borti, og jeg begynner å ha lest en del kirkebøker. Hele perioden 1755-1820 vil jeg kalle uleselig for Stjørdal.Vil ellers minne på om at når dere skal legge ut kirkebøkene for Alstahaug på Helgeland, så husk at for årene 1714-1737 er det egne kirkebøker for Herøy,Sandes, Alstahaug og Tjøtta(mikrofilm PF-412/413). Det samme gjelder for årene 1737-1740. Perioden 1741-1767 og 1737- 1768 er ført i ett med alle sogn(mikrofilm PF-412/414). Perioden 1768-1776 er det også egne kirkebøker for hvert sogn, og det samme gjelder 1776-1800 og 1801-1819.Etter 1740 er Sandnes byttet ut med Stamnes sogn.Vevelstad var også eget sogn i siste periode(1801-1819) Dette har de ikke fått med de som har lagt ut på Familiy Search, og der er kun Alstahaug utlagt.Ellers går jo alle sogn her under Alstahaug prestegjeld i hele den perioden jeg nevner.

[Gjest Ketil Firing Hanssen]

Er ett av siktemålene med å scanne inn kirkebøkene at de vanskelig leselige bøkene skal bli lettere å tyde?

[Gjest Anne Lise Hovdal]

Det er det vel kanskje ikke, men de kan sikkert bli mer leselige også med scanning og som utlagt på internett enn på gamle mikrofilmapparater. Det har sikkert også hatt noe å si iallefall for de kirkebøkene jeg nevner. Bare for å ha det sagt: Kirkebøkene for Alstahaug som jeg skrev om er ikke uleselige.

[Gjest Ellef Ellefsen]

Dette er intet svar på innlegg (138), heller en liten tanke rundt spørsmålet:Håper de scannede bøkene blir litt lettere å lese enn mange av de gamle rullefilmene vi finner på forskjellige bibliotek. Sistnevnevte har jo i årenes løp blitt sveivet tusenvis av ganger gjennom forskjellige leseapperater.Tror også flere har blitt tredd feil utallige ganger. Rart de ikke har tatt fyr. Uten at jeg har noe som helst greie på mikrofilming, regner jeg med de er så hardt behandlet at det ville være underlig om det ikke har gått ut over lesbarheten. mvh Ellef Ellefsen.

[Gjest Geir Thorud]

Hei,Jeg vil prøve å igjen å ta tak i litt av problematikken som Bent behandler i innlegg 131.En erfaring vi kan ta med oss videre er at det ER mulig å oppnå vesentlig bedre resultater ved bruk av billedbehandling. Jeg føler meg sikker på at den optimale prosessering ikke er funnet, og at det viktige er å sikre at det vil være mulig å komme med innspill på et senere tidspunkt. Det er vel da forholdsvis enkelt å endre prosesseringen senere hvis man finner bedre sett av parametre/metoder.Det er mange mulige ”prosesseringsfunksjoner/-parametre” og så mange motstridende krav at dette må gå seg til etter hvert, og løsningen vil potensielt bli bedre jo flere som eksperimenterer, det er neppe gitt en person å initielt finne den endelige løsningen. Men, det er meget vanskelig å kunne eksperimentere for andre en dere i Arkivverket fordi man ikke har et tilstrekkelig variert sett av råfiler (dvs de i .png). Jeg tror det er vanskelig for andre å bidra med mindre man får ut en del flere råfiler med VARIERENDE kvalitet på bildet, kanskje 10 i starten og 20 på sikt for å få til et representativt utvalg – dette kan skje etter hvert som baser legges ut, så har man bedre grunnlag for å finne representative bilder. Det er umulig å komme med saklige kommentarer til det som legges ut uten å vite hvordan råfila ser ut, og uten at det er tilstrekkelig variasjon i mellom bildene. Det blir også for mye jobb å kommentere en hel film, et mindre sett med representative bilder er bedre.Å finne den optimale løsning har såpass store konsekvenser for utbyttet av denne viktige tjenesten at man burde kunne investere litt arbeid i dette, og det er også viktig at man holder døren åpen for nye innspill i en periode etter at tjenesten er kommet i drift, dvs at man nå ikke fastsetter den endelige løsning. Betrakter man den potensielle meget høye nytteverdien burde man kunne forsvare å bruke denne brøkdel av en brøkdel av prosjektkostnadene på dette. Det er vel kanskje også det jeg synes Bent legger opp til.Hvis noen finner bedre løsninger basert på råfilene kan de bare legge ut resultatet på nettet, og så kan de enkelt testes ut og folk kan si sin mening. Jeg kan ikke garantere at dette vil virke, men det finnes mange eksempler på ”Power of the net”, og jeg er sikker på at interessen vil ta seg vesentlig opp når tjenesten kommer i gang. Man må dog akseptere at Arkivverket ikke kan kommentere alle mer eller mindre godt funderte innspill, men ”nettet” vil nok kommentere.Jeg har en MISTANKE om at en grunn til at det ikke kommer flere kommentarer nå, kan være at det snakkes to forskjellige språk – nemlig Photoshop og ImageMagic. Kanskje tar jeg feil, men det virker ikke som man ved å utveksle verdier på noen parametre oppnår de samme resultater i begge programmer? ImageMagic er nok for tungvint for folk.Etter å ha jobbet med Unix i 20 år vet jeg at jeg antakelig banner i kjerka, men hvis den beste løsningen krever for eksempel Photoshop, hadde det ikke vært mulig å for eksempel legge råfiler i et directory på Linux som er tilgjengelig via nett fra en Windows PC, og så kjøre en batchjobb i Photoshop en gang pr uke for å prosessere ukas ”scannede” bilder. (Alternativt vil flere råfiler, og en tjeneste i drift, kanskje motivere folk til å eksperimentere med ImageMagic.)Når det gjelder problemet med bilder som ”sprekker” så tror jeg man må konkretisere dette mht f.eks hvilken prosessering som er aktuell lokalt og hvilken sentral bearbeiding som ødelegger.Geir

[Gjest Bent Vangli]

HeiFlott, her kommer det mange synspunkter. Det er kjempeviktig. Forslaget om å legge ut flere eksempelfiler fra forskjellige filmer høres utmerket ut. Når det gjelder bruk av billedbehandlingsprogrammer, bruk det dere har og fortell deres erfaringer ut i fra det. Med referanse til programmet og dets settinger, eventuelt eksempelbilder, burde vi klare å forstå hva som må til. Hva programmet heter er ikke så viktig, da de basale grafikkfunksjonene som ligger under stort sett er basert på de samme algoritmene med samsvarende begreper. Så bare fortsett å komme med ideer og tanker. Flere hoder tenker bedre enn få.I neste uke testes mesteparten av indekseringsystemet av de som jobber med innskanningen, hvilket innebærer at vi nærmer oss et tidspunkt hvor volumproduksjonen kan starte. Med alle mulige forbehold om de erfaringer vi vinner i neste uke håper vi at vi i full produksjon vil klare å skanne inn og indeksere noe slikt som 1000 bilder om dagen. Så får heller fremtiden arrestere meg hvis jeg er alt for optimistisk.En riktig god helg til alle sammen. Bent Vangli

[Gjest Tor Arne Vik]

Kan problemet med utvannet blekk løses ved å bruke lyskilde med annen bølgelengde enn det som er vanlig i scannere ? Uten at jeg har sjekket det antar jeg at det brukes lys som ligger innenfor den synlige delen av spekteret. Hvordan ser den utydelige skriften ut når den f.eks belyses med UV- eller IR-lys ?

[Gjest Bent Vangli]

HeiEt lite supplement til Geirs innlegg nr 142 og for de spesielt interesserte. Alt etterfølgende er ikke 100% på plass enda, men viser litt om hvordan vi tenker produksjonsgangen.Mikrofilmskanneren vi bruker håndterer 16 og 35 mm rullefilm og er montert i en spesialbygd kasse med all nødvendig mekanikk, optikk og spesialelektronikk. I denne kassen er det plassert et standard PC hovedkort med Windows XP. Nødvendig programvare for å drive skanneren kjører på dette systemet. Under innskanning lagres bildene i et ukomprimert format lokalt på denne maskinen. En primær kvalitetssjekk som i hovedsak er å sjekke om innskanningen har stykket opp bildene riktig, at eksponeringen er passe og at filmen ikke har hengt seg opp eller hoppet under innskanningen. Sistnevnte kan skje om det skulle være smuss eller partikler på filmen som påvirker filmføringen. Vi gjør ingen bildebehandling på dette stadiumet.Deretter overføres bildene til et online masselager. Serverne (Linux baserte) som styrer dette vil så automatisk konvertere bildene til et arkivformat som for tiden er PNG med tapsløs komprimering. Disse filene låses og danner deretter et stabilt utgangspunktet for all videre bruk.Bildene blir så gjort automatisk tilgjengelige som digitale objekter på våre interne systemer. Med denne basisen foretas en manuell indeksering. Når denne er ferdig blir bildene automatisk kopiert og konvertert til publiseringsformatet, for tiden JPG med passende optimaliseringsparametere. Jamfør diskusjonene i tidligere innlegg. Indekseringsbasen og bilder blir deretter periodisk og automatisk kopiert over til vår Internettserver og dermed gjort tilgjengelig for publikum.Om jeg har klart å forklare dette klart nok vil de fleste se at prinsipielt er det ikke vanskelig å endre parametere for bildeoptimaliseringen av de publiserte bildene, dog kan fysiske begrensninger sette grenser for hva som er praktisk gjennomførbart, jamfør innlegg 57. Vi er av ressursmessig årsaker avhengig av en meget høy grad av automasjon for i det hele tatt ha mulighet til å nå i mål.En vil videre se at det ikke vil være teknisk vanskelig å produsere DVD/CD ROM med bilder i full oppløsning på bestilling. Det eneste som trengs er en praktisk løsning på toppen som forenkler bestilling og behandlingen av bestillingen. Kanskje vil det også være praktisk mulig å lage en automatisert løsning som gjør at en kan få tilsendt et enkeltbilde i full oppløsning på E-post.Med vennlig hilsen Bent Vangli

[Gjest Geir Thorud]

Hei Bent,Kjempefint å få denne presentasjonen. Kunne vel gjette meg til en del ut fra det som er skrevet tidligere, men det er fint å VITE.Men, i det forrige innlegget ditt skriver du at dere skal klare 1000 bilder om dagen. I innlegg 14 anslås antall bilder fra kirkebøker til 2 millioner. Med rundt regnet 200 arbeidsdager pr år vil dette ta ca 10 år. Trodde det var snakk om anslagsvis 2 år? Noe som ikke stemmer?Apropos det du beskriver over, er det scanningen eller indekseringen som er den trangeste flaskehalsen?

[Gjest per helge seglsten]

Geir, om vi satser på at arbeidet kan foregå med vikarer i feriene, er vi oppe i 250 arbeidsdager i året. I så fall kan vi regne 8 år for å fullføre prosjektet. Det er i hvert fall en bedring...;c)

[Gjest Bent Vangli]

Det er nok indekseringen som er den mest tidkrevende. Skanneren tar ca 1 bilde i sekundet, eller bruker noe slikt som 10+/- minutter på en rull avhengig av lengden.Så for å fortgang over tid må vi enten omdefinere matematikken eller få mere ressurser. Det første er vel nærmest umulig, selv for en optimist som meg :-)). Å få frigjort flere ressurser i den nærmeste framtiden kan også være vanskelig. Men før vi trekker noen endelige konklusjoner kan jo optimisten (meg) vente med å se hvilken erfaringer vi vinner i tiden framover.mvh Bent Vangli

[Gjest Geir Thorud]

Man skal nok ha mer enn ”integralregningslinja” på Gløshaugen for å utrette noe mht matematikken.Jeg fortsetter å kaste fram ideer, på tynn is som vanlig.Lag og foreninger bruker store ressurser på å skrive av kirkebøker, en slik indeksering burde være en bagatell i forhold. Jeg vet ikke, men gjetter på at indekseringen i hovedsak innbærer å registrere noen tall pr bilde, og at det er en forholdsvis enkel jobb – i alle fall for bøkene etter ca 1812?Hadde det ikke vært en mulighet for å sende ut DVDer, å lage et enkelt databaseprogram, og la dette arbeidet bli gjort av frivillige? Alternativt kan hele jobben gjøres via nettet. Det er minst mange titalls personer som vil ønske å bidra, og det blir sikkert ikke vanskelig å få kryssjekket resultatet både en og to ganger. Arbeidet kan organiseres via DIS og andre slektsforskerorganisasjoner. Hvis jobben krever litt kompetanse så tror jeg nok også det finnes rundt omkring, både på kirkebøker og data.Det er sikkert utfordringer i dette som jeg ikke kjenner til, men kaster i alle fall fram ideen. Med et tiårsperspektiv som alternativ må det lønne seg å investere litt i en slik løsning basert på frivillige. Men, det hele står og faller med hva som ligger i indekseringsjobben.Geir

[Gjest Arild Kompelien]

Når det gjelder indeksering er jeg enig med Geir i at det trenger ikke være så stor jobb. Men selvfølgelig avhengig av hvor mye man vil gjøre ut av det.Hva trenger vi av indeksering? For egen del mener jeg det holder lenge med formen - Sogn X dåp 1816-40 bilde 1-84, og så angitt på hvilket bilde hvert år starter. Skulle ikke det holde lenge?

[Gjest Geir Thorud]

Hvis man legger inn sidenummer kan man enkelt gå fra en post i en base med kirkebokavskrift til den scannede siden, eller andre veien (selv om man kanskje ikke treffer posten eksagt). Hvis prisen for dette er vesentlige forsinkelser i utlegging av scannet materiale er jeg ikke i tvil om at sider bør utelates. Men det å legge inn side kan vel gjøres nesten automatisk mens man blar for å finne neste år eller type innførsel, så det er ikke sikkert det gjør så stor forskjell?