Bruk Historisk befolkningsregister, HBR, histreg.no som felles plattform!

[Lars Holden]

Beklager at det har blitt mange feil i løpet av juni og juli. Jeg forstår godt frustrasjonen. Jeg har arbeidet med det en stund og rettet opp noen hundre personsider. Antall lenker i databasen er økt kraftig. Andelen feillenker er liten, men det blir likevel et stort antall feil.

 

Algoritmen som har økt antall lenker betydelig, er søk i Digitalarkivet basert på fornavn og fødslesdato fra 1920-folketellingen. Det gir mange treff i kirkebøker og i noen andre kilder med fødselsdato. Dette er viktig for dekningen i databasen. Algoritmen tar hensyn til bosted, sjelden navn, familie mm. De fleste feilene kommer fra personer med samme fødselsdato, dobbeltnavn med et felles navn som er vanlig, men kombinasjonen uvanlig og noen andre likheter. Det kan også medføre feillenking av familiemedlemmer med noen likheter. Denne feilen opptrer så sjelden at den ikke ble fanget opp i testingen. Da jeg oppdaget det, ble algoritmen rettet.

 

Planen er å fortsette å øke antall lenker noen uker til, og så kjøre algoritmer som leter etter feil.

 

Jeg har fortsatt ferie noe til og vil lage statistikker og dokumentere databasen forhåpentligvis i månedsskiftet august/september.

 

 

[Lars Holden]

7 hours ago, Lars Holden said:

Beklager at det har blitt mange feil i løpet av juni og juli. Jeg forstår godt frustrasjonen. Jeg har arbeidet med det en stund og rettet opp noen hundre personsider. Antall lenker i databasen er økt kraftig. Andelen feillenker er liten, men det blir likevel et stort antall feil.

 

Algoritmen som har økt antall lenker betydelig, er søk i Digitalarkivet basert på fornavn og fødslesdato fra 1920-folketellingen. Det gir mange treff i kirkebøker og i noen andre kilder med fødselsdato. Dette er viktig for dekningen i databasen. Algoritmen tar hensyn til bosted, sjelden navn, familie mm. De fleste feilene kommer fra personer med samme fødselsdato, dobbeltnavn med et felles navn som er vanlig, men kombinasjonen uvanlig og noen andre likheter. Det kan også medføre feillenking av familiemedlemmer med noen likheter. Denne feilen opptrer så sjelden at den ikke ble fanget opp i testingen. Da jeg oppdaget det, ble algoritmen rettet.

 

Planen er å fortsette å øke antall lenker noen uker til, og så kjøre algoritmer som leter etter feil.

 

Jeg har fortsatt ferie noe til og vil lage statistikker og dokumentere databasen forhåpentligvis i månedsskiftet august/september.

 

 

Her er litt statistikk for å underbygge veksten i antall lenker:

Gjennomsnittlig antall lenker til personer i hhv 1891, 1900, 1910 og 1920-folketellingene er økt fra begynnelsen av juli til slutten av juli fra 2.3, 2.5, 2.8 og 2.3 til 2.6, 3.0, 3.6 og 2.6. Det var også en betydelig vekst i mai og juni. En slik vekst vil det ta mange år med frivillige bidrag.

Feillenkene er så få at det ikke er det som er avgjørende for denne veksten.

[Kjell Inge Tomren]

10 timer siden, Lars Holden skrev:

Planen er å fortsette å øke antall lenker noen uker til, og så kjøre algoritmer som leter etter feil.

Men, feilene må rettes opp manuelt? Ikke noen mulighet for å automatisk reversere feilkoblingene som ble laget? Kan jeg lage en liste over de jeg finner og håpe på at det kommer en automatisk feilretting, eller kan jeg like godt gå løs på dem en etter en? Som sagt veldig frustrerende å måtte bruke tid på dette og det skader omdømmet til histreg.no i betydelig grad. 

[Aase R Sæther - Gloppen]

Eit konkret spørsmål:

 

Namnet til mor i denne dåpen https://www.digitalarkivet.no/view/255/pd00000022149786 er henta frå det etterfølgjande dåpsbarnet. Eg har slått det saman med korrekt mor og skrive ein merknad om feilen - er det ein gangbar måte å gjere det på?

[Lars Holden]

12 hours ago, Kjell Inge Tomren said:

Men, feilene må rettes opp manuelt? Ikke noen mulighet for å automatisk reversere feilkoblingene som ble laget? Kan jeg lage en liste over de jeg finner og håpe på at det kommer en automatisk feilretting, eller kan jeg like godt gå løs på dem en etter en? Som sagt veldig frustrerende å måtte bruke tid på dette og det skader omdømmet til histreg.no i betydelig grad. 

Jeg regner med at de aller fleste feil blir rettet maskinelt. Hvis vi antar 10 mill. personer og 1% feil, er dette 100.000 feil. Da er vi avhengig av maskinell retting. I første omgang planlegger jeg å gå igjennom alle forekomster i 1910-folketellingen og sjekke personer med flere forekomster i samme folketelling eller markert som død flere ganger. Når det er gjort, får jeg vurdere hva som er mest effektivt videre.

 

Det er fint om personer retter opp feil de ser, spesielt feil av typen som vi er usikker på om algoritmer finner eller retter opp korrekt.

[Lars Holden]

12 hours ago, Aase R Sæther - Gloppen said:

Eit konkret spørsmål:

 

Namnet til mor i denne dåpen https://www.digitalarkivet.no/view/255/pd00000022149786 er henta frå det etterfølgjande dåpsbarnet. Eg har slått det saman med korrekt mor og skrive ein merknad om feilen - er det ein gangbar måte å gjere det på?

Jeg synes det er en bra måte å gjøre det på

[Lars Even Røed]

Det ser ut som om feillenkingen i noen tilfeller har medført så mye data på en person at det går ut over en grense for hva som er tillatt for å presenterer denne personen.
Prøv å søk på Herman Ingvald Olsen født 1899 da får man opp en person med disse navn: Oluf Martin Antoni Andreas Jens Antonsen Olssen Enoksen Olsen Gyland som har 43 forekomster knttet til seg.

Når man prøver å åpne denne personen, kommer meldingen: Hvordan kan vi få rettet denne personen?
 

ErrorException (1)

Allowed memory size of 134217728 bytes exhausted (tried to allocate 2095840 bytes)

[Bodil Hørlück Berg]

3 timer siden, Lars Even Røed skrev:

Det ser ut som om feillenkingen i noen tilfeller har medført så mye data på en person at det går ut over en grense for hva som er tillatt for å presenterer denne personen.
Prøv å søk på Herman Ingvald Olsen født 1899 da får man opp en person med disse navn: Oluf Martin Antoni Andreas Jens Antonsen Olssen Enoksen Olsen Gyland som har 43 forekomster knttet til seg.

Når man prøver å åpne denne personen, kommer meldingen: Hvordan kan vi få rettet denne personen?
 

ErrorException (1)

Allowed memory size of 134217728 bytes exhausted (tried to allocate 2095840 bytes)

Jeg prøvde meg fram. Siden jeg ikke tok med fødselsår i søket, kom personen fram øverst i søket, og da fikk jeg kopiert Id for HP. Brukte feilhåndtering for å fjerne personlenker. Og da kom ihvertfall personsiden fram. Så er det bare å jobbe videre med alt annet feil…

Jeg har delt opp mange som er 6-8 personer, og der noen av dem

har det jeg oppfatter som få felles trekk…

[Bodil Hørlück Berg]

4 timer siden, Lars Even Røed skrev:

Det ser ut som om feillenkingen i noen tilfeller har medført så mye data på en person at det går ut over en grense for hva som er tillatt for å presenterer denne personen.
Prøv å søk på Herman Ingvald Olsen født 1899 da får man opp en person med disse navn: Oluf Martin Antoni Andreas Jens Antonsen Olssen Enoksen Olsen Gyland som har 43 forekomster knttet til seg.

Når man prøver å åpne denne personen, kommer meldingen: Hvordan kan vi få rettet denne personen?
 

ErrorException (1)

Allowed memory size of 134217728 bytes exhausted (tried to allocate 2095840 bytes)

Her er nok Herman Ingvald Olsen - som nok også fortjener litt opprydding. Ganske imponerende å få så mange knytninger fra en hovedpost.

https://www.histreg.no/index.php/person/daid/pf01036997002440

[Lars Holden]

5 hours ago, Lars Even Røed said:

Det ser ut som om feillenkingen i noen tilfeller har medført så mye data på en person at det går ut over en grense for hva som er tillatt for å presenterer denne personen.
Prøv å søk på Herman Ingvald Olsen født 1899 da får man opp en person med disse navn: Oluf Martin Antoni Andreas Jens Antonsen Olssen Enoksen Olsen Gyland som har 43 forekomster knttet til seg.

Når man prøver å åpne denne personen, kommer meldingen: Hvordan kan vi få rettet denne personen?
 

ErrorException (1)

Allowed memory size of 134217728 bytes exhausted (tried to allocate 2095840 bytes)

Det er ikke antall forekomster, uansett om de er riktige eller feil, som medfører denne feilen. Det fins personsider opp mot 100 forekomster som vises lett.

 

Personsidene lages ved kall til Digitalarkivet, og i noen tilfeller mange kall til Digitalarkivet. Vi kjenner til to årsaker til at sider ikke vises.

1. En sjelden gang gir kallene til Digitalarkivet urimelig store mengder data, som sprenger kapasiteten til det en bruker får tilgang til. Det er tilfellet her (ber om 2 mill bytes)

2. Sidene er så komplekse at visningen sprenger tidsgrensen for å lage en side i histreg. Arkivverket som drifter systemet, har utvidet tidsgrensen og NR har effektivisert programmet vesentlig i vår. Etter dette skjer det veldig sjelden.

 

Jeg har dessverre ikke en enkel løsning på dette som skjer sjelden og er vanskelig å reprodusere. Det er også noe som er i grenselandet mellom Arkivverkets drifting og NRs utvikling av systemet.

 

Man kan finne ut hva som er lenket ved å bruke URL av typen:

https://www.histreg.no/index.php/relations/pf01036997002440/1

Det gir innholdet på siden, men i et lite brukervennlig format.

 

Det er mulig å forenkle siden ved å bruke feilhåndteringer og i første omgang fjerne familiekoblinger. Slike problemer er som oftest knyttes til familiekoblingene. Ved å bare fjerne familiekoblingene og ikke lenkene, fjerner man ingen lenker og det er lettere å beholde det som er riktig. 

 

[Bodil Hørlück Berg]

Dette er en av de som ble lenket mer sammen i natt. Ihvertfall kom den på statistikkoversikten som endret av Lars Holden. Er det slik at slike blir delt opp igjen maskinelt?? 
Jacobine Gunhild Maren Gunde Marie Karoline Gunehild Mathisen Brygman Hansen
https://www.histreg.no/index.php/person/pf01036495002335

[Lars Holden]

3 hours ago, Bodil Hørlück Berg said:

Dette er en av de som ble lenket mer sammen i natt. Ihvertfall kom den på statistikkoversikten som endret av Lars Holden. Er det slik at slike blir delt opp igjen maskinelt?? 
Jacobine Gunhild Maren Gunde Marie Karoline Gunehild Mathisen Brygman Hansen
https://www.histreg.no/index.php/person/pf01036495002335

Ja, dette er nok laget maskinelt, hvert fall den siste lenkingen. Beklager det. Slike personer er bygget opp gjennom flere lenkinger, som hver for seg kan virke naturlig. Men for det samlet blir helt feil.

 

Dette er slike feil som er lett å finne og rette opp maskinelt fordi det er flere oppføringer i 1910-folketellingen og død flere ganger. Jeg regner med at det ville bli rettet innen 1-2 måneder. Men når jeg ser slike feil, retter jeg det opp med en gang. Det er som oftest lett å se hva som er riktig, så det tar bare en par minutter.

[Jon Sværen]

På Biografier og merknader er det komen ein opplysning som kan misstolkast.

Klokkarboka som AMF har ført inn er det IKKJE fedrane til brudgom og brud som er ført på, men FORLOVERE. 

Dette har ikkje AMF fått med seg.

Kjelde:  https://www.histreg.no/index.php/person/pf01053002001285

 

 

[Arild Maka]

Det er mulig å legge inn uregistrerte. Men disse er det umulig å få frem i et søk. Det er litt uheldig, men noe en får ha i bakhodet.

Det som også er mulig er å registrere f. eks. en ny kilde. Jeg registrerte nettopp en dødsannonse. Da klarte jeg å søke frem personen. Men hvis jeg i søket også la inn fra/til det året vedkommende var født, så fikk jeg ikke treff. Det var litt merkelig.

For denne personen så finnes det ingen andre med samme navn. Men hvis det var et vanlig navn ville det komme alt for mange treff og en ville ikke finne personen.

Ser det ligger inne en mulighet for å krysse av for "Avis, døde". Men det er likevel rart at en ikke kan ta med år i søket.

Endret August 18 av Arild Maka

[Aase R Sæther - Gloppen]

På 16.8.2024 den 14.48, Jon Sværen skrev:

På Biografier og merknader er det komen ein opplysning som kan misstolkast.

Klokkarboka som AMF har ført inn er det IKKJE fedrane til brudgom og brud som er ført på, men FORLOVERE. 

Dette har ikkje AMF fått med seg.

Kjelde:  https://www.histreg.no/index.php/person/pf01053002001285

 

 

 

Dette skal vere råd å rette, men eg fekk det ikkje heilt til. Kanskje @Lars Holden fiksar resten? At ein Hansen har far Nils er sjølvsagt ikkje rett, men td uerfarne utanlandske brukarar vil gjerne ikkje reagere.

Endret August 18 av Aase R Sæther - Gloppen

[Jon Sværen]

Aase !

 

Det bør kunne rettast raskt (skulle ein tru),  men SJØLVSAGT ikkje på ein syndag.

 

Og den beste måten å retta dette på i DA, er å fjerna begge to som AMF er ført opp som foreldra. 
Då står det berre att 2 navn: Brudgom og Brura.

[Jon Sværen]

Aase !

 

Kanskje bør Lars Holden gå konsekvent inn for Ministral-bokji, og heilt utelate Klokkarboka. Inntil vidare …. 
 

Eg veit ikkje kva du (og andre som brukar hist.reg mykje) meinar ??

[Lars Holden]

2 hours ago, Arild Maka said:

Det er mulig å legge inn uregistrerte. Men disse er det umulig å få frem i et søk. Det er litt uheldig, men noe en får ha i bakhodet.

Det som også er mulig er å registrere f. eks. en ny kilde. Jeg registrerte nettopp en dødsannonse. Da klarte jeg å søke frem personen. Men hvis jeg i søket også la inn fra/til det året vedkommende var født, så fikk jeg ikke treff. Det var litt merkelig.

For denne personen så finnes det ingen andre med samme navn. Men hvis det var et vanlig navn ville det komme alt for mange treff og en ville ikke finne personen.

Ser det ligger inne en mulighet for å krysse av for "Avis, døde". Men det er likevel rart at en ikke kan ta med år i søket.

Vi kan vurdere dette.

Uregistrerte skal bare brukes når personen ikke fins i andre kilder. Disse personforekomstene skal derfor i prinsippet ikke lenkes til andre forekomster. De skal brukes for å fylle ut personer i familietreet, f.eks. en felles foreldre til personer for å knytte sammen søskene. Vi regner med at disse familierelasjonene etableres ved etablering av den uregistrerte.

 

Det er store mangler i årstallene for dødsannonser fordi de aller fleste av disse er lest inn maskinelt og det er veldig mange ulike formater for dødsannonser. Det fungerer derfor ikke så godt å søke på årstall i dødsannonser. Vi har også redusert søketreffene i dødsannonser fordi tidligere varianter ga veldig mange treff i dødsannonser. Det skyldes både problem med årstall og manglende informasjon om sted.

[Aase R Sæther - Gloppen]

Tidlegare i dag la eg ein del jobb i å splitte denne frå ein bergensar som også heitte Karl og var fødd på same dato. 

Bergensaren var forresten sett saman av opplysningar eg leita opp sist veke, og då var han ikkje blanda med denne.

 

Som sagt - eg splitta dei før i dag, og når eg no kom tilbake for å sjå om det var meir eg kunne gjere, var dei blitt blanda igjen. Er systemet så hardnakka at det motarbeider mine gode forsøk?

 

https://www.histreg.no/index.php/person/pf01036746004325

[Lars Holden]

12 hours ago, Aase R Sæther - Gloppen said:

Tidlegare i dag la eg ein del jobb i å splitte denne frå ein bergensar som også heitte Karl og var fødd på same dato. 

Bergensaren var forresten sett saman av opplysningar eg leita opp sist veke, og då var han ikkje blanda med denne.

 

Som sagt - eg splitta dei før i dag, og når eg no kom tilbake for å sjå om det var meir eg kunne gjere, var dei blitt blanda igjen. Er systemet så hardnakka at det motarbeider mine gode forsøk?

 

https://www.histreg.no/index.php/person/pf01036746004325

Beklager at slik skjer. Det er ganske sjelden. Det skyldes at innlesning av maskinelt lagde lenker ofte blir avbrutt i innlesningen. Jeg fortsetter dermed innlesningen på nytt fra stedet der det ble avbrutt. Lenker som ble lest inn like før avbruddet i innlesning, vil bli lest inn på nytt.

 

Jeg har lest inn et meget stort antall lenker fra starten av juni. Dette vil jeg avslutte innen en uke. I dag starter jeg på arbeidet med å lete etter feillenkene som den store innlesningen har medført.

[Aase R Sæther - Gloppen]

2 timer siden, Lars Holden skrev:

Beklager at slik skjer. Det er ganske sjelden. Det skyldes at innlesning av maskinelt lagde lenker ofte blir avbrutt i innlesningen. Jeg fortsetter dermed innlesningen på nytt fra stedet der det ble avbrutt. Lenker som ble lest inn like før avbruddet i innlesning, vil bli lest inn på nytt.

 

Jeg har lest inn et meget stort antall lenker fra starten av juni. Dette vil jeg avslutte innen en uke. I dag starter jeg på arbeidet med å lete etter feillenkene som den store innlesningen har medført.

Takk for grei forklaring! Og takk for innsatsen til nytte for oss alle!

[Arkivverket - Kristian Hunskaar]

For noen uker siden var det en del innlegg om hendelsesdatoer. Temaet kom opp i et innlegg av @Arild Maka 27. juli, og det ble også lenket til en tidligere diskusjonstråd åpnet av @Ellen Fakset: 

Det har blitt utført en kodeendring i Digitalarkivet, og full hendelsesdato er nå tilbake i søkeindeksen i de fleste tilfeller, men det er ikke alle kirkebøkene som er oppdaterte i søkeindeksen ennå. Jeg har fått forsikringer om at ei full oppdatering av søkeindeksen pågår, og at det ventelig vil ta ei ukes tid.

 

Et av eksemplene som ble brukt i innleggene, handlet om en Ole Larsen Brovold. I skrivende stund har alle kirkebokpostene i følgende søk, bortsett fra én, full hendelsesdato: https://www.digitalarkivet.no/search/persons/advanced?firstname=Ole&lastname=Larsen+Brovold&sort=ed

 

Jeg forventer at også den siste posten vil ha full hendelsesdato i løpet av ei ukes tid.

 

Et annet eksempel gjaldt en Martinius Knutsen Astad. I dette søket ser vi at den ene posten mangler hendelsesdato: https://www.digitalarkivet.no/search/persons/advanced?from=&to=&firstname=Martinus&lastname=Knutsen+Astad&sort=ed

 

Denne posten (se https://www.digitalarkivet.no/view/327/pv00000007771702) er ufullstendig registrert av AMF; årstallet mangler, og kun datoen "10-31" er registrert. Tidligere ble det nok vist en ufullstendig hendelsesdato, men når årstallet mangler (eller ikke er på formen ÅÅÅÅ), vil det nå ikke vises noen hendelsesdato.

 

Så er det en hel del kirkebokposter som av ulike årsaker kun er registrert med hendelsesår, og ikke med hendelsesdato. Noen ganger dreier seg om ufullstendige transkripsjoner, og noen ganger dreier det seg om at noen konkret dato rett og slett ikke framgår av kirkeboka. Derfor vil det fremdeles dukke opp mange kirkebokposter med kun hendelsesår.

[Arkivverket - Kristian Hunskaar]

På 22.8.2024 den 14.55, Arkivverket - Kristian Hunskaar skrev:

Et annet eksempel gjaldt en Martinius Knutsen Astad. I dette søket ser vi at den ene posten mangler hendelsesdato: https://www.digitalarkivet.no/search/persons/advanced?from=&to=&firstname=Martinus&lastname=Knutsen+Astad&sort=ed

 

Denne posten (se https://www.digitalarkivet.no/view/327/pv00000007771702) er ufullstendig registrert av AMF; årstallet mangler, og kun datoen "10-31" er registrert. Tidligere ble det nok vist en ufullstendig hendelsesdato, men når årstallet mangler (eller ikke er på formen ÅÅÅÅ), vil det nå ikke vises noen hendelsesdato.

 

Her tok jeg feil, for nå vises igjen den ufullstendige hendelsesdatoen "10-31": https://www.digitalarkivet.no/search/persons/advanced?from=&to=&firstname=Martinus&lastname=Knutsen+Astad&sort=ed

 

Det ser nå ut til at alt er oppdatert.

[Hanne Astad]

Er det mulig å utvide tidsrommet man er pålogget? Jeg har spurt før, men tror ikke jeg fikk noe svar på det. 

Midt i en rekke av koblinger fram og tilbake kan man plutselig bli «kasta ut», og da er det ikke alltid man kommer tilbake til den/de sidene man jobbet med. Lett å miste tråden i slike tilfeller, dessverre. 

Endret September 4 av Hanne Astad
presisering

[Hanne Astad]

Og så lurer jeg også på om det er mulig å se på hvorfor ikke årstall kommer opp for noen kirkebøker i søk, enten det er den som spør eller den som svarer som er «syndebukken»: