Gå til innhold
Arkivverket

Bruk Historisk befolkningsregister, HBR, histreg.no som felles plattform!


Kjell Inge Tomren

Recommended Posts

18 hours ago, Lars Holden said:

Vi tar med oss de rådene vi får. Det er Arkivverket som drifter histreg og Digitalarkivet. De har mye kompetanse på området. Digitalarkivet har vant til å håndtere stor trafikk. Men det er et krevende områder der det jevnlig kommer nye utfordringer. 

Nå har vi laget en plan for hvordan dette skal håndteres. På kort slikt skal Arkivverket øke kapasiteten noe. Vi skal også gjøre noen endringer i histreg, bl.a. at søkemotorer ikke indekserer personsider og at histreg-koden blir mer robust i de tilfellene API-kallet til Digitalarkivet blir overbelastet. Disse programendringene vil tidligst ha effekt i slutten av neste uke. I mellomtiden får vi håpe at kapasitetsøkningen reduserer problemet.

 

Jeg er redd for at det jevnlig vil oppstå slike problemstillinger. Histreg-databasen blir mer og mer verdifull og kjent, og utviklingen innen søkemotorer og KI, vil trolig jevnlig gi oss nye utfordringer. 

  • Liker 7
Lenke til kommentar
Del på andre sider

Nå gå det uten problemer, etter det jeg kan se! Takk for rask handling!

Lenke til kommentar
Del på andre sider

30 minutes ago, Arne Toftøy-Andersen said:

Nå gå det uten problemer, etter det jeg kan se! Takk for rask handling!

Det stemmer at vi innførte de første tiltakene for et par timer siden. Det kommer flere tiltak i løpet av denne og neste uke. Et av tiltakene var å stenge uten en IP-adresse som er kjent for å være skadelig. 

  • Liker 1
  • Takk 2
Lenke til kommentar
Del på andre sider

Jeg finner nå ganske ofte personprofiler av kvinner som består av dåp, kanskje folketellinger 1900, 1910 og 1920, kanskje konfirmasjon og så dødsfall der fornavnet er det samme, men etternavnet et annet enn pikenavnet. Det er så mange at jeg antar at algoritmer har blitt brukt. Hvis min antagelse stemmer, er det mulig å få vite om «matchen» bare er på grunnlag av fornavn og fødselsdato eller om det det finnes noen tilleggsopplysninger som gir koblingen?
Og for ordens skyld: Min manuelle prosedyre for å gjøre tilsvarende kobling er å søke på fornavn og fødselsdato og så sjekke om pikenavnet er nevnt i dødsannonsen. 

Lenke til kommentar
Del på andre sider

1 hour ago, Kjell Inge Tomren said:

Jeg finner nå ganske ofte personprofiler av kvinner som består av dåp, kanskje folketellinger 1900, 1910 og 1920, kanskje konfirmasjon og så dødsfall der fornavnet er det samme, men etternavnet et annet enn pikenavnet. Det er så mange at jeg antar at algoritmer har blitt brukt. Hvis min antagelse stemmer, er det mulig å få vite om «matchen» bare er på grunnlag av fornavn og fødselsdato eller om det det finnes noen tilleggsopplysninger som gir koblingen?
Og for ordens skyld: Min manuelle prosedyre for å gjøre tilsvarende kobling er å søke på fornavn og fødselsdato og så sjekke om pikenavnet er nevnt i dødsannonsen. 

Jeg har også sett en del slike personer. Det kan være et resultat av en algoritme jeg brukte for en god stund siden. Vurderingen da var at fødselsdato, sjeldent fornavn (ofte uvanlig dobbeltnavn) og størrelsen på området, var tilstrekkelig for å lenke. Etter hvert så jeg at vurderingen av sjeldent fornavn og størrelse på området ikke var god nok og stoppet å bruke algoritmen. Samtidig er dette en feillenking som sjelden oppdages maskinelt. Det avhenger i stor grad at man finner det riktige dødsfallet og dataene her gjør at man er sikker på hvilket dødsfall som er riktig. 

Lenke til kommentar
Del på andre sider

53 minutter siden, Lars Holden skrev:

Etter hvert så jeg at vurderingen av sjeldent fornavn og størrelse på området ikke var god nok og stoppet å bruke algoritmen. 

Så da er disse ikke sikre, men bør sjekkes manuelt og merkes som sikre hvis de f.eks kan bekreftes av dødsannonse. Fjernes hvis de blir avkreftet. 

  • Liker 1
Lenke til kommentar
Del på andre sider

4 minutter siden, Kjell Inge Tomren skrev:

Så da er disse ikke sikre, men bør sjekkes manuelt og merkes som sikre hvis de f.eks kan bekreftes av dødsannonse. Fjernes hvis de blir avkreftet. 

Jeg har løsnet ganske mange dødsfall som ikke hører til resten av profilen. Skal ofte bare et enkelt søkt til for å finne ut at det er feil, mens det gjerne må litt mer sjekk til for å få på plass det riktige.

  • Liker 1
Lenke til kommentar
Del på andre sider

3 hours ago, Kjell Inge Tomren said:

Så da er disse ikke sikre, men bør sjekkes manuelt og merkes som sikre hvis de f.eks kan bekreftes av dødsannonse. Fjernes hvis de blir avkreftet. 

enig

Lenke til kommentar
Del på andre sider

På 18.10.2025 den 16.16, Kjell Inge Tomren skrev:

Jeg finner nå ganske ofte personprofiler av kvinner som består av dåp, kanskje folketellinger 1900, 1910 og 1920, kanskje konfirmasjon og så dødsfall der fornavnet er det samme, men etternavnet et annet enn pikenavnet. Det er så mange at jeg antar at algoritmer har blitt brukt. Hvis min antagelse stemmer, er det mulig å få vite om «matchen» bare er på grunnlag av fornavn og fødselsdato eller om det det finnes noen tilleggsopplysninger som gir koblingen?
Og for ordens skyld: Min manuelle prosedyre for å gjøre tilsvarende kobling er å søke på fornavn og fødselsdato og så sjekke om pikenavnet er nevnt i dødsannonsen. 

Det er relativt sjelden at pikenavn står i dødsannonsen. Jeg har løst mer eller mindre alle slik med å finne lysningen/bryllupet i aviser. Har nå klart å finne alle født 1915-1920 i FT 1920 for min kommune. Går snart løs på 1914.

  • Liker 1
  • Takk 1
Lenke til kommentar
Del på andre sider

Er det gjort noen endringer i søket?

 

Når jeg nå gjør et litt åpent søk, så får jeg ingen resultater, kun opp et tomt søkevindu. Det virket fint i går.

 

F. eks. får jeg det hvis jeg søker etter alle født i et bestemt år i en folketelling (uten å angi navn).

Lenke til kommentar
Del på andre sider

2 minutter siden, Arild Maka skrev:

Er det gjort noen endringer i søket?

 

Når jeg nå gjør et litt åpent søk, så får jeg ingen resultater, kun opp et tomt søkevindu. Det virket fint i går.

 

F. eks. får jeg det hvis jeg søker etter alle født i et bestemt år i en folketelling (uten å angi navn).

Ser ut til at det virker fint hvis jeg legger inn * i navnefeltene. Men ser ikke helt hensikten med denne endringen. Og hvis slike radikale endringer skal gjøres, så hadde det vært fint med litt informasjon.

Lenke til kommentar
Del på andre sider

1 hour ago, Arild Maka said:

Ser ut til at det virker fint hvis jeg legger inn * i navnefeltene. Men ser ikke helt hensikten med denne endringen. Og hvis slike radikale endringer skal gjøres, så hadde det vært fint med litt informasjon.

Ja, det er endret slik at søk bare med fødselsår ikke lengre virker. Det er ledd i redusere belastningen på histreg fra søkemotorer. Vi så mange slike søk og antok dette var fra roboter. Jeg ser at det gir mening innen en liten kommune. Så lenge manuelle brukere skjønner at de kan legge inn * i et navnefelt, antar jeg at dette fungerer for manuelle brukere. 

 

Det kommer flere begrensninger etter hvert. Så får dere si fra om det skaper problemer.  

  • Liker 1
  • Takk 1
Lenke til kommentar
Del på andre sider

Et par ting til med det samme:

1. Det virker som om nyere emigrantprotokoller ikke gir resultater ved søk. Kan disse legges inn, eller er det en grunn til at de ikke skal gi treff?

Tar med ett eksempel: Søk etter "Solveig", Emigrasjon og år 1936-1936. Søket gir null treff. Dette selv om hun ligger inne som emigrert: https://histreg.no/index.php/person/pd00000020489359

 

2. Flere har nevnt at Vielse - Brud gir treffe på alle kategorier (barn, mor, brud osv). For å få frem kun vielser må en inn i søkestrengen og endre "brud" til "brur" manuelt etter søket. Det bør være en enkel sak å få endret dette i søkestrengen som ligger inne i programmet "&rolle%5B%5D=brud" til "&rolle%5B%5D=brur".

Lenke til kommentar
Del på andre sider

Grunnen til manglende treff i emigrantprotokoller tror jeg skyldes at Digitalarkivet ikke har indeksert dette. 


Grunnen feil med vielse er en bug i histreg. Den er rapportert før, men vi har ikke fått prioritert dette. Selv om det antagelig bare er noen få tegn som skal endres i koden, tar det litt tid å finne riktig sted, finne hva det skal endres til og utføre nødvendige tester.

 

For øyeblikket arbeider vi med å håndtere den store belastningen på systemet og familier.  

  • Takk 1
Lenke til kommentar
Del på andre sider

4 timer siden, Arild Maka skrev:

1. Det virker som om nyere emigrantprotokoller ikke gir resultater ved søk. Kan disse legges inn, eller er det en grunn til at de ikke skal gi treff?

Tar med ett eksempel: Søk etter "Solveig", Emigrasjon og år 1936-1936. Søket gir null treff. Dette selv om hun ligger inne som emigrert: https://histreg.no/index.php/person/pd00000020489359

 

4 timer siden, Lars Holden skrev:

Grunnen til manglende treff i emigrantprotokoller tror jeg skyldes at Digitalarkivet ikke har indeksert dette.

 

Emigrantprotokollene er indeksert i Digitalarkivet og de er søkbare i Histreg, men ikke på alle måter.

 

1867-emigranten Peder Pedersen Kirkeby (her i Digitalarkivet: https://www.digitalarkivet.no/view/557/pe00000000000001) får jeg treff på i Histreg ved å søke på fornavn = Peder, etternavn = Kirkeby og tidsperiode 1867-1867: https://histreg.no/index.php/searchresults?name=Peder&surname=Kirkeby&kjonn=&birthyearfrom=&birthyearto=&birthdate=&birthplace=&place=&job=&searchresults=&fra=1867&til=1867

 

Men dersom jeg i tillegg avgrenser søket til hendelsestypen emigrasjon, får jeg 0 treff: https://histreg.no/index.php/searchresults?name=Peder&surname=Kirkeby&kjonn=&birthyearfrom=&birthyearto=&birthdate=&birthplace=&place=&job=&searchresults=&em=on&fra=1867&til=1867

 

Jeg tipper at hendelsestypen emigrasjon er hardkodet til å søke i bestemte kildetyper, og at kildetypen Emigrantprotokoll med kildetypekoden EMPR ikke er blant disse. Denne kildetypen og kildetypekoden ble innført i Digitalarkivet i 2024(?), da arbeidet med å oppgradere emigrant-persondataene startet. Det kan godt være at utviklerne av Histreg ikke har blitt gjort oppmerksomme på dette fra Arkivverkets side, men jeg vil likefullt tro at det er programkoden til søkefunksjonen i Histreg som trenger en liten oppdatering her.

 

Skjermbilde 2025-10-21 kl. 18.55.40.png

Lenke til kommentar
Del på andre sider

52 minutes ago, Arkivverket - Kristian Hunskaar said:

 

 

Emigrantprotokollene er indeksert i Digitalarkivet og de er søkbare i Histreg, men ikke på alle måter.

 

1867-emigranten Peder Pedersen Kirkeby (her i Digitalarkivet: https://www.digitalarkivet.no/view/557/pe00000000000001) får jeg treff på i Histreg ved å søke på fornavn = Peder, etternavn = Kirkeby og tidsperiode 1867-1867: https://histreg.no/index.php/searchresults?name=Peder&surname=Kirkeby&kjonn=&birthyearfrom=&birthyearto=&birthdate=&birthplace=&place=&job=&searchresults=&fra=1867&til=1867

 

Men dersom jeg i tillegg avgrenser søket til hendelsestypen emigrasjon, får jeg 0 treff: https://histreg.no/index.php/searchresults?name=Peder&surname=Kirkeby&kjonn=&birthyearfrom=&birthyearto=&birthdate=&birthplace=&place=&job=&searchresults=&em=on&fra=1867&til=1867

 

Jeg tipper at hendelsestypen emigrasjon er hardkodet til å søke i bestemte kildetyper, og at kildetypen Emigrantprotokoll med kildetypekoden EMPR ikke er blant disse. Denne kildetypen og kildetypekoden ble innført i Digitalarkivet i 2024(?), da arbeidet med å oppgradere emigrant-persondataene startet. Det kan godt være at utviklerne av Histreg ikke har blitt gjort oppmerksomme på dette fra Arkivverkets side, men jeg vil likefullt tro at det er programkoden til søkefunksjonen i Histreg som trenger en liten oppdatering her.

 

Skjermbilde 2025-10-21 kl. 18.55.40.png

Dette var nytt for meg. Da skal vi endre dette i histreg koden. Det er imidlertid andre ting som må gjøres først.

 

Arkivverket skal snart ferdigstille en ny gjennomgang av emigrantmaterialet. Når det er ferdigstilt, skal vi forsøke å arbeide mer med denne kilden. Vi er også i dialog med noen amerikanske miljøer og håper å etablere en metode for å lenke nordmenn som emigrerte til amerikanske kilder. Ofte er det så lite informasjon i emigrantprotokollene at det er vanskelig å etablere en sikker lenke

Lenke til kommentar
Del på andre sider

Logg inn for å kommentere

Du vil kunne skrive en kommentar etter at du logger inn



Logg inn nå
  • Hvem er aktive   1 medlem

    • Ketil Firing Hanssen
×
×
  • Opprett ny...

Viktig Informasjon

Arkivverket bruker cookies (informasjonskapsler) på sine nettsider for å levere en bedre tjeneste. De brukes til bl.a. skjemaoppdateringer og innlogging. Bruk siden som normalt, eller lukk informasjonsboksen for å akseptere bruk av cookies.