Bruk Historisk befolkningsregister, HBR, histreg.no som felles plattform!

[Lars Holden]

11 hours ago, Ellen Fakset said:

Jeg har gjort meg samme tanker selv.  Er målet å koble sammen flest mulig kildehenvisninger, eller kan kvantitet ofres for kvalitet?

 

Et annet ting: Hvor lenge skal maskinell kobling utføres?  Jeg er etter hvert fristet til å vente til den delen av jobben er ferdig, så kan jeg være med å koble manuelt etterpå.  Som Arild Maka også skriver, ligger det ofte mye jobb bak en antatt ferdig personprofil.  Og å splitte personer kan være enkelt, men blir atskillig tyngre hvis mye er gjort på én eller flere av de "involverte".  For én person er det gjerne dåp, folketellinger, en vielse eller to, en haug med barnefødsler, begravelse - gjerne to i slengen (MINI+KLOK).  Å skulle treffe 100% på hvilke som skal være med, kan fort bli vanskelig.

Beklager er at det skjer feil. Det har blitt lenket mange personforekomster i mars og april og da blir det dessverre noen feil. Det settes strengere og strengere krav til lenkingen for å redusere antall feil. Nå skal det bare lenkes innen en kommune og slik at det ikke blir flere ganger i samme folketelling og selvsagt likhet på navn og fødselsår. Men nå tas det hensyn til kommuner som splittes slik at det lenkes til tidligere kommuner som har overlappende areal. Når det er andre steder i landet eller flere ganger i samme folketellingen, tror jeg dette kommer av at en av de lenkede personene allerede hadde dette. Mitt inntrykk er at feil lenker som kommer fra helt andre deler av landet, ofte med samme fornavn og samme fødseldato, har gått betydelig ned. Det lenkes ikke personer med referanser, men det gjelder veldig få personer.

 

Jeg kan dessverre ikke love at nå sluttes det med maskinell lenking. Det er så mange lenker igjen at vi kan ikke si at resten skal tas manuelt. Av de store folketellingene er det nå lenket 9,1 mill. personforekomster av 13,4 mill. Med så stor andel lenker, endrer lenkingsproblemet for folketellingene seg noe. I større grad må systemet gå opp og nye lenker bidrar til å redusere feil. Dere flere forekomster av to personer er lenket sammen, vil vi raskere oppdagen feilen.

[Arild Maka]

I mange av de profilene som det er feil i er "helt tilfeldige" barn lenket sammen med senere folketellinger. Det kan gjerne være 2-3 barn som er lenket sammen mot en eller flere voksne. Og det finnes ikke noe mellomledd som viser at dette er samme person. Når jeg skal sjekke en slik profil har jeg 3 valg. Enten kan jeg delenke alt som er usikkert, jeg kan finne et mellomledd, gjerne en vielse, som kobler sammen barn og voksen, eller jeg kan slette en forekomst/kilde som gir feil, f. eks. en folketelling, og profilen fremstår som feilfri, selv om nesten alt er feil.

I mange tilfeller er det forskjellig f. dato ifm dåpen og f. dato den voksne personen har i folketellingen den er linket til. Så for meg ser lenkingen ut til å være alt for tilfeldig. Det virker også som en tar en profil med 5-6 kilder og linker sammen med en annen profil, og plutselig er det dobbelt av både dåp, vielse og et par folketellinger. Da hjelper det lite at den kilden en ser på, ser ut til å passe inn i den andre profilen.

Vi må få på plass et sted vi kan krysse av for en profil som er manuelt sjekket og som ikke tas inn i automatisk kobling. For alle profiler som ikke har dette krysset må vi anta at profilen er koblet opp av algoritmer og dermed ikke dobbeltsjekket. Jeg vil tro jeg må inn i 5000 profiler og sette et kryss, men det får så være.

En siste ting som irriterer meg en smule er at det som kobles inn i en profil ser ut til å bli HP. Det gjør det gjerne lett å se hva som er koblet inn. Men det sletter samtidig alt som er lagt inn av tekst på denne profilen. Den nye teksten hentes fra profilen som linkes inn som HP, og det meste annet blir slettet.

[Lars Holden]

8 hours ago, Lars Holden said:

Beklager er at det skjer feil. Det har blitt lenket mange personforekomster i mars og april og da blir det dessverre noen feil. Det settes strengere og strengere krav til lenkingen for å redusere antall feil. Nå skal det bare lenkes innen en kommune og slik at det ikke blir flere ganger i samme folketelling og selvsagt likhet på navn og fødselsår. Men nå tas det hensyn til kommuner som splittes slik at det lenkes til tidligere kommuner som har overlappende areal. Når det er andre steder i landet eller flere ganger i samme folketellingen, tror jeg dette kommer av at en av de lenkede personene allerede hadde dette. Mitt inntrykk er at feil lenker som kommer fra helt andre deler av landet, ofte med samme fornavn og samme fødseldato, har gått betydelig ned. Det lenkes ikke personer med referanser, men det gjelder veldig få personer.

 

Jeg kan dessverre ikke love at nå sluttes det med maskinell lenking. Det er så mange lenker igjen at vi kan ikke si at resten skal tas manuelt. Av de store folketellingene er det nå lenket 9,1 mill. personforekomster av 13,4 mill. Med så stor andel lenker, endrer lenkingsproblemet for folketellingene seg noe. I større grad må systemet gå opp og nye lenker bidrar til å redusere feil. Dere flere forekomster av to personer er lenket sammen, vil vi raskere oppdagen feilen.

Jeg kan legge til:

Antall lenkede personforekomster mellom de store folketellingene har økt fra 8,9 i begynnelsen av mars til 9,1 mill i begynnelsen av april. Så lenkingen nå monner.

Det lenkes ikke personsider med referanser. Det lenkes heller ikke personer som er funnet i alle folketellingene. Her er det imidlertid et unntak hvis algoritmen med en høy terskel mener at det er en feillenking. Da kan programmet lenke til en personforekomst og etterpå splitte. Dette gjelder imidlertid under 1000 personer nasjonalt. Lenker som er markert som sikre, blir ikke splittet. Dette fungerer som to måter å låse en side på, lag referanser eller finn i alle folketellingene.

[Lars Holden]

6 hours ago, Arild Maka said:

I mange av de profilene som det er feil i er "helt tilfeldige" barn lenket sammen med senere folketellinger. Det kan gjerne være 2-3 barn som er lenket sammen mot en eller flere voksne. Og det finnes ikke noe mellomledd som viser at dette er samme person. Når jeg skal sjekke en slik profil har jeg 3 valg. Enten kan jeg delenke alt som er usikkert, jeg kan finne et mellomledd, gjerne en vielse, som kobler sammen barn og voksen, eller jeg kan slette en forekomst/kilde som gir feil, f. eks. en folketelling, og profilen fremstår som feilfri, selv om nesten alt er feil.

I mange tilfeller er det forskjellig f. dato ifm dåpen og f. dato den voksne personen har i folketellingen den er linket til. Så for meg ser lenkingen ut til å være alt for tilfeldig. Det virker også som en tar en profil med 5-6 kilder og linker sammen med en annen profil, og plutselig er det dobbelt av både dåp, vielse og et par folketellinger. Da hjelper det lite at den kilden en ser på, ser ut til å passe inn i den andre profilen.

Vi må få på plass et sted vi kan krysse av for en profil som er manuelt sjekket og som ikke tas inn i automatisk kobling. For alle profiler som ikke har dette krysset må vi anta at profilen er koblet opp av algoritmer og dermed ikke dobbeltsjekket. Jeg vil tro jeg må inn i 5000 profiler og sette et kryss, men det får så være.

En siste ting som irriterer meg en smule er at det som kobles inn i en profil ser ut til å bli HP. Det gjør det gjerne lett å se hva som er koblet inn. Men det sletter samtidig alt som er lagt inn av tekst på denne profilen. Den nye teksten hentes fra profilen som linkes inn som HP, og det meste annet blir slettet.

Jeg anbefaler at man fjerner det man mener er feil. Hver enkelt må vurdere hvor de legger terskelen for hva de mener er feil.

En meget stor andel av de som ikke er lenket nå, har ikke samsvarende fødselsdatoer i ulike kilder. Vi kan dessverre ikke bruke det som forutsetning for lenking. Ofte er det likheter man kan se manuelt som få dager i avvik, ett siffer feil etc.

 

Programmet lenker sammen to personer og har ikke noen mening om hvilken person som lenkes inn i en annen. Men det går an å legge inn at personen med flest PFer beholder HP. Ny person skal beholde tekster fra begge personer og alle referanser. Hvis det ikke har skjedd, vil vi gjerne vite det slik at vi kan sjekke dette.

 

Nå er det i praksis en låsing av sider med referanser eller som er funnet i alle folketellinger. Jo flere folketellinger som er lenket inn, jo sikrere at programmet ikke finner en ny folketelling som skal lenkes inn. Vi skal legge inn en mer direkte måte å låse en side.

[Kari Larsen]

Den sikreste måten å vurdere automatisk lenking på, er vel å sjekke hvor mange ulike foreldrepar en person får/har etter lenkingen? 

 

Når det gjelder merknader som forsvinner, så finner jeg dem gjerne senere, i en annen familiekonstellasjon. Hvis merknaden gjelder en feil avskrift, skriver jeg PFID-referansen i merknaden. 

 

Noe som tar mye tid, er å slette deler av eviglange navnefelt som har dradd med seg mange navn fra historiske tider. Det burde kanskje komme en funksjon som fjerner dublettnavn og i hvert fall navn som overhodet ikke finnes i tilhørende PFID-er?

[Arild Maka]

3 timer siden, Lars Holden skrev:

Jeg kan legge til:

Antall lenkede personforekomster mellom de store folketellingene har økt fra 8,9 i begynnelsen av mars til 9,1 mill i begynnelsen av april. Så lenkingen nå monner.

Det lenkes ikke personsider med referanser. Det lenkes heller ikke personer som er funnet i alle folketellingene. Her er det imidlertid et unntak hvis algoritmen med en høy terskel mener at det er en feillenking. Da kan programmet lenke til en personforekomst og etterpå splitte. Dette gjelder imidlertid under 1000 personer nasjonalt. Lenker som er markert som sikre, blir ikke splittet. Dette fungerer som to måter å låse en side på, lag referanser eller finn i alle folketellingene.

For en person som dør blir det vanskelig å finne personen i alle folketellingene. Jeg har funnet flere eksempler på at døde personer er koblet mot senere folketellinger.

[Lars Holden]

4 hours ago, Kari Larsen said:

Den sikreste måten å vurdere automatisk lenking på, er vel å sjekke hvor mange ulike foreldrepar en person får/har etter lenkingen? 

 

Når det gjelder merknader som forsvinner, så finner jeg dem gjerne senere, i en annen familiekonstellasjon. Hvis merknaden gjelder en feil avskrift, skriver jeg PFID-referansen i merknaden. 

 

Noe som tar mye tid, er å slette deler av eviglange navnefelt som har dradd med seg mange navn fra historiske tider. Det burde kanskje komme en funksjon som fjerner dublettnavn og i hvert fall navn som overhodet ikke finnes i tilhørende PFID-er?

Vi har på arbeidsplanen å gjøre noe med de lange navnene. Men det er hele tiden noe vi må prioritere foran. Vi ser på alle ideer til forbedringer både av lenking og brukergrensesnittet.

[Lars Holden]

3 hours ago, Arild Maka said:

For en person som dør blir det vanskelig å finne personen i alle folketellingene. Jeg har funnet flere eksempler på at døde personer er koblet mot senere folketellinger.

Godt poeng. Har du også sett det for personer som er lenket til begravelser?

[Arne Toftøy-Andersen]

Ser at det er mye feil i patronym.

 

Patronym:

Når far heter Gustav Magnus Tostensen, kan ikke patronymet være Tostensen!

Et patronym eller patronymikon er et avstamningsnavn avledet av farens fornavn. Dette bør det kunne legges inn test på.

[Lars Holden]

2 hours ago, Arne Toftøy-Andersen said:

Ser at det er mye feil i patronym.

 

Patronym:

Når far heter Gustav Magnus Tostensen, kan ikke patronymet være Tostensen!

Et patronym eller patronymikon er et avstamningsnavn avledet av farens fornavn. Dette bør det kunne legges inn test på.

Ja, det ville være mulig. Men vi har dessverre ikke kunnet prioritere dette eller andre ting med navnet.

[Arild Maka]

22 timer siden, Lars Holden skrev:

Godt poeng. Har du også sett det for personer som er lenket til begravelser?

Ja, har løst dem, men kan legge det ut hvis jeg finner flere.

[Arild Maka]

18 timer siden, Arne Toftøy-Andersen skrev:

Ser at det er mye feil i patronym.

 

Patronym:

Når far heter Gustav Magnus Tostensen, kan ikke patronymet være Tostensen!

Et patronym eller patronymikon er et avstamningsnavn avledet av farens fornavn. Dette bør det kunne legges inn test på.

Et patronym er vel i utgangspunktet noe vi som brukere skriver inn selv. Så her kan vi skrive inn hva vi vil. Tror det vil være rimelig vanskelig å lage en algoritme som sjekker om det som blir skrevet inn er et passende patronym.

[Jonny Berg]

På 13.4.2025 den 7.55, Lars Holden skrev:

Jeg anbefaler at man fjerner det man mener er feil. Hver enkelt må vurdere hvor de legger terskelen for hva de mener er feil.

En meget stor andel av de som ikke er lenket nå, har ikke samsvarende fødselsdatoer i ulike kilder. Vi kan dessverre ikke bruke det som forutsetning for lenking. Ofte er det likheter man kan se manuelt som få dager i avvik, ett siffer feil etc.

 

Programmet lenker sammen to personer og har ikke noen mening om hvilken person som lenkes inn i en annen. Men det går an å legge inn at personen med flest PFer beholder HP. Ny person skal beholde tekster fra begge personer og alle referanser. Hvis det ikke har skjedd, vil vi gjerne vite det slik at vi kan sjekke dette.

 

Nå er det i praksis en låsing av sider med referanser eller som er funnet i alle folketellinger. Jo flere folketellinger som er lenket inn, jo sikrere at programmet ikke finner en ny folketelling som skal lenkes inn. Vi skal legge inn en mer direkte måte å låse en side.

Godt å vite at man nå i hovedsak bør forvente å finne ulik fødselsdatoer. 

[Jonny Berg]

På 13.4.2025 den 6.18, Lars Holden skrev:

Jeg kan legge til:

Antall lenkede personforekomster mellom de store folketellingene har økt fra 8,9 i begynnelsen av mars til 9,1 mill i begynnelsen av april. Så lenkingen nå monner.

Det lenkes ikke personsider med referanser. Det lenkes heller ikke personer som er funnet i alle folketellingene. Her er det imidlertid et unntak hvis algoritmen med en høy terskel mener at det er en feillenking. Da kan programmet lenke til en personforekomst og etterpå splitte. Dette gjelder imidlertid under 1000 personer nasjonalt. Lenker som er markert som sikre, blir ikke splittet. Dette fungerer som to måter å låse en side på, lag referanser eller finn i alle folketellingene.

Jeg skjønner at det er et poeng å markere hendelser som sikre. Det blir også en vurdering ift. helheten og tidsbruk. Jeg har gjort det på noen, men det ville tatt "vinter og vår" hvis man skulle gjort det på alle. Er det en stor ulempe?

 

[Jonny Berg]

På 11.4.2025 den 9.05, Kjell Inge Tomren skrev:

Litt flaut å innrømme det, men jeg klarte faktisk å overse at Hans Olsen Otterlei hadde blandet seg inn i den profilen. Jeg har ryddet nå ryddet opp i begge profilene og fått kommentarer og lenke på riktig plass. Takk for hjelpen @Bodil Hørlück Berg

@Kjell Inge TomrenVi som jobber med slike data gjør alle sånne feil - mer eller mindre "hele tiden". Det er ikke flaut, men veldig bra å si akkurat det du sa. 

[Jonny Berg]

Jeg er ikke inne så ofte her på forumet, bl.a. fordi jeg ikke har ikke noe varsling på nye meldinger. Synes det er fint å kunne følge med på diskusjonen og delta litt. Synes også det er på sin plass å berømme Lars Holden og teamet med gode og saklige forklaringer/kommentarer på de problemer som dukker opp. Kanskje ikke alle som er 100 % enige i det, men dette er et fellesprosjekt med stor grad av dugnad. Lars H er selv en stor bidragsyter i dugnaden. Vi er ikke alltid like fornøyde, men de holder seg veldig saklig og ordentlig.   

[Aase R Sæther - Gloppen]

Som før nemnt: Histreg er blitt fyrstevalet mitt når eg skal leite etter personar i område som er ukjende for meg, så med alle sine svakhetar er det ein fantastisk reiskap. Eg prøver å koble saman mykje sjølv når eg er på leiting, men i alle fall i vårt område er det EI kjelde eg sjeldan koblar inn: 1891-tellinga. 

 

Mange stadar står ikkje personane på kvar gard i familievis rekkjefølgje, td her 001 Harald Kristpinussen - 012* Bruland - 002 - Tellingskretsoversikt - Folketelling 1891 for 1447 Innvik herred - Digitalarkivet - korleis taklar systemet dette? Det ser ut som han her er grei på Histreg, men er det systemet eller ein "ryddar" som har gjort det?

Endret Tirsdag 05:47 av Aase R Sæther - Gloppen

[Lars Holden]

Her må det være noen som har ryddet. Jeg har ikke sett noe så ille før. Jeg klarer ikke å tolke familieforholdene ut fra denne listen. Tror man må bruke kirkebøker for å klare dette. Hvis man stoler på patronymikon og at foreldrene er tilstede, kan man gjette på noen av barna, men vanskelig å være sikker.

 

Histreg klarer bare når det  står i rekkefølge far, mor og barn. I tillegg vil den som oftest klare roller av typen fars mor, moder, sønnekone, hans barn, barn til nummer 5 og lignende. Når histreg tolker familieforhold i folketellinger, vil alle bidragsytere kunne rette opp. For familieforhold i kirkebøker er dette ikke mulig.

 

En fordel med histreg er at det ofte er noen som gjør denne jobben slik at vi andre slipper.

[Aase R Sæther - Gloppen]

4 timer siden, Lars Holden skrev:

Her må det være noen som har ryddet. Jeg har ikke sett noe så ille før.

Dessverre er dette standard 1891 svært mange stader eg har vore borti.