Importscript

-- Importscript (Kjører i dag enten som batchfil på server eller manuelt i Hangfire) Dette er scriptet som får cachedata inn i indexdatabasen om de validerer og vi greier å få de inn i "malen".

Dette er forhåpentlig en start på dokumentasjon på hva vi faktisk gjør med dataene i Artskart, før vi gjør de tilgjengelig i portalen. Lista nedenfor er det jeg har fått med seg så langt, men dagens script er den virkelige fasiten.

• Taxonsjekk, dette er den viktigste sjekken. Vi er rimelig enig i verden om hvordan vi skriver de vitenskaplige navnene og har med når og av hvem som bestemte arten.

  • alle to lowercase
  • ligger "author" i samme kolonne som taxonname?
  • ligger author i egen kolonne
  • div spesialtegnsjekk
  • så til slutt for vi treff i Nortaxa på art, author, slekt, familie?

• Hente ut Taxonid fra Nortaxa

  • skriver vitenskaplignavn korrekt (Italic og uppercase start på slekstnavn)
  • skriver author korrekt
  • gir norsk navn
  • samisk navn . nynorsknavn
  • ev. synonymer

• Har objektet geometri

  • hvilket format
  • hvilken projeksjon
  • er det oppgitt presisjon og hvilket format

• Objektet mangler geometri

  • Kjenner vi igjen verdien i "kommune"
  • Kjenner vi igjen verdien i "fylke"
  • masse fiks på gamle og nye fylker og kommuner
  • Ampersand og andre skilletegn
  • om mulig sette til centroid for kjent objekt, presisjon kan baseres på hvilken polygon man ender opp med å bruke.

• Er objektet innenfor området til Artskart?

  • Hvis ikke skal de avslås
  • Hvis de er innafor, mangler de kommune og fylke og kan det legges til?

• Hente rødlistekategori vi taxonid

  • Husk kan være forskjellig kategori på samme art Norge vs Svalbard

• Hente fremmedartrisikokategori vi taxonid

  • Husk kan være forskjellig kategori på samme art Norge vs Svalbard

• Krympe Basis of records, i dag til 11 kategorier

  • Her henter vi alternativer fra RavenDb

• Krympe Behavior

  • Her henter vi alternativer fra RavenDb

• Sjekke om funnet skal tagges som sensitivt

  • Art og funksjon (behavior)
  • Finne rett 4x4, 8x8 eller 16x16 maskeringsrute
  • Ta bort lokalitetsnavn
  • justere på dato
  • ..

• Det gjøres helt sikkert en duplikatsjekk på primærnøkkelen en eller annen plass

• Sjekke med liste, om det er satt noen krav manuelt, feks. utelukke enkelte registreringer

I tillegg til å samle dataene er det her vi tilfører mye verdi inn i datasettet, så dette er sentralt i verdikjeden til Artskart. Jeg nevner noen punkter nedenfor

• Ved å bruke datasett UUID, hente DOI for datasettet via GBIF API

• For fremmedartskategori, sjekke for regionale forskjeller i risikovurdering

• Legge til hva som er landlevende arter, ferskvannsarter, marine arter, ev arter som bruker flere økosystem.

  • Sjekke om de med høy presisjon virkelig ligger i rett økosystem

• Litt usikker på hvordan annotering håndteres i dag, men det bør sjekkes mot annotering ved import til index også, ikke bare i "frontend"