stordata

Datamaterialet som benyttes i stordataanalyse kan være samlet inn langt tilbake i tid fra mange forskjellige kilder, og gjerne til helt andre formål enn det man oppdager under analysen. Mye stordataanalyse er i utgangspunktet gjenbruk av data. Dette kan bidra til verdifull innsikt, men stiller også høye krav til forsvarlig håndtering av dataene, bevissthet hos dem som avgir data og lovverk som regulerer virksomheten.

Datatilsynet i Norge har blant annet ansvar for å ivareta personvern i forbindelse med stordata. Et nytt begrep her er såkalt Big Data Governance, som handler om å sikre at personlig identifiserbar informasjon er pålitelig, beskyttet og klar til bruk.

Stordata kan også være «store» i den forstand at de danner premissene for selve analyseprosessen. Ofte er datamaterialet så uoversiktlig at vi verken vet hva vi kan finne eller hvor vi skal lete. Da kan vi bruke kunstig intelligens, for eksempel nevrale nettverk, samt ulike visualiseringsteknikker for å betrakte dataene på forskjellige måter. Datamaterialet blir da et slags landskap hvor vi kan lete oss frem ved hjelp av egen erfaring og intuisjon.

Det å håndtere slike store datasett kan være svært ressurskrevende. Blant annet må man ha tilgang på utstyr og programvare som sikrer tilstrekkelig datakvalitet. Man må også disponere tilstrekkelig transport- og lagringskapasitet samt regnekraft for å kunne bearbeide og analysere dataene. Utbygging og utvikling av slike ressurser kan være både kostnadskrevende og teknologisk utfordrende.

Men selv om datamengdene er sterkt økende, gjør større firma som Amazon, Google og Facebook dette i dag i stor stil og ofte selger resultatene videre til annonsører og andre firma, som dermed får tilgang til relevante brukerdata.