AI-analyse av tusenvis av offentlige dokumenter

Hvor mye innoveres det egentlig i offentlig sektor – og hvor? Svaret ligger i tusenvis av årsrapporter og tildelingsbrev.

Digitaliseringsdirektoratet fikk tidlig i 2024 i oppdrag fra DFD å utvikle et kunnskapsgrunnlag om innovasjonspraksis i offentlig sektor. I stedet for å sette av flere månedsverk til manuell lesing, kontaktet Digdir oss for å høre hvordan AI kunne brukes på en slik problemstilling. Mulighetene virket lovende, og Digdir lyste ut en konkurranse, som Append vant.

Oppgaven var å analysere tusenvis av offentlige dokumenter for å forstå hvor og hvordan det jobbes med innovasjon. Manuell gjennomgang ville vært svært tidkrevende og umulig å skalere. Digdir trengte en metode som ga både tall og innhold: kvantitativ oversikt på tvers av dokumenter, virksomheter og departementer, og kvalitativ innsikt i hva innovasjonsarbeidet faktisk består i.

Dokumentene ble hentet fra den offentlige dokumentdatabasen Kudos. Opprinnelig tilbød vi å utvikle egne algoritmer for scraping og parsing av PDF-er, men underveis fant vi ut at Kudos' eget API leverte tekst av god nok kvalitet. Vi valgte derfor å bruke API-et, og utvidet heller andre deler av leveransen for pengene.

Kjernen i analysen er en embeddingmodell som gjør tekstavsnitt om til vektorer. Hvert avsnitt sammenlignes med en referansetekst om innovasjon, og får en "innovasjonsfrekvens" – et mål på hvor mye avsnittet handler om innovasjon.

Resultatene ble gjort tilgjengelige på flere måter:

Opplisting av avsnittene med høyest innovasjonsfrekvens, inkludert fargekodede PDF-er som viser hvor i dokumentet innovasjonen omtales.

Aggregering av frekvenser på dokument-, virksomhets- og departementsnivå, slik at nivåene kan sammenlignes.

Oppsummeringer generert med GPT-3.5 og GPT-4 på ulike nivåer.

Diagrammer og grafer som viser trender og mønstre i innovasjonsarbeidet.