Fra SSB til SVG

I denne posten viser jeg hvordan du lager et fargerikt kart, som fargelegges med data fra data.ssb.no.

jupyter bare dukket opp. Jeg brukte Ipython tidligere, og har hatt et øye på utviklingen, men plutselig ble det like naturlig å skrive python i jupyter som noe annet sted. Hovedgrunnen tror jeg er fordi det er så interaktivt. Hver celle kan evalueres. Det er lett å «flytte ballen» framover, ved å sjekke at alt fungerer opp til punktet jeg jobber nå, og eksperimentere derfra. Det låner seg god til eksperimentell analyse, men også til å lære kode.

En annen ting jupyter gjør elegant er å vise fram datastrukturene. Pandas kanskje mer enn alt annet. Bilde under viser toppen av en dataframe, som hentet fram med df.head()

pandas dataframe i jupyter
pandas dataframe i jupyter

Andre strukturer er ikke like elegant, men som open source programvare, er det bare å utvide der du trenger. Det er det noen som har gjort med geografi. Jeg snubla over dette lille rammeverket chorogrid, som lager SVG-kart over USA, som kan farges av data du trenger å se som bilde. Canada og Europa-kartet kan chorogrid også tegne. Den kan gjøre statene om til firkanter, og heksagoner også. Dette er nyttig når areal og avstand ikke er viktig.

Chorogrid eksempler
Chorogrid eksempler

Så jeg brukte (alt for mye) tid på å legge til Norge i Chorogrid. Knota masse rundt og lærte nye ting (f.eks. måtte jeg legge til støtte for viewBox i SVG, som var tungt). Jeg fant ingen elegant måte å legge lat/long over i en grid som ser ut som Norgeskartet, selv om dette sikkert finnes. Jeg løste det ved å gjøre hver kommune om til en firkant, og deretter sortere de fra øst til vest og nord til sør. Så manuelt bygge opp noe som likner på Norge. Dermed ligger kommunene bare omtrent der de skal være, ikke perfekt. Gi meg en lyd om dette er noe du ønsker å fikse, så kan jeg peke. Versjonen som er ute nå har 426 kommuner, som er riktig antall kommuner just nå. Det sagt, så måtte jeg justere inn litt da det originale Norgeskartet som jeg bruker er fra wikipedia, og det hadde de 429 kommunene vi hadde for kun kort tid siden..

Inn og utflytting i kommune-Norge 2017K1.
Inn og utflytting i kommune-Norge 2017K1.

SSB på kartet

Bildet over viser et utsnitt av et kart der jeg henter data fra SSB (inn og utflytting av Norske kommuner første kvartal 2017), lager en metric for flytting gitt innbyggertall, slik at Oslo og Utsira (størst og minst i folketall) blir sammenliknbare, og plotter på firkant-Norgeskartet. Du finner en jupyter notatbok med hele leksa her.

Det er snart valg, da kan vi fargelegge med velgresultater :)
Det er snart kommunereform, da må hele kartet lages på nytt :/

Gamestorming – eller kunsten å planlegge kreativitet

I design forskning har vi en klassisk modell for iterativ prototyping ofte bare omtalt som «Hevner et al» (2004), etter forfatter’n. Det store prosjektet i paperet er å vise hvordan et rigid rammeverk kan tillate design som metode for å produsere ny scienc-y science. Den modellen er i stor grad akseptert, også inn i de mer naturvitenskapelige endene av informatikken. Det er på mange måter et viktig paper, selv om det bare er et av flere som bygger bro mellom analytiske (ta ting fra hverandre) og syntetiske (sette sammen, eller lage ting) metoder, fordi det er en anerkjennelse av «designerly ways of knowing» – design er ikke bare det å lage ting, det er en måte å forstå og å utforske verden på. En vei til viten.

Design thinking.
I den mer hum-sam rettede enden av informatikken fikk vi en tid tilbake en ny modell for å lage ting (syntetisk-analytisk), som har alle egenskapene som trengs for å få fart. Buzz! Den kommer med fargerik grafikk, den er fra silicon valley og brukes på Stanford, og den kan appliseres på all verdens problemer: design thinking.

Design thinking prosess

Design thinking er et mye rikere felt enn jeg har tenkt å framstille det som nå, men min reise i litteraturen rundt design thinking fant jeg mye optimisme og rike formuleringer, men som er vanskelig å overføre til praktisk arbeid. Design thinking er en veldig sentrert rundt empati, evnen til å se verden fra andres perspektiv. Dette gjør at det passer fint inn mot den skandinaviske modellen for programvareutvikling, der typisk veldig mange ulike roller forsøkes involvert i utviklingen (ikke bare «brukere», men også fagforeninger, drift, kunder, ulike ansatte, osv., skal ha et ord i laget når arbeid blir pakket inn i kode). Tilbake til vanskelig design thinking: Særlig fant jeg momentet «ideate» (ideering, eller idé-generering/raffinering/produksjon) vrient. Hvordan planlegger man spontanitet, kreativitet og produksjon av nye ideer? Helt konkret takk. Nå. Jeg fant aldri noen tilfredsstillende samling teknikker, øvelser eller framgangsmåter for dette da jeg leste meg opp på feltet, og det har bare gnagd i bakgrunnen siden.

Gamestorming.
Ved en tilfeldighet snubla jeg over en bok som i praksis er just det jeg ikke fant i design thinking verden. En samling teknikker for ideering. Tittelen er nødvendigvis et spill på brainstorming, og tilfører elementer fra spill (gamification) uten å egentlig gjøre prosessen om til et spill. Forfatterne Dave, Sunni & James bruker heller spill-elementene til å forklare hvordan teknikkene er bygget opp av elementer vi også finner i spill. De første 50 sidene av boken forklarer dette på en ypperlig måte, holder seg deilig faktuell og analytisk.

Gamestorming skrytevideo.

Asbjørnsen & Moe.
De neste 200 sidene er rett og slett en samling ideeringsteknikker. Dave, Sunni & James har brukt Brødrene Grimm som forbilde og samlet inn teknikker slik Grimm gjorde med folkeeventyr. Her hjemme ville vi sikkert heller brukt Asbjørnsen og Moe som forbilde. Resultatet er det samme. Et lesestykke, eller kanskje snarere et oppslagsverk, med teknikker for å generere ideer, for å utforske ideer og for å snevre inn ideer. Enkelte av disse er kjent for de fleste, brainstorming, dot voting, story boards, etc. Men her er mange, og du finner helt sikkert noe her du ikke har sett før. Og teknikkene kommer med opphav hvis det finnes noe kjent opphav. Disse teknikkene kommer fra slike bedrifter som folk ønsker å kopiere. Det er teknikkene som har overlevd crash-kurs på konferansehotell, det er teknikker som har vist seg å være nyttige nok til at de overlevde den orale fasen i bedriftene og nå er skrevet ned i samling.

Nå gleder jeg meg til jeg finner et problem som dette kan testes på. Kanskje gamestorming kan løse design-thinking-floken min, og gjøre det litt mer praktisk ved å levere et variert utvalg teknikker. Det var i alle fall befriende å finne denne boken, nå har jeg et sted å slå opp ved behov.

Jeg er også litt nysgjerrig på i hvor stor grad denne typen teknikker er i bruk ute i verden. I design-avdelinger, hippe it-startups og utdannings- og forskningsinstitusjoner joa, men gjør de det sånn i DnB, Statoil eller Kiwi? Tegner menn i dress på whiteboard full av post-its på Stortinget? Min magefølelse er at de ikke gjør det, men at det antagelig hadde hatt noe for seg om teknikkene fra design-verden traff flere aktører i samfunnet. Å skape er å eksponere seg selv, så det er ikke rart at gamestorming ikke er en bestselger hos Narvesen, men det er litt rart at teknikker for å løse vanskelige problemer i fellesskap ikke er mer framtredende enn de er. Verden er jo full av vanskelige problemer som kan løses.

Slik setter du kartverkets kart bak openstreetmaps

Vi som er opptatt av åpne data ender tidvis om å snakke om kartverket. Det er ikke alltid (særlig noen år tilbake) at kartverket får de peneste adjektivene, men i dag skal jeg trekke fram noe fint.

I openstreetmap (osm) er det fortsatt mye av Norge som ikke er kartlagt fullt ut. Kart er også levende dokumenter, i alle fall de som kan endre seg slik som openstreetmap, så det trengs stadig noen rettelser. Når slike rettelser er vanskelige å tracke med GPS eller tegne for hånd, har openstreetmap et sett med bakgrunner du kan legge bak det du lager i kartet, f.eks. flyfoto.

For Norge er ikke alltid disse flyfotoene og alternativene til osm like gode. Lav oppløsning. Skyer. Uvær. Motgang. Men her kommer altså statkart inn og gir en hjelpende hånd. Ved å velge «custom» og så «edit custom background», kan du lime inn en URL til statkart.no sine kart, og ha disse bak det du mapper. Det er nyttig, presist og gjør at kartverkets proffe data kan komme til nytte i mange andre kontekster.

Her er URL’n du trenger:
http://opencache.statkart.no/gatekeeper/gk/gk.open_gmaps?layers=norges_grunnkart&zoom={zoom}&x={x}&y={y}

Jeg har ikke funnet noen liste over hvilke kart som funker (fant dog valgene til Anders Eriksens her, og at tjenestenavnene herfra (uten «wsm.» forran) ser ut til å funke), det er altså parametre som heter ‘layers=’ der jeg har brukt norges_grunnkart i eksemplet over.

Risør i openstreetmap redigeringsmodus
Risør sentrum i openstreetmaps redigeringsmodus. Legg merke til gråe bygg, de er fra statkart, mens de røde er mappede polygoner som blir til bygninger i openstreetmap. Når noen velger å mappe dem da..

Dette er sikkert et kjent knep for ivrige OSM-brukere, men det var nytt for meg. Om du vet hvor jeg kan finne den fulle listen med tjenestenavn som funker, eller andre nyttige knep for en fersk kartmaker, legg gjerne igjen en kommentar under.

Isn’t is nice to have a computer that will talk to you?

OSX har en talesyntese som er morsom kanskje mer enn nyttig. Det er uansett et spennende område der naturlig språk møter teknologi, og jeg ville gjerne teste alle stemmene i OSX for å finne den som kanskje kan brukes i et prosjekt. Her er scriptet fra min lille test:

Kommunelån

I en samtale nylig dukket Bergen kommunes økning i lån opp. At det er normen for kommuner i ha gjeld er for meg betenkelig (låner folkevelgte penger for å gi oss mer enn vi gir dem i skatter? Det høres ut som noe som burde være et sjeldent unntak..).

I bakhodet hadde jeg også en faktoide om at små kommuner med kraftverk ofte var rike. Da jeg liker tall som grafikk best knota jeg tallene fra «hva-skylder-kommunen-din» (tallene er fra 2008, så altså slettes ikke ny lenger) og plotta dem på kartet med fusion tables:


Grønn er bra, rød er dårlig. Alt unntatt de store grønne ikonene har gjeld.

Det viser seg at kommuner flest har (hadde) gjeld (noen av dem MYE).