Category Archives: Geomatikk

10 Open-Source Projects Every JavaScript Geo Dev Should Know About

That is not tied to a proprietary platform

An article flew by in my Twitter stream, with the title “10 Open-Source Projects Every #JavaScript Geo Dev Should Know About”. As I consider myself a Javascript Geo Dev i thought that there might be som OpenSource gems I’ve missed and clicked the link. The link brought me to esri.com and what I was presented with was this article, listing 10 open source javascripts projects that I’ve never heard of.

Why? Most of them (or all, no links, and I can’t bother to google them all) are ESRIs own libraries, and although OpenSource they are tied to the ESRI platform. In fact, from what I understand, 4 or 5 of them are directly tied to ArcGIS Online.

This made me feel a bit tricked. Not that there are anything wrong with ESRI releasing OpenSource code, but where there is an implicit requirement that you use their paid services, what is the use for others?

But, instead of complaining I’ll present a list of my own, that should be of a wider use to all Javascript Geo devs (although I’m rather certain that most of you’ve heard about most of them already!)

1. OpenLayers 3

We all know OpenLayers 2 (don’t we?) and most of you probably know that the brand new OpenLayers 3 is in the making (beta 4 now!). Lots of features, a complete rewrite and heavy use of the Closure compiler.

2. Leaflet

The web-friendly, lightweight, hipster no-frills mapping library that excels in beeing un-bloated and easy to use. Just try it, seriously!

3. Proj4js

A JavaScript port of proj.4, meaning that you can do all your coordinate re-projections right in the browser!

4. jsts

A JavaScript port of JTS Topology Suite, a library of spatial predicates and functions for processing geometry objects. It works, but is a rather straight Java-port, which leads me to the next entry:

5. Njord.js

Njord.js is a vanilla JS, client side lib for lightweight geoprocessing, envisioned to compete with jsts and heavily inspired by Shapely. It’s written by yours truly and is under development.

6. D3

A JavaScript visualization library for HTML and SVG. I personally know next to nothing about it and haven’t used it, but if you need to add some visualisations to your map app D3 seems to be the way to go.

7. Three.js

Three.js simplifies the task of working with WebGL from Javascript. We all know that 3d is the future, so why not start learning it. If you don’t think that mapping and 3d can be united, take a look at this lib.

8. KuGIS

KuGIS is a browser-driven GIS-application with support for a lot of spatial analysis. Driven by Leaflet and JSTS. Really shows what you can do in the browser these days.

9. Bootleaf

Although I haven’t used it myself I’ve heard some good things about this lib, actually just a “simple, responsive template for building web mapping applications with Bootstrap 3, Leaflet and typeahead.js”.

10. SpatialBB

Also written by yours truly, SpatialBB (or “spatially enabeled Backbone”) is an attempt to merge the MVC-capabilities of Backbone.js with the spatial capabilities of Leaflet. Also a work in (some state of) progress, but I kinda like the idea.

So, that was my list. What did I forget? Are there any gems that’s useful? Please point me in their direction!

Innovation at gunpoint

..eller hvorfor vi ikke ser resultater av Kartverkets datafrislipp (enda).

Norge Digitalt Teknologiforum sa Thomas Nordtvedt fra FAD følgende:

“nå er det en måned siden Kartverket slapp gratisdata, hvor er resultatene?” [fritt etter hukommelsen]

Jeg reagerte litt på dette og har i ettertid tenkt endel på det. For, hvorfor er det ikke sånn at nye, innovative tjenester og løsninger basert på de (nå frigjorte) kartdataene har poppet opp? Hvorfor ser vi ikke resultater? Her har de offentlige spyttet flerfoldige millioner [citation needed] i å frigjøre en rekke kartdata og så får vi ingen resultater? Fy og skam!

Vel, jeg mener det er en rekke årsaker til dette. De to viktigste er

  1. Tid
  2. Kunnskap

Tid
For å ta den første først: en måned (eller to) er ikke mye tid til å komme opp med en ny ide, lage planer, programmere og lansere. Det å lansere nye tjenester tar ofte endel tid, både når det gjelder å komme opp med faktiske ideer og ikke minst faktisk utvikle den. Hvis tanken er at “hobbynerder” skal komme opp med nye apper, websider og løsninger må man tenke på at disse (som regel?) har en “vanlig” jobb og (mer eller mindre) et sosialt liv. Dermed blir det kanskje et par-tre kvelder i uka man får satt av til hobbyprosjekter. Dette blir i sum kanskje 50-60 timer siden frislippet, som jeg av erfaring kan si at ikke er mye tid til å komme opp med og lage noe nytt på.

Når det gjelder etablerte programvarehus, konsulentselskaper og andre aktører høres jo 1-2 måneder mye ut. Dog, realiteten er at de som allerede er inne i markedet nok har tatt gratisdataene i bruk allerede (det sa vel Sverre Wisløff fra Norkart på Teknologiforum), men de nye løsningene har ikke kommet enda. Det de har gjort er å slutte å betale for dataene de allerede bruker (fordi de nå er gratis). WebAtlas fra Norkart er et god eksempel her. Når det gjelder andre aktører er det ikke slik at det til enhver tid sitter ledige utviklere klare til å hive seg over nye muligheter, det er en treghet i markedet, folk sitter på prosjekter og man må allokere tid for å gå i gang med noe nytt. Ellers gjelder nok en del av det jeg skriver under om kunnskap her også.

Kunnskap
Det andre punktet, kunnskap, er mangedelt. Først har vi kunnskapen om at dataene faktisk er tilgjngelige. Ja, det har vært noe medieoppslag og noe blæst rundt det, men jeg tror ikke den jevne hobbynerd har fått med seg så mye om frislippet. Et Google-søk på “gratis kartdata” gir riktignok Kartverkets nedlastingsside som første treff. Dog, det spørsmålet man må stille seg er hvem som finner på å søke etter “gratis kartdata”? Bruker ikke de fleste Google Maps uansett? OpenStreetMap? Her finnes bibliotekene, APIene og tutorialene. Det finnes svært få steder der en som ikke har filla snøring på norske kartdata (det være seg formater, konvensjoner, koordinatsystemer og andre særegenheter) kan lære seg å bruke disse dataene (hvis det finnes, si gjerne ifra!).

Dermed er det et tre-delt kunnskaps-problem: 1) folk vet ikke at dataene er der, 2) folk vet ikke hvordan de skal ta dataene i bruk (enten er det SOSI-filer, eller så er det kjempesvære geojson-filer som kræsjer en 3 år gammel laptop (min!). 3) folk vet ikke hva de kan gjøre med disse dataene, fordi de ikke har hatt mulighet til å leke med dem før.

Så. Det å slippe dataene sine fri og etter 1-2 måneder klage på at det ikke har, opp av det blå, dukket opp noen nye, innovative løsninger som forsvarer investeringen et slikt frislipp er, det er naivt. Ting Tar Tid, også i en verden med super-agile utviklere (etter “Petter Smarter”) som kan finne på å interessere seg for sære ting.

Så, er alt håp ute og frislippet en gedigen bommert og bortkasta skattepenger? Nei! For det første kan norske selskaper som allerede jobber med kartdata spare utgifter. De kan også tilby bedre data til sine brukere, noe som i seg selv er en gevinst. For det andre vil det, med tiden, dukke opp nye løsninger. Kartverket vil få tilbakemeldinger på sine data og kanskje rette opp feil.

Så, om noe tid, når det har blitt “allmennkunnskap” at offisielle, norske kartdata kan benyttes fritt vil det begynne å komme løsninger som kan kalles innovative og nyskapende og kanskje også tilføre noe verdier noe sted. Men, det å forvente at det sitter en haug nerder og hopper når staten sier “Hopp”, som hiver seg over de nye dataene uten noe skikkelig veiledning, oppmuntring eller use-case, det er naivt.

Jeg har selv lekt med tanken om å gjøre noe spennende med disse dataene, men jeg ble rett og slett litt negativ til hele greia når jeg oppfattet at det nesten _forventes_ at noe gjør noe med disse dataene. Dog, jeg tror ikke dette kommer til å stoppe meg helt, så følg med. Når inspirasjonen, ideene og tiden kommer skal jeg prøve å være innovativ med dem. Men, det er ikke fordi en statssekretær mener jeg skal være det, men fordi jeg selv har lyst!

Norge Digitalt Teknologiforum

Norge Digitalt er en sammenslutning av de som produserer kartdata her i landet (dvs kommunene, Kartverket og en rekke offentlige etater). En gang i året har visstnok denne gjengen et “teknologiforum”.

Av en eller annen grunn var det noen som mente jeg burde være med på dette (som jo er åpent for alle), og etter å ha sett på programmet mente jeg det samme.

Dermed ble jeg vekket av en telefon fra flytaxisjåføren 06.00, bråvåkna, kasta på meg klæra og befant meg på Lillestrøm 09.00, en time før showet starta. Endel kaffe og prat med andre fagfolk senere satt jeg klar for teknologiforum, uten helt å vite hva jeg gikk til. Kom jeg, som har ønsket SOSI-dotformatet dødt, til å bli ofret her på SOSI-presteskapets alter?

Heldigvis ble jeg ikke slaktet av hverken møteleder Kyrre eller assisterende kartverkssjef Knut Arne. Jeg ble (sammen med de rundt 100 andre oppmøtte) ønsket velkommen til teknologiforum, og følte meg igrunn veldig velkommen. Det ble vel nesten bedre da Thomas Nordtvedt fra FAD snakket om åpne data i Norge og EU og hvilke lover, regler og direktiver som gjelder dette. Det ble jo også endel snakk om det nye “superdepartementet”, hvor Kartverket skal flyttes inn, og såklart Difis rolle. Kort og godt ble tonen satt, her skal det ikke selges noe, det skal diskuteres, opplyses og tenkes.

En ting jeg reagerte på var at Nordtvedt sa at “nå er det en måned siden Kartverket slapp gratisdata, hvor er resultatene?” Tror jeg må skrive en egen bloggpost om dette, men kortversjonen er at du får ikke innovasjon på en måned!

Frem til lunsj fortsatte det i plenum, og vi var innom sikkerhet, partene i ND (mye lover, forskrifter og direktiver!) og KS/KommIT (IT i kommunene, spennende tema som burde oppta mange i ND).

Etter lunsj splittet vi oss i to sesjoner (eller arbeidsmøter). Jeg fikk høre mye om ny nasjonal geoportal, geoNorge. Både strakstiltak på den eksisterende og den nye portalen som man snart går i gang med. Absolutt spennende, det er ikke tvil om at det er mye som skal gjøres, så vi får håpe det går etter planen!

Etter en felles oppsummering var det halvannen time til middag. Jeg brukte et par min på å reflektere over hvor lite jeg hadde twitra (jeg ble vel også fortalt det av flere). Jeg lovte å opprette #NDTech og være mer aktiv på dag 2. Etter en time på øyet for å ta igjen det tapte var det middag. Der ble sosi-dotformatet diskutert mye, men i en hyggelig tone (jeg har jo begynt å like formatet litt ;)).

En ny ting skjedde også, for første gang jeg kan huske tok jeg tidlig kvelden på en geomatikk-konferanse. Var det fordi alexanno ikke var der og ledet meg ut i fristelse? Eller fordi jeg ville være frisk og rask til dag 2?

Dag 2 startet i et fullstappet Hordaland (møterom, ikke fylke) og temaet for arbeidsmøtet var innovasjon. Som ung og dynamisk fyr med mye meninger måtte jo dette være noe for meg. Vi var innom innovasjon generelt, innovasjon i infrastruktur og vi fikk en rapport fra Norkarts pilgrimstur til junaiten. Etter en brukerhistorie om Kartverkets “rett i kartet”-løsning prøvde jeg å starte en debatt om open street map, men den nådde ikke SOSI-dotformat-tilstander. Til slutt fikk vi (eller i det minste jeg) et innblikk i sjøkartverket og hva de innoverer på. “Artig” detalj at nesten alle dataene vi fikk se var fra Svalbard (grunnet sikkerhetsbeatemmelser). På toppen av det hele rakk vi gjennom noen artige kart fra Sverre Wisløff og noen artige videoer.

Etter lunsj med nok en runde tekniske diskusjoner var det oppsummeringer av sesjonene, før Espen Andersen fra BI snakket om innovasjon. Jeg bet meg spesielt merke i det han sa om disruptive teknologier, jeg synes jeg ser en link til hvordan holdningen er (har vært?) til fri programvare og open street map, men det er kanskje bare meg? I det hele tatt et meget proft og godt foredrag!

Siste dame på podiet var Frøstrup, som oppsummerte, snakket litt om Paul Chaffey (han er visst en populær fyr) og konkluderte med at data må brukes (amen!). Teknologiforums rolle ble også trukket frem som viktig.

Så, hvordan var dette? Det var mer konferanse og mindre workshop enn jeg hadde trodd, men det var gode foredrag og det gikk mer i dybden enn Geomatikkdagene. Mye kjente fjes, men også endel nye bekjentskaper. Alt i alt er jeg veldig glad for at jeg tok turen, det skjer så mye i geomatikk-verdenen for tida, og å få dybde på endel ting var meget bra!

Jeg har også fått inspirasjon til et par nye bloggposter, så det kan fort være set kommer noe mer her på bloggen. En erfaring er at å provosere litt er gøy 😉

Hvem er vi?

Dette ble skrevet for en god stund siden, sendt inn til Posisjon, men tydligvis glemt. Tenkte at jeg i det minste kan legge det ut her.

Hvem er vi egentlig? Ja, vi, vi er jo geomatikere må vite. Vi jobber med kart. Og verden, eller i det minste Norge da, trenger flere av oss. Jeg ser også det. Jeg mener, det er jo så altfor få utviklere som kan kart. Alle klarer å sette opp en markør i Google Maps på ei nettiside, men hvis du spør dem om å legge inn en WMTS-service fra en tilecache og POSTe tilbake editerte polygoner vha WFS-t til PostGIS ser de dumt på deg! Hæ, ser du også dumt på meg? Men, dette er jo Posisjon, fagbladet for oss geomatikere! Her må jeg vel kunne snakke fag, uten å dumme det ned? Åja, landmåler sa du. Prismer og målinger og totalstasjoner og CPOS, var det det du sa? Snakk litt saktere, jeg skjønner ikke helt. Du gjør hva? Kjører landet rundt og ser inn i en kikkert? Og du er geomatiker??

Vel, jeg skal avslutte der før jeg virkelig avslører hullene i min kunnskap om geomatikkfaget (eller fagområdet?). Poenget mitt tror jeg uansett burde være klart: Vi er en ganske merkelig miks av mennesker vi geomatikere. Fellesnevneren er kart i Norge (ett poeng for selskapsnavn!), eller geodata (enda ett!) eller geomatikk (hat-trick!) da. Vi jobber med så forskjellige ting som oppmåling ute i allslags vær, byggeplasser og fastpunkter utenfor alfarvei til det trygge kontormiljøet. Og hva gjør vi i kontormiljøet? Vel, jeg skriver kode, andre holder rede på SOSI-koder mens atter andre jobber med matrikkelen (høres skummelt ut!). Og hva sier de offisielle kanalene? På utdanning.no skriver UMB følgende: “Hvorfor studere Geomatikk? Et opplagt valg hvis du er interessert i kart, webapplikasjoner, navigasjon (GPS), 3D-spill eller lignende.” 3d-spill, det er kanskje ikke der hodemangelen er størst?

Spør du en hvilkensomhelst ikke-geomatiker om hva geomatikk er jeg tror du får et lite opplysende svar. Kanskje “noe med kart”, hvis du er heldig, eller “GPS og sånn”, som mange i min omgangskrets sier. Eller “fancy geolog”, eller “matematiker som bruker kvarts istedenfor penn og papir”? Vi kan le litt av at folk ikke helt skjønner hva vi driver med, men vi har nå i det minste klart å samle oss bak et felles navn. Men jeg tror også at det innad blant oss er stor spredning i hva vi legger i begrepet. Og det er ikke så rart, vi driver jo med så forskjellige ting. Dette kan til tider være en utfordring. Det å sende inn foredrag til Geomatikkdagene kan være en spennende øvelse: kan jeg vise kode på slidene mine? Kan jeg anta at publikum vet hva HTML er?

På den annen side: denne miksen av fagretninger(?) innenfor faget(?) gjør at det alltid er spennende å møte folk som jobber med det. Du kan nesten alltid forvente å lære noe nytt, vi har en felles referanseramme i bunn (tok du den?) og det er faktisk litt gøy å fortelle folk at du er geomatiker. Når du har ytret dette kan to reaksjoner oppstå: 1. Pinlig stillhet etterfulgt av snakk om været, eller 2. En lengre diskusjon om hvorfor hytta til naboen ikke finnes “på GPSen”. Vokt deg bare vel for å si “Jeg driver med Geomatikk, men det vet sikkert ikke du hva er”. En oppvakt frisør gav meg følgende tilsvar på det utsagnet: “Nei, jeg er jo bare en dum frisør, jeg”.

SOSI-dotformatet må dø!

I etterkant av foredraget mitt om standarder på FOSS4Gno dreide diskusjonen seg om min påstand om at “SOSI-dotformatet må dø”. Jeg tenkte jeg skulle utdype argumentene som ble “kastet mot meg”, samt gå litt mer i dybden på hvorfor jeg synes det burde avgå ved døden.

Først vil jeg gjennomgå hva vi snakker om her, slik at vi tenker på det samme. SOSI (Samordnet Opplegg for Stedfestet Informasjon) er både en “informasjonsstandard” og et dataformat. Informasjonsstandarden SOSI er noe andre land misunner kart-Norge, all den tid alle kartaktører har en felles måte å beskrive geografisk informasjon med atributter på. Jeg er på ingen måte noen kjenner av SOSI som en informasjonsstandard, men jeg er helt enig med de aller fleste her: det er et gode. SOSI er bra!

Dog, og her kommer poenget jeg også gjorde i foredraget mitt, dataformatet SOSI realiseres i, det såkalte “dotformatet” (.sos) er en helt annen historie. Det er fullt mulig å bruke andre dataformater enn dotformatet til å bære SOSI-data, og det mener jeg absolutt er på overtid å få til.

Det jobbes med å gå over til XML som dataformat for SOSI, men om det er “bedre” eller “riktig” er ikke poenget mitt nå. Poenget mitt er at det eksisterende dotformatet, som sagt, må dø. Det lever på overtid.

Dette vakte jo endel reaksjoner, såpass at det ble påpekt at “å kødde med sosi er som å kødde med sodd, troll og 17.mai” . I hovedsak var argumentene disse (med forbehold om at jeg husker riktig. Jeg husker heller ikke hvem som kom med hvilke innvendinger):

1. “SOSI er et gode. Andre land misunner oss SOSI.”
– Som sagt, SOSI som informasjonsstandard har jeg ikke noen problemer med. Det er dataformatet jeg ikke liker. Ergo ikke et godt argument.

2. “Dotformatet har fungert godt i mange år (siden 1987 ifølge wikipedia) og fungerer godt i dag. Du er ung og uerfaren, når du blir eldre vil du ikke skjønne hvorfor de unge kritiserer GML eller GeoJSON eller hva det nå er du vil ha.”
– “If it ain’t broken, don’t fix it” har aldri tatt verden videre. Jeg mener at det har skjedd såppass mye i IT-verdenen siden jeg var 3 år (ja, jeg er 3 år eldre enn SOSI tydligvis) at det er på tide å oppdatere seg. Til påstanden om at jeg er for ung: jeg håper inderlig at neste generasjon ønsker å gå bort fra de formatene vi bruker i dag. De er på ingen måte perfekte, og jeg håper ikke teknologiutviklingen stopper i 2013.

3. “Er egentlig XML så mye bedre?”
– Jeg vet ikke. Kanskje ikke, men det i seg selv gjør ikke dotformatet bra.

4. “Du skal ikke trenge å lese SOSI manuelt. Syntaksen har ikke noe å si, det finnes programvare for å lese det”.
– “Menigmann” skal ikke trenge å lese SOSI-dotformat, ei heller skrive det. Som utvikler er jeg nødt til det. Bibliotekene som finnes er enten proprietære fra de store selskapene (og koster dermed penger) eller ganske hårete å ta i bruk (OGR må kompileres med FYBA). I tillegg er de eksisterende sosi-dotformat-bibliotekene knytett til gitte programmeringspråk, DLL-filer eller c-bindinger. Hva om jeg vil parse dotformat i nettleseren via JavaScript? På en Android-telefon?

Avslutningsvis vil jeg referere noen svar jeg fikk på Twitter på mitt spørsmål om hva folk synes om dotformatet:

“Generelt ganske forferdelig?!”
“SOSI er helt konge, og treprikksnivå er toppen :)”
“greit men sært.. funker til sitt bruk men ikke mer enn det..”

Dermed: Sosi-dotformatet er et gammelt, særnorsk, format uten støtte i de store programvarepakkene (ja, det finnes norske tillegg og tilpassninger, men ikke out-of-the-box). Det egner seg kanskje til internt bruk i systemer som ikke skal byttes ut, eller for de som har inngående kjennskap til fagfeltet. Derimot, når Kartverket slipper frie data over en lav sko og det første “Petter Smart”-typer som skal lage gode (åpne?) løsninger med disse dataene møter er valget mellom å betale ut av det hvite i øyet for en programpakke for å lese disse åpne dataene, eller må manuelt kompilere FYBA og gdal for å lese dataene kan man lure på hvem dataene er beregnet for.

Dermed er min bønn, sett fortgang i arbeidet med å fase ut dotformatet, tilby alltid alternative formater ved nedlasting av kartdata og innse at selv om du “snakker SOSI i søvne” og synes det er det beste som har skjedd kartnorge: Innse at hvis kartdata skal være noe mer enn en godt bevart hemmelighet menigheten har mulighet til å jobbe med må noe gjøres. Jeg vil tro mange heller laster ned OpenStreetMap-data, banker det inn i PostGIS med osm2pg enn å betale for FME med norske tillegg for å få tak i indrefileten (ja, jeg er klar over at Kartverket tilbyr GeoJSON i tillegg til dotformat, men la meg få være litt dramatisk her.). Forvent heller ikke å kunne spare lisenskostnader ved bruk av “fri programvare” om SOSI inn og ut av løsningen er et absolutt krav: det finnes nemmelig ingen gode løsninger her.

Sånn. Let the flamewar begin!

 

Se forresten også http://labs.kartverket.no/sos/ for en (litt mer teknisk?) gjennomgang av “problemet” med dotformatet.