Nationaal datawarehouse

Opvallend genoeg heeft vorige week het nationaal datawarehouse de Nederlandse pers gehaald. Rtl4 had zelfs een filmpje over het NDW. En dat voor een data warehouse dat nog gebouwd moet worden want de aanbesteding gaat van de zomer van start.

Het doel van het ndw is de filedruk te verminderen door gegevens te verzamelen en te publiceren over de infrastructuur en het actuele verkeer. Momenteel is de verkeersinformatie niet actueel en volledig omdat de gegevens uit de vele verkeerssystemen niet goed op elkaar zijn afgestemd.

Gedetailleerde informatie over o.a de architectuur en de visie van het nationaal data warehouse is hier te vinden.

Realtime burger intelligence (bi)

Nomos lijkt bijna het ideale dashboard te benaderen. Het dashboard is zo intuïtief dat iedere leek snel door heeft waarover de site gaat. En het is niet eens gebouwd door een bi-ontwikkelaar maar door een webdesignbureau.

Nomos is een vorm van burger intelligence en is een dashboard met 1 meetwaarde, namelijk geluidshinder. De site visualiseert de geluidsmetingen rondom Schiphol. De geluidshinder is per baan, per postcode, per vliegtuig en per meetpost te bekijken en bevat zowel realtime als historische gegevens.

Ter vergelijking is er ook de site Geluidsnet, die ook realtime en historische geluidsgegevens vertoont. Absoluut een mooie weergave van de geluidshinder, maar veel minder intuïtief.

streaming analyses

Ik ben aanwezig geweest bij het datawarehousing & Bi congres 2006 en het was dit jaar een uitermate geslaagd congres: inspirerende onderwerpen en goede sprekers. Ik zal proberen een een aantal posts te maken over de verschillende onderwerpen die aan de orde zijn geweest.

Allereerst realtime datawarehousing. Rick van der Lans, wat mij betreft de beste spreker in Nederland (download hier zijn gratis boek over het geven van presentaties) gaf weer een geweldige show weg en presenteerde 4 manieren om informatie realtime beschikbaar te maken voor analyses:

1. Vereenvoudiging van dwh. door bv een virtueel dwh te creeëren (clikview is zo'n product) of etl en dwh zo te vereenvoudigen dat continue verversing mogelijk wordt.


2. EII: enterpise information integration


3. SOA


4. Streaming data. En hier wil ik iets meer over vertellen.

Bij streaming data wordt de data niet geanalyseerd in een database, maar nog in het proces waar het onstaat of gebruikt wordt. Toepassingen zijn er vooral bij informatie intensieve processen waarbij realtime informatie van zeer groot belang is, zoals logistieke processen met rfid, de onvermijdelijke (automatische) beurstransacties, telecom, maar ook clickstreams van websites.

Producten op deze markt zijn: Streambase, Progress realtime, en Coral8. In Dmreview staat een goed artikel over de verschillende vormen van eventprocessing, zoals deze techniek ook wel wordt genoemd, van John Corell van Coral8.

In Nederland is dit gebied ook niet geheel onbekend. Integendeel, DIANA is een onderzoeksproject naar data stream mining van de vu in samenwerking met moniforce, interpay, robeco en BKWI. Voor de liefhebbers zijn een aantal artikelen over datastream mining beschikbaar.

Ook staan er verwijzingen naar andere onderzoekprojecten. Vooral op de stanford site is veel materiaal beschikbaar voor degenen die zich in het onderwerp willen verdiepen