Dataintegratie op AWS

Mijn vorige post ging over dbms-en voor datawarehouses op EC2. Ik was blijven steken bij de vraag, hoe je de gegevens naar EC2 kunt transporteren en daar kunt integreren. Ik heb een lijstje gemaakt van dataintegratietools die iets met AWS doen.

Wat opvalt is dat het bijna allemaal open source dataintegratietools zijn. Niet heel verwonderlijk want het huidige businessmodel voor commerciële software past 'niet helemaal' bij het cloudconcept i.e. alleen betalen voor het gebruik.

Open source is in principe gratis en daardoor lijken cloudcomputing en open source een symbiotisch droomkoppel. De huidige crisis kan zelfs als katalysator werken voor een snelle acceptatie van deze combi. Al zijn er volgens UC berkeley nog een aantal belangrijke obstakels voor cloudcomputing en zijn er volgens Informationweek nog 6 dingen die SAAS moet doen om in 2009 als volwaardige technologie geaccepteerd te worden.

De dataintegratietools voor AWS.

Logixml
logixml is een BI platform met een etl-component dat connecteert naar Simpledb, Salesforce en willekeurig andere webservices. Het is de enige niet opensource tool.

Apatar
Apatar is opensource dataintegratie software met connectoren voor SAP, siebel, Sugarcm en AWS.

Snaplogic
Open source dataintegratietool voor SAAS applicaties, Snaplogic, is geoptimaliseerd voor AWS.

Pentaho
Maar Pentaho is volgens mij het meest ver met AWS. Het blog VM Datamining heeft een serie posts over de installatie van Pentaho Data Integration oftewel kettle op EC2. Matt Casters, de architect van Kettle beschrijft op zijn blog dat Kettle zeer overtuigend schaalt op EC2 en stelt dat AWS ongekende mogelijkheden biedt tegen zeer lage kosten.

Bovendien komt er blijkbaar binnenkort een AMI (Amazon Machine Image) voor Pentaho Data Integration. Er is is zelfs al op AWS een datawarehouse gebouwd met Mysql en Pentaho. Zo onrijp, zoals ik in mijn vorige post stelde, is AWS als dwhplatform dus ook weer niet.

Timerime en andere interactieve tijdlijnen

Dankzij de jongens van Timerime, kun je ook zo'n prachtige interactieve tijdlijn bouwen die Google gebruikt om zijn 10-jarige geschiedenis te visualiseren.

De Timerime website is een social media site voor historische gegevens waar communityleden informatie op een tijdlijn creëren, delen, publiceren en vergelijken. Frankwatching heeft een interview met de Nederlandse bedenkers. Ik heb me laten vertellen dat er voor timerime ook veel belangstelling is uit de educatieve hoek. daar kan ik me iets bij voorstellen. Ik heb zelf een world history poster. Een interactieve versie in timerime zou het gevaarte een stuk handelbaarder maken.

Business Objects heeft in zijn labs ook een interactieve tijdlijn met veel visueel geweld, de timewall, als onderdeel van vizserver. Als je zelf iets overzichterlijker tijdlijnen wilt bouwen of wilt demo-en dan kan dat ook met de timeline gadget voor Google spreadsheets. Dit is weer een spinoff van het open source simile timeline project van het MIT. Kijk ook eens naar de andere voorbeelden van simile.

Datavisualisatie: Second Life versus Croquet

3D-werelden als Second Life hebben een enorme potentie om informatie op een geheel nieuwe wijze te presenteren. De persconferentie van een jaarverslag in een 3D-wereld zou bijvoorbeeld gedaan kunnen worden als een virtuele rondleiding langs een aantal tentoongestelde grafieken.

Voor business intelligence biedt zo'n wereld ongekende mogelijkheden om data te visualiseren. Bijvoorbeeld door met data een landschap te ontwerpen waarin data-analisten vrij rond kunnen zwerven om allerlei verbanden te zoeken.

Maar het is momenteel al een hele kunst om een presentatie in second life te geven met powerpoint. En de scripttaal van second life lijkt niet heel geschikt om echt spectaculaire data visualisaties te bouwen. Second life is gewoon niet gebouwd met dat doel voor ogen. Hoewel er hier en daar toch mooie data visualisaties zijn te vinden, zoals realtime visualisatie van het weer en dit model om complexe informatie weer te geven.

Croquet is een 3d-wereld die wel specifiek ontworpen is voor data visualisatie, virtueel leren en voor probleem oplossende omgevingen. Daarnaast is het niet opgezet als een groot monolithisch systeem als second life, maar als een verzameling losse werelden die eventueel aan elkaar te knopen zijn, waardoor die gegevens goed af te schermen zijn voor niet-bevoegden.

Bovendien is Croquet open source en gebouwd met squeak, een smalltalk implementatie. En die omgeving lijkt wel krachtig genoeg om - over niet al te lange tijd - prachtige datalandschappen te ontwerpen als virtueel bi-landschap-architect.

Collectieve intelligentie met Many Eyes

Naast Swivel en Data360 is er nu een derde platform om datasets via internet te delen en te visualiseren: Many Eyes van het visual Communication Lab van IBM.

"Many Eyes is a bet on the power of human visual intelligence to find patterns. Our goal is to "democratize" visualization and to enable a new social kind of data analysis."

Het idee is dat door data te delen en te bediscussiëren er nieuwe inzichten zullen ontstaan. Een sterk punt tov de andere social data sites is de interactiviteit van de grafieken. Bovendien leggen de makers goed uit wanneer je welke grafiek moet gebruiken.

Data warehousing on ruby rails

Ruby on Rails is een webontwikkelingsraamwerk waarmee je relatief eenvoudig, prachtige webapplicaties kunt bouwen, zoals shopify, odeo en 43things laten zien.

Althans, dat nam ik maar aan, maar je kunt er natuurlijk veel meer mee. Zo is Anthony Eden begonnen met het ontwikkelen van een data warehouse extensie op Ruby.

Active Warehouse is de naam van zijn Rubyforge Project. Het is in december 2006 gestart en het project is nog in de 0.1 fase. Liefhebbers kunnen aanhaken want het project zoekt nog 3 ontwikkelaars. Een eerste versie van een ETL-tool is al gebouwd.

Talend, open source ETL

Het Franse Talend presenteert zich als het open source ETL alternatief voor de (te) dure tools als Informatica en consorten.

Of Talend dat waar kan maken zal de komende jaren moeten blijken, want de grote ETL leveranciers transformeren hun tools naar Data Integratie hulpmiddelen waar SOA een grote rol speelt. Die web services schijnen er aan te komen. Daarnaast heeft Talend heeft nog een aantal andere onderscheidende kenmerken:

• De business modeler. Met Talend studio ontwerp je eerst logische mappingen - in Talend heet dat eufemistisch een business model - waarachter je de code hangt.


• Grid computing. Talend kan workloads over verschillende servers verdelen. Bij het opschalen hoeven er niet perse extra processoren bijgeplaatst worden maar kan er gebruik gemaakt worden van al bestaande servers.


• Perl als scripttaal. Niet de meest voor de hand liggende keus, maar Perl is open source en er zijn zo'n 38.000 modules te verkrijgen waarvan een grote gedeelte te maken heeft met datamanipulatie.

Gartner's magic quadrant voor Data Integratie Tools

Bij SAS staat het magisch quadrant van Gartner voor 'Data Integration Tools 2006' online, omdat ze bij de oh zo belangrijke visionairies zijn ingedeeld. IBM en Informatica staan trouwens eenzaam aan kop in het leaders/visionairies quadrant.

Opvallend lijkt, de toch wel lage waardering van Oracle Warehouse Builder, met name zo interessant omdat het gratis wordt meegeleverd met de database van Oracle.

Gartner deelt OWB laag in omdat OWB nog geen mogelijkheid heeft om niet-oracledatabases te ontsluiten en dat het product vooral bedoeld is (en ingezet wordt) voor klassiek ETL; de visionairies kunnen breder worden ingezet omdat die messagingmogelijkheden hebben.

In het magische kwadrant ontbreken de open source ETL tools en dat zijn er tegenwoordig nogal wat. Managebility heeft alle op java gebaseerde open source ETL-tools op een rijtje.

Jitterbit, EAI voor dummy's

Jitterbit is een open source tool om heel makkelijk applicaties aan elkaar te knopen. Via een drag en drop interface is het een fluitje van een cent om data afkomstig uit de gangbare databases, Web Services, XML Files, HTTP/S, FTP, ODBC, platte en hierarchische bestanden en fileshares, te transformeren en te integreren. Infoworld heeft een kort artikel over jitterbit.

Een ander onderscheidend kenmerk van jitterbit is dat je herbruikbare integratiemodules, zgn jitterpaks, kunt maken die je met andere gebruikers kunt delen. Zo zijn er al jitterpaks voor salesforce, amazon en sugarcrm.

Het is de bedoeling dat er een actieve community rondom jitterbit onstaat en alle ingredienten zoals een forum, wiki en blog zijn daarvoor aanwezig.

See Why, business intelligence 2.0

Wat is er eigenlijk niet revolutionair aan SeeWhy, een business intelligence bedrijf dat is opgericht door Charles Nicholls, een ex-executive van Business Objects.

• Het is real time business intelligence


• Het is ontworpen voor SOA (service Oriented Architecture)


• See Why hanteert een open business model.

• Iedereen kan en mag participeren in de ontwikkeling van het product.


• De software is gratis, althans de community versie.

Een radicaal nieuwe visie op BI dat door SeeWhy stream analytics is gedoopt. Zie daarvoor ook het plaatje met de verschillen tussen traditionele BI en BI 2.0. De realiteit is echter dat SOA's in Nederland nog in de kinderschoenen staan, laat staan het analyseren ervan. Maar ik denk dat het zeker de moeite waard is om dit bedrijfje te blijven volgen, al is het alleen maar hun blog.