Collectieve intelligentie met Many Eyes

Naast Swivel en Data360 is er nu een derde platform om datasets via internet te delen en te visualiseren: Many Eyes van het visual Communication Lab van IBM.

"Many Eyes is a bet on the power of human visual intelligence to find patterns. Our goal is to "democratize" visualization and to enable a new social kind of data analysis."

Het idee is dat door data te delen en te bediscussiëren er nieuwe inzichten zullen ontstaan. Een sterk punt tov de andere social data sites is de interactiviteit van de grafieken. Bovendien leggen de makers goed uit wanneer je welke grafiek moet gebruiken.

Google clustert

De vernieuwde search appliance van Google, een machine met googlesoftware voor het zoeken in bedrijfsdocumenten, doet nu ook aan clusteren.

De zoekmachine groepeert automatisch zoekresultaten rondom onderwerpen. (zie bv clusty en topix). Daarnaast is het mogelijk om prioriteit te geven aan zoekresultaten die van bepaalde bronnen afkomstig zijn.

Dat er grote behoefte is aan bedrijfsinterne zoekmachines blijkt wel uit een onderzoek van accenture waaruit blijkt dat middelmanagers meer dan een kwart van hun tijd spenderen aan het zoeken naar informatie en dat de uiteindelijk gevonden informatie ook nog eens waardeloos is (via mf).

Introductie in Datamining

Datamining lijkt onder de naam predictive analytics een comeback te maken. Ik denk onder meer omdat de datamining tools niet meer zo onbetaalbaar zijn, waardoor data mining binnen het bereik is gekomen van de niet-multinationals.

Het is dus tijd om als niet-expert wat dieper in de data mining algoritmes te duiken. Er zijn op het web tientallen introducties in data mining te vinden. Hier is mijn selectie:

• Een goed startpunt is an introduction to data mining van Kurt Thearling. Op zijn site staan nog een aantal white papers over data mining technieken die de moeite waard zijn.


• De statistical data mining tutorial slides van Andrew Moore . Hij behandelt alle belangrijke algoritmes stuk voor stuk.


• Alper Murat heeft een 192 slides tellende introductie in data mining op MBA-niveau. Hij gaat ook wat meer in op de plaats van data mining in een datawarehouse-architectuur


• Mijn lievelingsblog Geeking with Greg (de bouwer van het aanbevelingssysteem van Amazon) wijst naar een aantal state-of-the-art datamininglezingen voor het stanford data mining klasje. De slides zijn helaas niet allemaal zelf verklarend, maar geven wel inzicht in moderne (web 2.0) toepassingen van data mining.

Datapakhuizen en privacy

Privédetectives die een prijslijst hanteren voor het achterhalen van persoonsgegevens en Indiaase callcenters die bereid zijn klantgegevens te verkopen. Dit zijn 2 voorbeelden die Ian Brown aandroeg op 'je leven op internet: datapakhuizen en privacy', een debat van de Consumentenbond en het College bescherming persoonsgegevens (CBP) over de mogelijke risico’s voor consumenten bij het gebruik van persoonlijke diensten op internet, zoals bv Microsoft, Yahoo en Google die momenteel bieden.

Het debat is integraal terug te kijken bij de Balie. En dat is een aanrader omdat naast Ian Brown (hier zijn presentatie), Madeleine McLaggan helder uiteenzet wat de zorgen mbt deze persoonlijke intenetdiensten van het CPB zijn (hier de integrale tekst) en Peter Fleischer, de privacy officer van Google Europa, ingaat op het privacybeleid van Google. Tweakers heeft al uitgebreid verslag gedaan van dit debat. Hieronder kort mijn gedestilleerde conclusies:

Data warehousing on ruby rails

Ruby on Rails is een webontwikkelingsraamwerk waarmee je relatief eenvoudig, prachtige webapplicaties kunt bouwen, zoals shopify, odeo en 43things laten zien.

Althans, dat nam ik maar aan, maar je kunt er natuurlijk veel meer mee. Zo is Anthony Eden begonnen met het ontwikkelen van een data warehouse extensie op Ruby.

Active Warehouse is de naam van zijn Rubyforge Project. Het is in december 2006 gestart en het project is nog in de 0.1 fase. Liefhebbers kunnen aanhaken want het project zoekt nog 3 ontwikkelaars. Een eerste versie van een ETL-tool is al gebouwd.

Talend, open source ETL

Het Franse Talend presenteert zich als het open source ETL alternatief voor de (te) dure tools als Informatica en consorten.

Of Talend dat waar kan maken zal de komende jaren moeten blijken, want de grote ETL leveranciers transformeren hun tools naar Data Integratie hulpmiddelen waar SOA een grote rol speelt. Die web services schijnen er aan te komen. Daarnaast heeft Talend heeft nog een aantal andere onderscheidende kenmerken:

• De business modeler. Met Talend studio ontwerp je eerst logische mappingen - in Talend heet dat eufemistisch een business model - waarachter je de code hangt.


• Grid computing. Talend kan workloads over verschillende servers verdelen. Bij het opschalen hoeven er niet perse extra processoren bijgeplaatst worden maar kan er gebruik gemaakt worden van al bestaande servers.


• Perl als scripttaal. Niet de meest voor de hand liggende keus, maar Perl is open source en er zijn zo'n 38.000 modules te verkrijgen waarvan een grote gedeelte te maken heeft met datamanipulatie.