Web Intelligence

Customer/Business Intelligence en web analytics zijn 2 gescheiden werelden met elk hun eigen tools, termen en oplossingen. Die werelden overlappen meer en meer.

Zo heeft SAS al een web analytics solution en heeft SPSS Netgenesis en predictive web analytics. En vanuit de webanalytics-kant heeft Moniforce de mogelijkheid om een datamart met webgegevens te genereren die eventueel geintegreerd kan worden met offline gegevens van een bestaand data warehouse.

Evenzo heeft Webtrends in haar laatste versie het marketing warehouse geïntroduceerd. Het is een kwestie van tijd dat andere mainstream BI-leveranciers, als bv Cognos en Business Objects, een web intelligence oplossing zullen aanbieden.

Voor de BI-diehards staan er - als een soort introductie - deze week 3 posts over webanalytics op marketingfacts:

• Een post over het multivariaat testen van landingspagina's naar aanleidng van de introductie van Google's website optimizer. In de post wordt ook verwezen naar - een voor mij - nieuwe term: de Taguchi algoritmes, een alternatieve manier om multivariaat te testen.


• Een post over conversieratio's, waar ook bivariaat testen ter sprake komt.


• Een presentatie van Eric T Peterson over web analytics als bedrijfsproces.

Jitterbit, EAI voor dummy's

Jitterbit is een open source tool om heel makkelijk applicaties aan elkaar te knopen. Via een drag en drop interface is het een fluitje van een cent om data afkomstig uit de gangbare databases, Web Services, XML Files, HTTP/S, FTP, ODBC, platte en hierarchische bestanden en fileshares, te transformeren en te integreren. Infoworld heeft een kort artikel over jitterbit.

Een ander onderscheidend kenmerk van jitterbit is dat je herbruikbare integratiemodules, zgn jitterpaks, kunt maken die je met andere gebruikers kunt delen. Zo zijn er al jitterpaks voor salesforce, amazon en sugarcrm.

Het is de bedoeling dat er een actieve community rondom jitterbit onstaat en alle ingredienten zoals een forum, wiki en blog zijn daarvoor aanwezig.

Business intelligence op de kaart

Louella Fernandes van it-director heeft een goed overzichtsartikel over de mogelijke toepassingen van geografische informatie voor BI. En ze schetst de samenwerkingverbanden tussen de traditionele GIS-leveranciers als ESRI en Mapinfo en de BI-leveranciers als Hyperion, Business Objects en Cognos.

Daarnaast gaat ze in op de mogelijkheden die Virtual Earth en Google Maps bieden voor BI-leveranciers.

See Why, business intelligence 2.0

Wat is er eigenlijk niet revolutionair aan SeeWhy, een business intelligence bedrijf dat is opgericht door Charles Nicholls, een ex-executive van Business Objects.

• Het is real time business intelligence


• Het is ontworpen voor SOA (service Oriented Architecture)


• See Why hanteert een open business model.

• Iedereen kan en mag participeren in de ontwikkeling van het product.


• De software is gratis, althans de community versie.

Een radicaal nieuwe visie op BI dat door SeeWhy stream analytics is gedoopt. Zie daarvoor ook het plaatje met de verschillen tussen traditionele BI en BI 2.0. De realiteit is echter dat SOA's in Nederland nog in de kinderschoenen staan, laat staan het analyseren ervan. Maar ik denk dat het zeker de moeite waard is om dit bedrijfje te blijven volgen, al is het alleen maar hun blog.

Amaznode

Amaznode is een zoekmachine voor amazon. Het zoekresultaat visualiseert een netwerk van gerelateerde producten, gebaseerd op de statistische gegevens van 'kopers die dit item kochten, kochten ook'.

Postcodegebieden en Google maps

In ons bedrijf hebben we altijd met veel plezier gewerkt met Micromarketer van Experian. Door omstandigheden hebben we echter afscheid moeten nemen van dit pakket waarmee je zulke mooi kaartjes kunt maken. We zijn op zoek naar een nieuwe oplossing en ik heb wat research gedaan naar google maps.

In plaats van de gebruikelijke pushpins of vlaggetjes zou ik graag gekleurde postcodewijken (postcode4) willen tekenen obv van demografische gegevens, maar dat schijnt een heidens karwei te zijn. Dit is het enige voorbeeld van Google maps met gebieden wat ik heb kunnen vinden.
Op het blog Best webfoot forward wordt uitgelegd hoe je dat moet doen.

Over dit blog

Over mij:
Ik ben Albert Besselse en heb als consultant in uiteenlopende rollen gewerkt aan datawarehouse- en BI-projecten bij verschillende telecombedrijven, banken en overheidsorganisaties.

Voor de context van het blog is het wel goed om te weten in welke omgeving ik nu werk. Momenteel ben ik data (warehouse) manager bij een groot mediabedrijf. Het data warehouse is gericht op direct marketing en analytische CRM. We gebruiken hier Oracle, Business Objects XI, Trillium, SPSS en Messagent. Het data warehouse bevat contact- en klantgegevens van zowel het web als de reguliere bedrijfsprocessen.

Over dit blog:
DATABIKKEL is een samenstelling van DATA, BI en Kwaliteit. Daarnaast staan mijn initialen (dat-AB-ikkel) in de naam. Voor de overige letters moet ik nog steeds iets leuks verzinnen verzinnen. Ik blog sinds 2003 op verschillende blogs, waaronder ab logger en heb sinds kort ook een intern bedrijfsblog over - voor ons bedrijf relevante - ontwikkelingen op het internet.

Na jarenlang overal en nergens over geblogd te hebben leek me het verstandig me te beperken tot het gebied waar ik het meeste thuis in ben: data warehousing en alles wat daar bij komt kijken. Eigenlijk is dit ook nog veel te breed; er zijn ongeloofelijk veel bronnen over het vakgebied en bijna net zo veel guru's. Ik pretendeer ook niet een compleet overzicht van de ontwikkelingen te bloggen. Het is een persoonlijk verslag van ontwikkelingen, methodes en tooltjes die mij opvallen.

Wat valt mij op (in ontwikkeling):

• De convergentie van de op de interne bedrijfsprocessen gerichte BI-tools en web analytics.


• EAI en SOA. Webservices veranderen de manier van dataverzamelen voor data warehouses en zullen aan de voorkant ervoor zorgen dat beslisinformatie veel meer geïntegreerd zal zijn in de operationele bedrijfsprocessen.


• On demand BI. Het verhuren van de software via het web belooft installatie-, schalings en versie/migratieperikelen oftewel beheerproblemen weg te nemen bij bedrijven.


• Open business modellen van BI-leveranciers zoals See Why


• Open source BI.


• Data mining. Al jarenlang een trend die maar niet wil doorbreken als middel om te analyseren. Misschien zal datamining, met de komst van open source en de goedkope oplossingen van sqlserver en Oracle eindelijk doorbreken. Aan de andere kant worden op data mining gebaseerde aanbevelingsmechanismen steeds breder toegepast en zal de enorme groei van bedrijfsinterne data het automatiseren van analyses noodzakelijk maken.


• De strijd der bi-giganten. Het gevecht van Microsoft, Oracle, Hyperion, Cognos, en Business Objects om de BI-markt.


• Datavisualisatie. De enorme hoevelheden data die gegenereerd en opgeslagen worden, vragen om een andere weergave dan de traditionele excel-grafiekjes.


• Operational Business Intelligence. De huidige beslissingscycli zijn lang en hiërarchisch: van de werkvloer naar het management en weer terug. BI moet daar zijn waar direct actie kan worden ondernomen.


• Search. Ongestructureerde informatie uit allerlei bedrijfsdocumenten, maar ook spraak en video, structureren en gebruiken in BI, is een hele interessante.


• Nieuwsoortige analyses. Bv social media analyses.

Gratis versie Xcelsius

Business Objects heeft Cx Now, een gratis versie van Crystal Xcelsius, uitgebracht. Cx Now is weliswaar een uitgeklede versie van Xcelsius maar biedt voldoende mogelijkheden om excel-spreadsheets op te leuken tot een gelikte presentatie. Daarnaast biedt het pakket mogelijkheden om eenvoudig interactieve dashboards of what-if scenarios's te maken. Deze kun je exporteren naar word, powerpoint of het web als flash-file.

En er is ook een wedstrijd, de CX Challenge, waarmee 10.000 dollar is te winnen door degene die het mooiste dashboard instuurt.

Analyses op de Long Tail

De Long Tail is wat mij betreft een van de leukste theorieën van de laatste jaren omdat het laat zien dat internet een oud business paradigma doorbreekt. De regel is dat een fractie van de voorraad verantwoordelijk is voor het merendeel van de verkopen, de meest populaire producten. Maar succesvolle internetbedrijven maken ook 20 tot 40% van hun omzet met niche-producten. De Volkskrant heeft een leuk stuk over de Long Tail (abonnees only) geschreven en Chris Anderson, de bedenker, schrijft er zijn blog mee vol. Ook de wikipedia, zelf een voorbeeld van Long Tail, heeft er natuurlijk een pagina aan gewijd.

Maar hoe kan een bedrijf long tail-producten monitoren en erop anticiperen? Er zijn nog geen tools of methodes voor. Bijna alle BI-tools zijn er juist op gericht om top5-jes te presenteren. En de doorsnee web analyse tool registreert weliswaar de zoekwoorden die tot sitebezoek leiden maar op een lijstje van 1000-en zoekwoorden is het slecht acteren. Suzana Schwartz geeft in een column op Intelligent Enterprise een aanzet.

Mijn aanzet, vervolgens..Ik kan me voorstellen dat een analist op zoek zal moeten gaan naar de zoektermen die leiden tot sitebezoek en in de loop van de tijd populairder blijken te worden. Dit om tijdig aan de vraag naar gerelateerde producten te kunnen voldoen of ze zichtbaarder te maken (hoger in Google) om nog meer bezoek te genereren. Dat betekent: historie van zoektermen bijhouden. Maar dit is een reactieve methode.
Een andere proactievere optie is het monitoren van de buzz via aggregatoren als technorati. Die buzzwoorden zou je moeten kunnen matchen met de eigen producten. De producten die matchen zou je weer als adword kunnen aanbieden.

Een voorbeeld: Een oud romeins fort wordt ontdekt en blogs schrijven erover en er wordt veel op gezocht. De Volkskrant heeft in het verleden veel over de oude romeinen geschreven maar die artikelen zijn diep in het elektronische archief verstopt. Vervolgens zou de Volkskrant die artikelen als adword kunnen aanbieden of kunnen afstoffen (gratis maken). Geen idee of het mogelijk is en of dit proces te automatiseren is.

Datakwaliteit van de no-fly list

Prachtig voorbeeld van de gevolgen van slechte datakwaliteit voor de reputatie van een organisatie en voor de privacy van burgers. De 'no-fly list' is een lijst van Homeland Security dat momenteel de namen bevat van 44.000 personen die niet mogen vliegen in of naar een land die de lijst gebruikt.

CBS' 60 Minutes is in het bezit van de lijst en ontdekte dat de lijst, naast al dode terroristen en Sadam Hussein en de Boliviaanse president Morales, algemeen voorkomende namen bevat zoals Gary Smith, Robert Johnson en John Williams. CBS spoorde 12 Robert Johnson's op en die bleken inderdaad allemaal moeite te hebben om aan boord van een vliegtuig te komen.

Geschiedenis van de Treemap

Ben Shneiderman, vertelt op zijn website over de ontstaansgeschiedenis en evolutie van de treemap, een manier om data te visualiseren. Aardig om te lezen dat de treemap in 1992 uitgevonden is, maar het nog minstens 8 jaar duurt voordat de treemap echt doorbreekt.

Proclarity is een van de eerste BI-tools die de treemap als visualisatiehulpmiddel heeft opgenomen. Op b-eye legt ben shneiderman uit waarom dit een handig hulpmiddel is om snel inzicht te krijgen in grote hoeveelheden data.

Het plaatje is een visualisatie van del.icio.us tags. Voor de liefhebbers: de algoritmes zijn hier te downloaden

history flow

history flow is een tool van de 'collaborative user experience groep' van IBM. Dit is een visualisatie van de geschiedenis van de edities van wikipedia. Hier wordt uitgelegd hoe de visualisatie is opgebouwd.

Learning guide: Business Intelligence

Alles wat je wilde weten over BI, maar te bang was om te vragen:Learning guide: Business intelligence. Een "quick start" in BI met artikelen, best practices, case studies, white papers en advies van experts.

Dresner over de ontwikkelingen in BI

Howard Dresner, ex-Gartner analist en nu chief strategy officer bij Hyperion, heeft in 1989 de term Business Intelligence min of meer uitgevonden. IT-world Canada heeft een interview met hem over de BI-ontwikkelingen van de afgelopen 17 jaar. Waarom de ontwikkelingen in BI zo langzaam zijn gegaan heeft volgens hem niets te maken met technologie maar alles met de cultuur van veel organisaties:

"Second-tier management is concerned about losing their secured information and the ability to position information in the best possible light. Once BI is in place, people can get concerned and reveal hidden agendas. There are no more secrets. The right people have access to what they need."

Herkenbaar lijkt me. Over de komende ontwikkelingen kan ook geen misverstand bestaan:

"BPM is the next big thing. It's sort of what BI is growing up to become. Data quality matters, it's tied to operational planning."

Er staan nog een paar aardige quotes in het interview.

Digg Realtime datavisualisatie

Een knappe datavisualisatie van digg, een site voor burgerjournalisten en misschien wel een nieuwe vorm van BI: Burger Intelligence.

De verticale balk visualiseert hoe vaak een verhaal in een bepaalde gedigged is. De kleur zegt iets over de algemene populariteit. Een nieuwe ´digg´ valt als een blokje naar beneden. De informatie is realtime.