Enron explorer

Trampoline Systems heeft een 'interessant' product, waarmee je sociale netwerken, expertise en informatiestromen in kaart brengt binnen een bedrijf. De gemiddelde werknemer zit er ongetwijfeld niet op te wachten dat zijn mail wordt afgetapt.

Maar die enorme berg ongestructureerde data uit email, levert - eenmaal gestructureerd - zeer waardevolle informatie op over een bedrijf. Dat wordt geweldig gedemonstreerd aan de hand van de nu openbare mailwisseling binnen de Enron top. Deze is te rangschkken naar onderwerp en persoon. Bovendien is te zien wie met wie communiceerde.

Klantkennis oogsten op het web

Informatie over klanten wordt nu hoofdzakelijk verzamelt uit interne bronnen. Dat geeft maar een beperkt beeld van zo'n klant en daarom worden vaak externe bestanden gekocht om die klantinformatie te verrijken. Maar meer en meer klanten hebben ook veel informatie open en bloot op het web staan. Die klanten hebben een weblog of hebben commentaar geleverd op weblogs, consumentensites, nieuwsgroepen etc.

Wat let bedrijven om die informatie te oogsten met speciale webspiders en zo interesses, vrienden, kennissen en familie in kaart te brengen om zo 'het aanbod beter af te stemmen op de klant'? Beetje op de manier zoals spammers nu emails harvesten, maar dan ingewikkelder om slimme relaties te leggen tussen al die brokjes ongestructureerde informatie die we overal op het web achterlaten.

Het grootste beletsel is de techniek, die is nog niet zover, maar komt er wel aan. Sterker nog de Amerikaanse overheid heeft een 47 miljoen dollar kostend prototype van zo'n systeem onder het mom van terrorismebestrijding. Het systeem, ADVISE, (Analysis, Dissemination, Visualization, Insight and Semantic Enhancement) genaamd, gaat nog verder omdat het ook gebruik maakt van niet openbare bronnen.

Volgens een rapport van het Amerikaans sciencemonitor doet ADVISE het volgende:

"It would collect a vast array of corporate and public online information - from financial records to CNN news stories - and cross-reference it against US intelligence and law-enforcement records. The system would then store it as 'entities' - linked data about people, places, things, organizations, and events,.."

Sourcewatch heeft een compleet dossier over ADVISE. Er is ook een presentatie over hoe ADVISE zal werken. Technisch best interessant, moet ik bekennen, en ik ben benieuwd hoe lang het duurt voordat er commerciële varianten op de markt verschijnen. Qua privacy is 'customer harvesting' natuurlijk een ramp en voor zover ik weet is dit niet goed geregeld in de WBP.

Een revolutie in meten

"We zijn getuige van een revolutie in het meten", vertelde Jon Kleinberg, een professor in social media analyses, op '2016', een symposium over de ontwikkelingen in computer science. Wat is dan die revolutie?

"The new social-and-technology networks that can be studied include e-mail patterns, buying recommendations on commercial Web sites like Amazon, messages and postings on community sites like MySpace and Facebook, and the diffusion of news, opinions, fads, urban myths, products and services over the Internet. Why do some online communities thrive, while others decline and perish? What forces or characteristics determine success? Can they be captured in a computing algorithm?"

Dit is ook een van de onderzoeksonderwerpen van het web science research initiative, waarvan Tim Berners Lee een van de oprichters is. Het initiatief is breder van opzet en zal de sociale en technologische gevolgen van de opkomst van het web onderzoeken:

"The Web Science Research Initiative (WSRI) will generate a research agenda for understanding the scientific, technical and social challenges underlying the growth of the Web. Of particular interest is the volume of information on the Web that documents more and more aspects of human activity and knowledge. WSRI research projects will weigh such questions as, how do we access information and assess its reliability? By what means may we assure its use complies with social and legal rules? How will we preserve the Web over time?"

Waarom ik dit blog? Ik zie allerlei nieuwsoortige analyses ontstaan die ongetwijfeld een spinoff krijgen naar BI-achtige toepassingen en web analyses.