En söt liten elefant, med stora krafter - Hadoop

Är du lite osäker på vad hypen kring open source- systemet Hadoop handlar om? Då är du inte ensam om den känslan. Om sanningen skall fram, kikar vi på ett tekniskt koncept där bara de som verkligen tänder på 0:or och 1:or förstår djupet. (Titta på videon nedan för en snabb introduktion till nya tekniska ”buzz words”).

Möjligheterna som den nya tekniken för med sig är emellertid stor och är därför bra att känna till. Särskilt om du eller din verksamhet kan se potentialen i att arbeta med analys av stora datamängder från många olika källor.

Många företag, särskilt i USA är arbetet redan igång med Hadoop och analysföretag som Gartner och Allied Market Research förutspår en massiv tillväxt under de kommande åren. Av allt att döma så är det frågan om en ny teknologisk epok som kommer ändra vårt sätt att arbeta med data och analyser. Då analyskopplingen är uppenbar har R&D-avdelningen på SAS länge varit i färd med att integrera HADOOP och SAS.

Extra muskler för hantering av Big Data - på attraktiva villkor

Men vad är det som är så intressant med Hadoop? Elefanten är trots sin söta utseende, ett riktigt muskelberg som kan användas för att lagra och hantera data både smidigt och kostnadseffektivt. Detta gäller även enorma datamängder från Facebook, eBay, Yahoo, etc.

Hasoop är inte en databas i traditionell mening, utan se det istället som ett ”open source framework” som kan hantera data i nästan alla storlekar och format. Det kan användas till enbart datalagring, i kombination med verksamhetens data warehouse eller för att utforska nya möjligheter med Analytics. Några av fördelarna med Hadoop är:

  • Lägre omkostnader för lagring av Big Data. Open source-software är i princip gratis och Hadoop använder standardhårdvara.
  • Hastighet. På grund av den distribuerade modellen (där många datorer delar på arbetsuppgiften), kan mycket stora datamängder behandlas mycket snabbt.
  • Skalbarhet. Det krävs inte mycket administration för att lägga till fler maskiner, kostnaden att göra det är känd och tydlig.
  • Flexibilitet. Du behöver inte bearbeta data innan den lagras, inte heller ostrukturerade data såsom text, bilder och videoklipp. Du kan lagra så mycket data du vill och senare bestämma hur den ska användas.
  • Pålitlighet. Hadoop är ett mycket robust system då hårdvarufel bara vidarebefordrar det pågående ”jobbet” till en annan server och där processen fortsätter.

Det låter nästan för bra för att vara sant, några nackdelar måste väl ändå finnas?  Generellt är Hadoop ett något omoget ekosystem med några lösa trådar. Det använder flera programmeringsspråk, och det finns få grafiska användargränssnitt, så det kan kräva (nya) kompetenser. Genom kommersiella partners som Horton Works eller Cloudera går dock mycket att undvika och det sker också en snabb utveckling på området

Hadoop ger "analytiskt bränsle" till SAS
Verksamheter som idag använder SAS får också lättare tillgång till den nya tekniken. Fördelen med att kombinera de två världarna är att man får ännu bättre möjligheter att hämta värdefulla insikter ur Big Data - inom en rimlig ”hardwarebudget”.

Det finns redan åtskilliga SAS-lösningar som integrerar med Hadoop och utnyttjar processorkraften i klustret. Det gäller för data management, business analytics och avancerad analys, och fler är på väg. SAS-användare kan därmed utnyttja Hadoop via SAS, som de redan känner och ta del av de nya grafiska SAS-gränssnittet mot HADOOP i användandet.
Om du vill veta mer om SAS-produkter anpassade till Hadoop, läs detta whitepaper. Om du vill veta mer om Hadoop kan du läsa fler artiklar och rapporter.

Post a Comment

The need for speed and the need for structure

In this day of big data, predictive and prescriptive modeling, data science, and many other hot topics, a surprising amount of companies are still struggling with the old mantra of business intelligence – getting the right information to the right person at the right time. The “right information” and “right person” aspects are often somewhat under control, but the “right time” is often severely lacking. It is not uncommon for business users to have to wait for several months for simple changes to reports (at which point, you could really question the “right information” aspect as well, since needs may well have changed during that time period)!

A turnaround time measured in months is simply not acceptable.  Whatever function is responsible for the delivery of reporting and analysis should really ask themselves why it has to take so long. Most likely, the answer will be: structure. Of course, technology and capability restrictions typically play a role as well when it comes to delivery times, but release cycles, meetings, architecture councils and other control instances, decision points, and the always prolific sending of emails back and forth, often seem to be where the most time is spent. Time that perhaps could be better utilized?

Set higher goals

I am not, however, suggesting IT should streamline current processes to shave off a week or a month. The question should be: How can we do it in a day? “Impossible!” you might say, but is it really? Or is it just because ingrained ways of working seem impossible to sidestep?

Why is it that whenever a presales team from a software vendor come in, they are able to deliver content in just a few days? POCs or prototypes for sure, but content nonetheless. And why is it that there always seem to be a few persons in every organization that are able to produce results quickly, cutting and pasting or using homegrown extraction programs? “But it’s different, they are sidestepping all our processes! We can’t put what they produce into production! It’s not even documented or tested!” you say. But does it matter? If they deliver and you don’t? And more importantly, could a similar way of working be adopted internally? Could you bypass some or all of the time thieves? Deliver the goods quickly, and document and integrate afterwards into existing structures in a controlled fashion?

The answer, in many cases, is yes. And it is being done in companies in the Nordic region right now.  In some places, it is called a lab or a sandbox. In others self-service, and in yet others, fast tracking. And in some rare instances, it is called nothing at all, or rather, business as usual.

A matter of balance

The research firms have acknowledged the phenomenon. Forrester talks about agile BI. Gartner calls it bimodal IT. The Gartner viewpoint encompasses the entire IT function, highlighting the difference between doing IT right and doing IT fast, doing IT safely and doing IT innovatively, working the plan and adapting. But the message is the same – businesses need to be able to adapt quickly, and IT needs to support that. In the BI world this translates to time to intelligence. Getting information out there quickly will be a top priority. And quite frankly, the inability of most BI teams to do so seems to be an important source of discontent within the end user community today already.

So does this mean all existing processes should be thrown out the window, and chaos reign in the name of innovation? Of course not. As always it is a matter of balance. You use the lab or the fast track where it makes sense. For financial or regulatory reporting? Probably not. But for one-offs, such as a business controller wanting to understand the driving factors behind a certain observation, the fast track is probably both much faster, more cost efficient, and also able to deliver higher quality answers. Information intensive and highly adaptive processes like revenue assurance are also contenders for a more agile approach for information delivery in some companies.

So the next time a sales manager wants to understand which ones of his sales people are giving large-client discount rates to small clients, or understand how a certain product is perceived in a specific market or by a specific segment, you could say to yourself – “you know, this sounds like a one-off, maybe we should try that fast track thingy I read about the other day”.

Will you need new software? Maybe. Will you have to change your processes? Certainly. But if you do, it could be the very decision that finally lets you stay on top of your information challenges. Maybe a little experimenting outside of your comfort zone might be worth it?

Post a Comment

Vad sägs på sociala medier i den politiska diskussionen?

2014 är ett supervalår i Sverige med både Europaparlamentsval och allmänna val. Intresset kring valåret är stort och genererar en ökad aktivitet på sociala medier och andra forum där politiker och medborgare möts för att diskutera den svenska politiken.

SAS Institute har under året jobbat med att analysera det politiska klimatet i Sverige för att försöka förstå medborgarnas attityder till olika partier och frågor och vad som driver diskussionen. Med SAS verktyg analyseras uppgifter från nyhetssajter, forum, bloggar, microbloggar (Twitter) och andra sociala medier såsom Facebook, Flickr, Youtube, mfl. Genom att använda avancerad text- och sentimentanalys kan vi omvandla den ostrukturerade textmassan till insikter som vi kan agera på. Datat grupperas och kategoriseras baserat på vilket ämne och/eller parti som diskuteras. Därefter analyserar vi attityden i det som sägs.

Under Almedalsveckan följde vi bland annat debatten i sociala medier och hittade tydliga samband mellan utspelen av politikerna och den diskussion som pågick på nätet. När vi tittade närmare på Socialdemokraterna blev det tydligt att frågan kring skola och utbildning var den hetaste frågan i samband med Stefan Löfvens tal. Det intressanta är att den frågan under längre tid inte alls varit lika viktig eller debatterats i samma utsträckning som andra frågor.

Trendanalys på de hetaste frågorna kring Socialdemokraterna. S Löfven pratade den 29 juni.

Trendanalys på de hetaste frågorna kring Socialdemokraterna. S Löfven pratade den 29 juni, där skola och utbildning toppade diskussionen.

Våra analyser bekräftades sedan av Sifos nätundersökning som presenterades den 1 juli. Där kom det bl a fram att väljarnas viktigaste frågor inför valet var skola, sysselsättning, ekonomi och sjukvård. Skola, ekonomi och sysselsättning ligger också i toppen vad gäller diskussionen på sociala medier enligt våra mätningar, medan sjukvård inte debatteras lika mycket.

Vi följde också sociala medier i realtid under partiledartalen där vi fick en direkt analys av hur talet togs emot, både i form av volym på diskussionen och vilken attityd väljarna har.

Reaktionen på Twitter under Fredrik Reinfeldts tal i Almedalen.

Reaktionen på Twitter under Fredrik Reinfeldts tal i Almedalen.

Under Moderaternas dag i Almedalen pendlade attityden till Alliansen kraftigt. Under förmiddagen dominerades diskussionen av Alliansens misslyckade förändring av sin logga, som i sitt nya utförande lästes ”asen”. Fredrik Reinfeldt vände på detta genom ett mycket väl mottaget tal på kvällen, vilket också återspeglas i relationen mellan rött och grönt på bilden ovan.

Samma teknik kan användas för andra ändamål. Inom offentlig sektor kan du använda det för att lyssna och förstå hur medborgarna upplever myndigheters agerande eller vilka behov som finns vilket bidrar till utveckling av deras verksamhet. Det blir myndighetens öra mot rälsen för att lyssna på medborgarna.

Vi fortsätter analysen av den svenska politiken under resterande delen av valrörelsen fram till valet i september. Jag hoppas att vi ses på SAS Forum 18 september där jag kommer att presentera vår valanalys – ”Vad sägs på sociala medier i den politiska diskussionen”?

Post a Comment

Make the ‘New Deal’ handshake with Your Customers! Gain full and up-front permission to use their data.

scale

Loyalty cards and loyalty programs have existed for many years in the retail trade. Discounts, benefits, special offers, stickers and much else have been tried, but with mixed or no success. In practice, the stores have found it difficult to develop and strengthen customer loyalty, and this probably because we as customers are so price-conscious.

Omni-Channel is on the way
However, most chains also work on introducing more channels and utilizing the increasing amount of information on the individual customer. The industry talks about ‘omni-channel’, i.e. when it takes a unified approach towards the individual customer, regardless of whether this is face-to-face at the store, in the web shop, via phone or via mail. Many talk about Omni-Channel and 1:1 but very few actually do it. This area both holds great potential and considerable challenges.

If the store has access to my preferences, then it can inform me of attractive deals within a given category. The chain can store and update a basic shopping list for me. The store can also make my purchase experience easier and faster because the item can be set aside, or because it knows my history, behavior and preferences. The store may also register both my and my wife's purchasing behavior – and alert me if I am about to purchase 4 liters of milk, when my wife did so yesterday. Via my smart-phone, the chain also knows where I am – and alert me of attractive deals in nearby stores.

You need the customer’s permission
In my opinion, permission is key to being able to provide these benefits. When it comes to the issue of data and protection of privacy, many companies hesitate. I can easily imagine, however, that the first major grocery chain, which openly and honestly makes an agreement with its customers will gain a significant lead and the “first mover advantages”. They should ask customers if they can use the customer data to create benefits for the customer – and for themselves. They should make the ‘new deal’ handshake of the retail trade with their customers. Why not just be honest about it?

How can the retail trade do this in practice?
First of all the chain must be certain that it can deliver real and unique data-driven benefits and services to the customers. I imagine that the chain needs to ask for explicit permission to use the data – and list the customer benefits triggered within each relevant area. The customer is then able to select and deselect and thus see the consequences of giving access or not.

Personally, I appreciate the honesty and the customer benefits delivered. And I prefer that the chain is honest, rather than working with my data secretly and trying to manipulate me into certain actions or behavior. Once we have seen the advantages and realized that this approach does not pose a threat, then we quickly adapt to it – that’s human nature.

What is new in this approach?
What is truly new is to look at the individual customer and the individual customer's preferences and data – and here we talk about all relevant data. If I give the chain permission to use my data, then it can see what I purchase, when I come to the store, and when I am near the store. They will maybe also know about my family, my dog, my car etc. And if this wide data access triggers great benefits, then it is easy to imagine that the chain is allowed to learn even more things about me.

It is the individualization, which all these data initiate. Using an in-depth data-based loyalty engine, the chain can work with much more specialized target groups and adapt to many different groups of customers with various needs and preferences simultaneously. Consumers need to know that the more the retailer knows about you as a person and your doings, the more benefits and services the retailer can offer you. But it all comes down to balancing transparency, trust and benefits, and the retailer has to have 110% control over data and privacy. If You manage to get hold of the Convenience-driven Innovators and Early Adopters, the rest will soon follow.

 

Post a Comment

Guest blog: 5 Useful things about experimentation that business can learn from the world of science

By Stefan Ahrens, Sr. Solutions Architect, SAS Germany

556Recently, there has been a hot debate about a Facebook experiment where users unwillingly participated in a psychological study with manipulated news feeds. While the fact that Facebook customers are involved without their prior consent is an entirely valid discussion, let’s not throw away the idea of experimentation entirely.

Quite the contrary, experiments – done the right way – can help us gain knowledge with a minimum amount of exposure by those that are affected. In other words, if you know how to set up the experimental conditions in a proper way, you may be able to get the same amount of information – with a lower number of what in statistics we would call „experimental units“. It goes without saying, that it’s still a good idea to seek approval by your customers before you start experimenting on a grand scale.

Read More »

Post a Comment

Sätt vårdens ledare i simskola och lär dem simma i information istället för att drunkna i data!

Vårdens ledare står inför en stor utmaning i och med kommande års minskade skatteintäkter och ökade vårdbehov. Men besparingstider behöver inte alltid betyda sämre vårdkvalitet. En analys av resurser och kapacitet kan förhindra slöseri med vårdens tillgångar, ge en förbättrad vårdkvalitet och se till att sjukvården fokuserar på att rädda liv istället för att bidra till att skada dem.

Det pratas mycket om evidensbaserad medicin, men sällan om kunskapsbaserad styrning av hälso- och sjukvården. Trots att vi det senaste året sett en lavinartad ökning av elektroniskt lagrad information i vården så används den inte på ett effektivt sätt. Frågan ”Drunknar du i data eller simmar du i information?” är befogad. Tyvärr så fortsätter vården att styras utifrån magkänsla och manuella rutiner då analysmognaden fortfarande är låg. De få analytiska resurser som finns sitter dessutom ofta långt ifrån ledningens beslut.

Förvirringen är stor kring vad begrepp som analys egentligen innebär.  Det är inte ovanligt att beslutsfattare ser analys som detsamma som att rapportera siffror och visa fina rapporter. Men en analys ska inte bara redovisa vad som hänt, utan även ge svar på frågorna varför och hur och ge underlag för att förutse och förhindra eventuella framtida utmaningar.

Att styra vården endast med redovisning av budget och utfall utan analys av bakomliggande orsak och framtida prognos, är som att behandla en svår vårdrelaterad infektion med att endast ge febernedsättande läkemedel för symptomen.

Copyright SAS Institute

Lösningen är självklar. Det är hög tid att sjukhus- och landstingsledningar ändrar sin attityd till teknik och analys och börjar tänka strategiskt kring resursförvaltning och sätter sig själv och sina medarbetare i ”simskola”. Börja rekrytera fler analytiker och ge analyschefen en lika självklar plats i ledningsgruppen som ekonomidirektören! Priset för en alltför uråldrig attityd till teknik och analys är alldeles för högt för sjukhus, landsting, skattebetalare och patienter.

 

Post a Comment

The Quantum Patient - Why statistics and data visualization is key to improvements in patient outcomes

 

Mark WolffMark Wolff, Ph.D., consultant in SAS Health and Life Sciences Global Practice team, has spoken at health care conferences in several countries. His latest journey took him to Sweden and Denmark, and I met him when he had just delivered his key note at a conference at Karolinska Institut in Sweden.

Mark Wolff was overly exited about this experience at Karolinska, an organization that works to investigate how results from clinical research can be converted more rapidly into new and improved treatments related to the 4 diagnosis (type 2 diabetes, breast cancer, heart failure and arthritis).

-Imagine speaking to a room full of some of the the smartest and most influential people in health care. For example, my host was a past member of the Nobel Prize committee for Medicine and Physiology!, he told me.

The measurable aspects
The title of his presentation - The Quantum Patient - refers to measurable aspects of patient outcomes. Several from the audience came up to him to talk projects and exchange business cards after the presentation, so his messages must have been quite inspirational.

Read More »

Post a Comment

Social channels – expanding the marketing mix

I recently spoke to a marketing executive at a large retailer, who had a vision of being able to deliver the right offers to the right people across all relevant channels. Having mastered the existing analogue and digital channels, it was now time to tie together the social media efforts and in this way create a more complete picture of the customer experience.

The vision is to know exactly what your target audience is exposed to on social platforms, to understand the synergy between your social efforts and the other parts of your mix of marketing efforts – and to have all that in one single system.

Social media is lagging behind
At present, I speak to various companies across industries that have already begun breaking down existing silos with the purpose of creating a comprehensive and consistent customer experience to meet their strategic objectives. This includes touch points such as direct mail and e-mail campaigns, online banners, Google AdWords, TV, retail stores, customer service and telemarketing. However, when it comes to social efforts, this is often spread out in various functional units of the company, still operating in silos.

While it is recognized that it is necessary to pay attention to customer concerns and public discourses articulated through social media, only few truly experience sufficient business value generated from the marketing investments made in these platforms. Many companies have strong social media solutions in place, but they have limited connection to their current marketing efforts – and thus limited utilization of the rich data assets resting within the company to increase effectiveness of the social efforts.

More flexibility is needed
As the boundaries of analogue, digital and social channels are continuing to blur, I experience that more and more customers are looking for flexible and scalable solutions that can build the bridge between our various marketing efforts.

With a flexible solution you can determine who receives which ads on Facebook (or whatever social platform in mind), and you can determine the optimal channel mix for specific campaigns or customers as the integration to social platforms is not where the challenges lie. Rather this is internally, to ensure the necessary alignment between roles and responsibilities.

My view is that in a dynamic market, what you need is a more flexible and scalable approach in which you do not need to favor one particular channel over the other due to system constraints. Instead, it needs to rest on the logic of a centralized interaction hub controlled by the richness of your data foundation together with business logic and analytical insight. This is what I see as the enabler of one of our most competitive assets in modern time: Data.

 

Post a Comment

Statistik i luften!

Förra veckan var en statistikintensiv vecka för min del, med årsmöten och tillhörande konferenser för föreningarna Industriell statistik och Svenska statistikfrämjandet. Två väldigt givande dagar, med många intressanta föredrag och spännande möten.

Industriell statistiks konferens behandlade ämnet Undervisning i statistik och själv höll jag ett föredrag med spaningar från omvärlden och slutsatser från svenska jobbannonser på LinkedIn.

En panel med företrädare för näringsliv och offentlig sektor diskuterade det behov de ser av statistiker/analytiker i framtiden och vilka egenskaper som de söker. Några saker de lyfte fram:

-       analytikers roll blir alltmer central i många organisationer och det blir allt viktigare att kunna
         kommunicera med olika typer av andra kompetenser, t.ex. ledning eller IT.
-       man måste kunna hantera data (ofta stora datamängder)
-       goda grundläggande kunskaper i statistik är viktigare än exakt vilket verktyg man behärskar.
         ”Jag anställer hellre en bra snickare än någon med en snygg verktygslåda”.
-       goda kunskaper i visualisering.

Seminariet utgjorde en mötesplats mellan industri och utbildningsväsendet som jag tror var mycket fruktbart och som jag hoppas ska fortsätta framöver.

Och den här veckan har SAS Global forum hållits i Washington, DC. För alla som liksom jag inte kunde delta finns nu massa inspelat material tillgängligt. Mina egna favoriter är SAS Visual Statistics (ett helt nytt verktyg för statistiker baserat på samma teknik som SAS Visual Analytics) samt nyheten om att SAS görs tillgängligt för utbildningsväsendet på ett helt nytt sätt genom programmet SAS Analytics U

 Sist men inte minst:

Missa inte Analytics 2014 4-5 juni i Frankfurt! Programmet innehåller en massa matnyttigt för alla analytiker som vill lära sig mer om den senaste tekniken, knyta värdefulla kontakter och inspireras av hur andra använt avancerad analys för att skapa värde till sina organisationer.

Anmälan innan 30 april sker till ett reducerat pris!

Post a Comment

Varför är kapitalet viktigare än individen?

Varje år skadas över 100 000 svenskar i vården och över 3000 av dem avlider till följd av sin skada.  Det gör självaste vården till en av de vanligaste dödsorsakerna. Trots det verkar intresset större att skydda våra pengar än våra liv, då vården ligger långt efter den finansiella sektorn när det kommer till säkerhetsarbetet och riskanalys.

Den finansiella sektorn är i framkant när det gäller proaktiv riskhantering. Exempelvis används självutvärderingar, riskindikatorer och stresstester regelbundet. Vårdgivarna kan använda samma system, metoder och arbetssätt för att minska riskerna för skador i vården – men det görs inte. Bankernas och försäkringsbolagens erfarenhet beror på att aktieägare och samhället ställer hårda krav. Lagar och regelverk talar om hur företagen ska identifiera risker för att garantera den finansiella stabiliteten och därigenom välfärden. Varför har inte patienterna samma höga status som våra pengar? Är inte vård och omsorg minst lika viktiga som våra banker ur ett välfärdsperspektiv?

Ett exempel är att i bankvärlden så genomförs så kallade stresstester och scenarioanalyser för att säkerställa att bankerna klarar av sina åtaganden under extrema situationer. Liknande stresstester skulle kunna användas för att hjälpa beställare och utförare inom vård och omsorg att skaffa kontroll över mer eller mindre osannolika faktorer som kan orsaka missförhållanden och lidande för patienter.

När Finansinspektionen och Riksbanken definierar stresstester för de kommersiella bankerna är det för att undersöka hur en extrem händelse eller en kombination av extrema händelser påverkar verksamheten i enskilda banker eller hela marknaden. Motsvarande myndigheter inom vården skulle kunna testa hur ett sjukhus skulle klara av t ex ett utbrott av sjukhussjuka, samtidigt med ett svårartat utbrott av influensa under en helg då bemanningen är låg?

Kvalitetsarbete i vården handlar idag i hög utsträckning om patientsäkerhet. Vi har fått en ny lag i Sverige som kräver att vårdgivarna bedriver ett systematiskt patientsäkerhetsarbete. Därför måste vårdgivarna bli mer proaktiva och processorienterade. Det kommer snabbt att leda till minskat lidande och minskade kostnader för samhället. Men idag brister många aktörer i det förebyggande arbetet och får därför ägna sig åt krishantering istället för riskhantering.

Läs mer i ämnet:

GP - Nytt arbetssätt kan förebygga vårdskador
Sydsvenskan -Stresstester i sjukvården räddar liv
IT i vården - Tester ökar säkerheten i vården
Stresstester i finansiell sektor

Post a Comment