zondag 26 april 2009

Het MOA Panel Instituut

Op 10 maart 2009 is het MOA Panel Instituut gelanceerd. [Voor de fietsende en niet-onderzoekende lezers van deze blog: MOA staat voor Markt Onderzoek Associatie. - JHF] Voor heel veel, zo niet het meeste, onderzoek wordt tegenwoordig gebruik gemaakt van online onderzoekspanels. Misschien bent u ook wel lid van zo’n panel, zoals het GfK-Intomart Panel, Opinieland, Opinionbar, Panelclicks, Stempunt.nu, of één van de tientallen andere onderzoekspanels. In dat geval bent u waarschijnlijk zelfs lid van meer dan één panel. In 2006 bleek uit het NOPVO onderzoek dat panelrespondenten gemiddeld lid waren van 2,73 panels. Dat is een probleem. Mensen die aan veel onderzoek meedoen, ‘leren’ hoe ze vragen ‘moeten’ beantwoorden. Bijvoorbeeld om een goede beurt te maken, om tijd te besparen, of om veel ‘credits’ te halen. Om die reden nodigen we respondenten liever niet te vaak uit, zeker niet als het onderzoek over een vergelijkbaar onderwerp gaat. Maar als mensen ook lid zijn van andere panels heeft al die zorgvuldigheid weinig zin. Dan vullen ze deze week een vragenlijst in over drinkyoghurt bij panel A en volgende week een zelfde soort vragenlijst bij panel B.
Om dat te voorkomen is het MOA Panel Instituut (MPI) bedacht. De bedoeling is dat (bijna)alle panels hun bestanden met respondenten aan het MPI gaan aanleveren. Per respondent geven ze dan ook aan hoe vaak iemand is uitgenodigd, hoe vaak iemand een vragenlijst helemaal heeft afgemaakt, over welke onderwerpen iemand is ondervraagd, en hoe lang hij of zij in het panel zit.

Op die manier kan de overlap tussen panels in kaart worden gebracht, de paneldruk worden gemeten (lees: hoeveel vragenlijsten iemand voor zijn kiezen krijgt), en of iemand al vaker door de concurrent voor onderzoek over hetzelfde onderwerp is uitgenodigd. Op zich een prijzenswaardige eerste stap om de jungle van de respondentenpanels in kaart te brengen. Overigens wordt aan de bureaus zelf overgelaten wat ze met die informatie doen. Het ultieme doel is volgens de MOA in elk geval om de “beroepsrespondent uit te bannen”.

Een andere stap op weg naar meer kwaliteit van het online onderzoek is de introductie van ISO norm 26362 voor acces panels. Op dezelfde bijeenkomst kregen 9 Nederlandse panels het certificaat uitgereikt: Blauw-NL van Blauw Research, Flycatcher Panel, GfK Panel van GfK Panelservices, Ik zie het zo van Millward Brown, De Netpanel Adviesraad van Ruigrok|NetPanel, Online Interview van Synovate, Panelclix, Panel.Intomart GfK en Stempunt van Motivaction. De nieuw gecertificeerde panels hebben beloofd dat ze zich ook bij het MPI zullen aansluiten.

Kortom het was een vreugdevol samenzijn op die 10e maart. Iedereen, ja, ook ik zelf, was vol lof over de genomen initiatieven. Tenminste, tot aan het optreden van Kees de Jong, CEO van SSI, één van de grootste leveranciers van acces panels voor onderzoek. Kees ging niet in op de oprichting van het MOA Panel Instituut. Hij stond ook niet stil bij de nieuwe ISO norm. Eigenlijk vond hij dat allemaal maar gerommel in de marge. Nee, Kees vond het vooral zorgwekkend dat er maar zo weinig mensen in Nederland überhaupt lid willen worden van een onderzoekspanel. Volgens Kees moeten alle inspanningen er de komende tijd op gericht zijn om de 98% van de Nederlanders die nu nog geen lid van een panel zijn over de streep te halen. Dat is inderdaad een punt van aandacht, maar het ging op 10 maart nu even over de kwaliteit van de bestaande onderzoekspanels. De zaal bleef na het aanhoren van Kees dan ook lichtelijk in verwarring achter.

Een merkwaardig betoog van de man die aan de wieg heeft gestaan van de 26 vragen die u van Esomar aan uw onderzoeksbureau moet stellen over hun panel. Diezelfde 26 vragen vormen overigens ook de basis voor de nieuwe ISO norm. SSI heeft zich nog niet gecertificeerd, misschien dat Kees daarom over iets anders begon?

1 reacties:

Kees de Jong zei

Ha John,
Leuk om genoemd te worden in je blog. Graag neem ik toch nog even de mogelijkheid te reageren. Mijn bijdrage die middag was allereerst het geven van een international perspectief op alle initiatieven op het gebied van kwaliteit van onderzoekspanels. Ik sloot af met mijn visie dat de toekomst van ons vakgebied zich niet meer alleen rondom panels zal afspelen. Ontwikkelingen gaan zo snel (river sampling, social networks etc.) dat de afbakening tot ‘panel’ te eng is. Daarmee loopt de discussie al twee stappen achter, voordat ie werkelijk begonnen is. Wanneer we tevens alle energie, tijd en effort die we besteden aan het bestrijden van ‘slechte respondenten’ (zoals de fraudulent, professional en inattentive) zouden besteden aan het vergroten van het bereik van mensen die eventueel op hun voorwaarden zouden willen meedoen aan onderzoek (relevant onderwerp, afzender of beloning en leuke vragenlijsten), dan zouden veel problemen daarmee vanzelf opgelost worden. Met andere woorden, we vechten de ‘verkeerde oorlog’. En eentje die we zowiezo gaan verliezen. Ik riep op tot een nieuwe ‘paradigm shift’. En inderdaad, indien mensen zich daarbij oncomfortabel voelen is een teken dat ie aankomende shift vooral serieus moet worden genomen. Voor wat SSI betreft geldt dat we ons inderdaad nog niet hebben aangesloten bij de Nederlandse certificering. Panelmanagement hebben we wereldwijd gestandaardiseerd. Neem van me aan dat we veel aandacht hebben voor alle kwaliteitsissues zoals in de ISO beschreven. Echter, het is lastiger om dus wijzigingen voor een land door te voeren. Overigens gebruikt SSI voor veel issues al technologische oplossingen, zoals ‘digital fingerprinting’ om effecten te bestrijden. Tot slot ben ik, zoals je weet een groot voorstander van iedere inhoudelijke discussie over kwaliteit binnen ons vakgebied. Proces en datakwaliteit zijn onderwerpen waar inderdaad vaak nog te licht over wordt gedacht. Ik waardeer je betrokkenheid en je onvermoeibare ‘red flagging’ om hier blijvend aandacht voor te vragen. Blijven doen. Hou ons scherp.

Grt, Kees de Jong, CEO Survey Sampling International, Shelton, USA.