Jag skrev nyligen att ett offentligt släppt memorandum från en kampanj var från en undersökning om meddelandetestning, med resultaten presenterade ur sitt sammanhang. Jag har haft en del erfarenhet av att göra enkätundersökningar, särskilt att arbeta med ideella organisationer för att skapa kommunikationsstrategier.
Min senaste erfarenhet av meddelandeprövningar var dock som en respondent. För några veckor sedan kallades jag på min hemtelefon för att delta i en enkätundersökning som genomfördes på uppdrag av en lokal kampanj. Med en uppsjö av kampanjundersökningar som nu pågår ger den senaste upplevelsen en bra lektion om vad som ingår i en undersökning om meddelandetestning - och varför media bör vara försiktiga med att rapportera några resultat från en intern kampanjundersökning. [Det ger också en bra lektion om svårt att undvika åtminstone en liten partiskhet som kryper in i partisan-omröstningar.]
Den första frågan är hur mitt namn valts för den här omröstningen. Helt enkelt röstar jag i varje allmänt val och det är därför mycket troligt att jag kommer att delta i detta val utanför året. Som en oberoende (dvs. oberoende) väljare är jag dessutom en del av det övertalningsbara väljarkår som kampanjmeddelanden är specifikt utformade för.
Efter att ha konstaterat att jag inte arbetade för en politisk organisation eller mediaorganisation var omröstningsintervjuarens första fråga om jag trodde att mitt lokala område är på väg i rätt riktning eller på fel spår. Detta följdes av en generisk hästkapplöpningsfråga, dvs om jag sannolikt skulle rösta demokratisk eller republikansk för de lokala kontoren på val i november. Detta är en standardfråga för att upprätta en baslinje, eftersom de flesta väljare använder partiets ID-ledtrådar som sitt primära beslutsverktyg. Det var också den första av tre gånger jag blev ombedd att ange min röstintention under intervjun - en nyckelkännetecken för enkätundersökningar.
Nästa uppsättning frågor ställde mig om jag har hört talas om de sittande ämbetsmän som är omvärderade och vad min övergripande åsikt om dem var. Återigen är detta vanliga saker - sittande val är vanligtvis folkomröstningar om de nuvarande ämbetsmännen. Nästa fråga presenterade sedan match-to-head matchups för varje kontor, men den här gången namngavs de två kandidaterna för varje kontor. Detta var mitt andra skott för att uttrycka ett röstval, eftersom varje förändring från den generiska partifrågor som ställdes tidigare kunde indikera underliggande styrkor eller svagheter hos de namngivna befälhavarna.
Nästa frågor frågade mig att namnge min främsta lokala fråga och bedöma min lokala myndighets resultat. Syftet med dessa artiklar är att avslöja okända problem innan omröstningen mäter effekten av potentiella meddelanden som redan har utarbetats av kampanjen.
Vi gick sedan vidare till köttet av saken. Intervjuaren läste några ganska långa positiva beskrivningar, det vill säga meddelanden, om båda kandidaterna för vart och ett av kontoren på omröstningen. Därefter frågades jag om mitt röstval - för tredje gången.
Två saker är viktiga att notera här. För det första skulle ett internt omröstningsnotis som släpper ut resultaten av den här tredje frågan utan att nämna sammanhanget vara en felaktig framställning av det nuvarande väljarnas faktiska röstintention - för att respondenterna i undersökningen hade mer information om kandidaterna än vad typiska väljare har - och den informationen kom en endast sidan.
För det andra är det här punkten där jag fick reda på vem som sponsrade omröstningen (dvs. utmanarna). Så svårt som denna opinionsundersökning försökte vara balanserad i formuleringen av de positiva beskrivningarna för båda partiets kandidater, hade beskrivningarna för en kandidatlista bara lite mer inslag i formuleringen. Denna subtila skillnad kan ha en oavsiktlig inverkan på resultatet av frågan om tredje val.
För att vara rättvis kanske ordvalet inte har varit frågeställarens. Jag har arbetat med partners som insisterar på att ett visst ord eller fras måste ingå i frågan. Ibland lyckas du med att prata om dem och ibland går du bara för att flytta projektet framåt.
Frågeställningar är kärnan i konsten att rösta. Det förtjänar lika mycket granskning som den demografiska sammansättningen av ett urval och omröstningens felmarginal. Det är därför välrenommerade opinionsundersökare släpper hela formuleringen av alla frågor de ställer. Och det är därför media aldrig ska rapportera en omröstning där omröstaren vägrar att släppa det fullständiga frågeformuläret.
Tillbaka till undersökningsintervjun. Den sista uppsättningen frågor - innan de avslutades med grundläggande demografisk information - presenterade lite negativ information om de befintliga (de bekräftar mina misstankar om sponsringspartiet). Jag fick frågan om att veta denna information skulle påverka min röst. Återigen, detta är standard grejer.
Intressant nog testades väldigt få meddelanden i den här enkäten. I en tävling med hög profil, kommer varje kampanj att testa en mängd olika för- och nackdelar för att begränsa sin kommunikationsstrategi till de mest effektiva budskapen. I det här fallet testades bara ett eller två meddelanden om varje uppdragstagare. Detta indikerar ett lopp där beslutet kanske inte är vilka meddelanden som ska väljas, men om det är värt att spendera resurser och, i så fall, hur man identifierar de mest smidiga delarna av väljarna.
Förresten, detta var en ganska bra meddelandeprövningsundersökning med tanke på valet i fråga. Intervjuaren var av mycket hög kvalitet och frågeformuläret var väl utformat, mina observationer om den positiva kandidatbeskrivningen obalans trots.
Det finns också en intressant sidoteckning till den här historien. Jag bekräftade identiteten på omröstningssponsorn genom en internetsökning på företagsnamnet och en granskning av utgiftsrapporterna för valens lagtillsynsmyndighet. När jag kallade representanter för både omröstaren och partiorganisationen för att bekräfta blev de märkbart förvirrade. En sa att han skulle ringa mig, men gjorde det aldrig. Den andra besvarade mina frågor främst med um eller er.
Deras reaktion understryker att kampanjer tenderar att behandla sina interna omröstningar som statshemligheter. Vanligtvis vill de inte att någon utanför kampanjorganisationen ska veta vad deras resultat visar. Faktum är att de vanligtvis inte vill att någon ska få vind på det faktum att de är alls. Allt detta gör att någon offentlig publicerad intern omröstning omedelbart misstänks.
Så mitt råd till media är att om en kampanj plötsligt är angelägen om att offentliggöra omröstningsresultat till en bredare publik av intresserade parter, överväg motivet. Och sedan arkivera det bara.
[Obs: Jag önskar att kampanjundersökningar skulle vara mer framträdande med deras kontaktinformation i slutet av intervjun, eftersom deras beteende återspeglar hela yrket. Jag bestämde mig dock för att inte identifiera sponsorn för denna omröstning eftersom deras praxis var sund och det primära syftet med den här artikeln är att främja ett mer kritiskt blick mot offentliggörandet av interna kampanjundersökningar snarare än ut någon särskild kampanj.]
De åsikter som uttrycks är författarens och representerar inte positionen för någon publikation eller institution.
