Najlepsze inspiracje
zamiast gotowych rozwiązań.

Nowe

Pięciogwiazdkowy dzień :)

Wszyscy popełniają błędy w projektowaniu ankiet

Metoda lean analytics

Testowanie ankiety.

Zanim wyślesz ankietę do respondentów, spróbuj ją pokazać komuś, kto nigdy wcześniej jej nie widział. W takich sytuacjach niemal zawsze okazuje się, że takie osoby na czymś utkną albo czegoś nie rozumieją. Ankieta nie jest gotowa do wysłania, dopóki trzej ostatni przedstawiciele Twojego rynku docelowego, którzy wcześniej nie widzieli tej ankiety, nie wypełnią jej bez wątpliwości i nie wyjaśnią ci znaczenia poszczególnych pytań. Ani trochę tu nie przesadzamy: wszyscy popełniają błędy w projektowaniu ankiet.

Źródło: Alistair Croll, Benjamin Yoskovitz,Metoda Lean Analytics, Helion S.A. 2014, s. 205


Tym razem cytat był krótki, ale z doświadczenia życiowego wiem, iż trafia w sedno problemu. Czy będą to proste badania satysfakcji pracownika czy klienta czy będą to dość skomplikowane w dalszej analizie ankiety kompetencji menedżerskich jak w naszej „trzystasześćdziesiątce” (http://www.ebadanie.com ) zawsze pojawia się ten sam problem: jak sprawdzić czy proponowana ankieta „trzyma się kupy” i czy pytania są dobrze zrozumiałe dla respondentów. Przykład? Proszę bardzo. Wspominałem, że właśnie pracuję nad nowym programem do prowadzenia oceny ewaluacji szkolenia. Pewnie nie raz podczas jakiegoś spotkania z trenerem na sali szkoleniowej, na koniec otrzymaliście ankietę z prośbą o ocenę. I pozornie proste zadanie bywa skomplikowane, bo co autor miał na myśli pisząc choćby: „Twoja ocena sali szkoleniowej”. Czy chodzi mu o to czy jest wygodny dojazd czy może jej wygląd. A może chodzi o to, że było duszno, bo klimatyzacja źle działała? Pytania pojawiają się szybciej w głowie, niż można podejrzewać.

Ciągle borykam się z podobnymi problemami i nieustannie coś poprawiam w ankietach. Jedno słowo mniej, innym razem jedno słowo więcej to efekt właśnie wspomnianych przez autorów rozmów z jak największą grupą osób. Tu trudno uznać coś za osiągnięty sukces i iteracyjny proces osiągania coraz lepszego wyniku to podstawa tej pracy.

Interpretacja treści pytania w ankiecie to jedno, a analiza otrzymanych danych to oczywiście drugi, równie wielki problem. W zasadzie ile rozmów ze zleceniodawcą, który oczekuje, iż przygotuję dla niego ankiety online np. z zakresu badań satysfakcji pracowniczych, to tyle oczekiwań odnośnie sposobu interpretacji danych. Najczęściej, i w moim odczuciu najmniej wiarygodnie wygląda analiza, w wyniku której obliczana jest średnia arytmetyczna z ocen respondentów. O ile w przypadku gdy ankiet jest sporo i nie ma problemu z uzyskaniem przyzwoicie małego błędu względnego (mówiąc w uproszczeniu niech on będzie powiedzmy 2% czyli ankiet było około 5), to problem pojawia się wtedy, gdy ankiet jest mało, a oczekiwania odnośnie wiarygodności wyniku wygórowane. Konkretny przykład: powiedzmy, że prowadzę ocenę 360 i w danej grupie respondentów mam 3 ankiety. W tym przypadku błąd względny w tej grupie wynosi rzędu 33% więc pisząc: średnia arytmetyczna z otrzymanych ocen wyniosła przykładowo 4.1 +- 1.35 . Śmiesznie się wtedy robi, gdy skala ocen była powiedzmy do 5.0 😉

Jeszcze inne problemy pojawiają się podczas analizy danych z ankiet ewaluacji gdyż różne organizacje mają różne oczekiwania odnośnie sposobu wyboru danych do analizy. Nic nie stoi na przeszkodzie, aby wziąć wszystkie, albo niczym w zawodach sportowych odrzucić po jednym najlepszym i najgorszym wyniku. Wszystko zależy od tego, jaka interpretacja jest tu najlepsza. Sam jestem zwolennikiem odrzucania z analizy ankiety, jeśli jej wynik odbiega powyżej 3 odchyleń standardowych od wartości średniej arytmetycznej. To dość bezpieczne założenie i w praktyce eliminuje absolutnie skrajne oceny, które bardziej opowiadają o emocjonalnym stosunku respondenta do ocenianego obszaru niż charakteryzują jego zdystansowane oceny w danym obszarze.

Jakkolwiek średnio jest to przyjmowane przez niektóre organizacje (trudniejsza interpretacja rezultatu i trudniej przekonać w oparciu o ten rezultat pracownika, że powinien rozwijać swoje talenty poza strukturami organizacji), to jestem zagorzałym miłośnikiem przedstawiania zamiast oceny w postaci średniej arytmetycznej mediany wyniku oraz histogramu otrzymanych ocen. Nic tak do mnie nie przemawia jak wysokość dominującego słupka czy słupków oraz szerokość rozkładu mówiąca o tym jak bardzo respondenci mają jednoznaczny stosunek do danej kwestii. Nie potrzeba mi żadnych średnich. Mediana i rozkład odpowiedzi są jak otwarta książka z pełnym komunikatem o tym jak postrzegana jest dana kwestia. Może kiedyś innych też przekonam do takiego modelu.

Rozwijając myśl autorów, rzeczywiście bardzo trudno jest przygotować dobrą ankietę satysfakcji czy inną. Każdy z nas inaczej interpretuje treść w konsekwencji odpowiada na inne pytanie, które pojawia się mu w głowie, a nie na to, które zostało zadane. Dlatego namawiam Was bardzo, tak jak i namawiam siebie: nigdy nie rezygnujcie z dziesiątek testów przed upublicznieniem ankiety.

Słowa kluczowe:, , ,

Trackback z twojego serwisu.

Pozostaw komentarz

%d bloggers like this: