Hogyan érdemes hozzáfogni a naplós adatfelvételhez?

Ha arra vagyunk kíváncsiak, mit csinálnak a felhasználók, amikor nem vagyunk mellettük, milyen ismétlődő problémáik vannak, milyen valós helyzeteket élnek át, kérjük meg őket arra, hogy írják fel maguknak (lehetőleg digitálisan, pl. egy csak számukra látható blogban, Google docs-ban stb.), aztán osszák meg velünk. Olyan problémákat tárhatunk fel így, és olyan használati kérdéseket ismerhetünk meg a módszer segítségével, amely esetekben képtelenség lenne minden alkalommal ott ülni a felhasználó mellett. Ennek oka, hogy véletlenszerű és sporadikus módon használják az adott interface-t, pl. egy kisvállalkozó az online bankot este 11-kor. Világos, hogy nem tud ott teremni valaki, hogy megfigyelje őt. A user teszteken pedig nem feltétlenül valós gondjai kerülnek elő.
Ugyan a naplóztató adatfelvétel sokkal több időt és figyelmet, odafigyelést igényel, mint egy egyszerűbb interjú vagy UX-kutatás, tagadhatatlan előnye, hogy betekintést nyerhetünk a vizsgálati alanyok valós/riportált viselkedésébe, segítségükkel megérthetünk kontextusokat, hosszabb távú folyamatokat, viselkedéseket. Lássuk, mit érdemes tudni a módszer offline és online felhasználási módjairól, miképp érdemes jól naplóztatni, végezetül pedig mi erre a bestof, leginkább csak szigorú módszertannal dolgozó kutatók között alkalmas megoldás, az ESM.
Ekkor megtudjuk, mit mondanak arról, hogy mit csináltak.
De, ha nem csak az érdekel bennünket, mit mondanak, hogyan és mire emlékeznek, hanem az is, hogy egészen pontosan mit csináltak, akkor mérjük meg azt műszeresen is (pl. Lookback segítségével, de erről később), vagy gyakran riportáltassuk őket, nagyon precízen, beszélgessünk velük rendszeresen.
Hogyan is működik a naplózás?
Többféle módszert dolgoztak ki a kutatók arra, hogy megismerjék a vizsgálat alanyok szokásos, napi tevékenységét. Ezeket különböző kérdőívek kitöltésével vagy telefonos lekérdezéssel is fel lehet mérni. Ennél azonban relevánsabb adatot kapunk, ha az alanyok viselkedésükről tevékenység közben vagy röviddel azt követően számolnak be.
„Kérjük, jegyezze fel a rádiós naplójába!”
Az egyik módszer erre a naplózás, amely egy meglehetősen régi és bevett módszer arra, hogy egy személy, háztartás feljegyezze, jegyzőkönyvezze a vizsgált téma szempontjából releváns eseményeket. Például, hogy mikor-melyik rádiót hallgatta, vagy, hogy mit vásárolt a boltban. Ilyen naplózó adatfelvétel segítségével valósul meg a rádióhallgatottsági mérés vagy a háztartáspanel, ahol a kutatásba bevont háztartások jegyzőkönyvet vezetnek napi vásárlásaikról.
Előbbi esetében a vállalkozó szellemű rádióhallgatók (31 000 háztartásban) naplózzák, hogy milyen rádióadót hallgattak és nagyjából mikor. A naplót egy hétig vezetik, és negyedórás idősávokban adják meg, hogy melyik adót és hol hallgatták.
Általánosságban a kutatók kevéssé tartják megbízhatónak a tesztalany utólagos beszámolóját korábbi tevékenységéről. Mivel a rádióhallgatottság-mérés esetében sem lehetünk teljesen biztosak abban, hogy valaki negyedóra pontossággal vezeti, mikor-mit hallgatott, így a rádiós naplózás sem feltétlenül a legmegbízhatóbb módszer. A cselekedeteink egészen pontos riportálására kevesen lennénk képesek, ilyen szintű tudatosság nem várható el senkitől. Ugyanakkor a kutató a naplózás segítségével olyan információkhoz juthat, amelyeket szinte képtelenség (pl. mert nagyon drága) lenne rendszeresen, személyesen megfigyelni. Ezért azokon a területeken, ahol a tesztalanyoktól elvárt az általuk végzett tevékenységek naplózása, kialakult gyakorlat a rátelefonálás (pl. másnap), és a leírtak rövid átbeszélése.
Így tesz – vélhetően pontosabb – mérést lehetővé a DAR-teszt, amikor kérdezőbiztos segítségével, személyesen vagy telefonon egyeztetik az előző napi rádióhallgatást. Ennek során negyedórás blokkokra bontva átbeszélik az alannyal, mikor-milyen rádiót hallgatott és hol, valamint, hogy egyedül tette-e, vagy valaki társaságában. Előnye, hogy pontosabb a mérés, illetve ilyenkor a telefonáló rákérdezhet a „miértekre“ is; de sajnos változatlanul hiányosság a fent jelzett tudatosság hiánya. Hátránya pedig, hogy lényegesen költségesebb. Magyarországon nem készítenek ilyen felmérést, de például Norvégiában vagy Olaszországban igen.
Ha nem a tesztalany tevékenységéről szóló beszámolójára vagyunk kíváncsiak, hanem a tények érdekelnek bennünket, ideális megoldást jelent az offline világban a Watch-meter. A karra csatolható órában beépített chip regisztrálja a hallgatott frekvenciát. Ilyen elven működő műszerrel a televízió nézettséget is figyelemmel lehetne követni. A Watch-meter esetében a kutatási alanyok egy hétig hordják az órát, utána visszakerül a kutatókhoz, akik a chipen tárolt adatokat kimásolják, elemzik. Ez biztosítaná a legprecízebb mérést. Hátránya azonban, hogy magas a beruházási költsége és ugyancsak problémás az is, hogy kifejezetten pontos, így vélhetően a vártnál alacsonyabb hallgatottsági és nézettségi időt mérne.
Korábbi hazai fejlesztések között szerepelt egy olyan karperec koncepciója is, amely pszichológiai mutatókat is mér (légzés, pulzus, érzelmi állapot), azonban ez a terv koncepció szintjén maradt. Látva az adatok beérkezését és vélhető pontosságát/pontatlanságát, tegyük kezünkre a szívünket: mindannyian tudjuk, hogy valamelyest pontatlan adatokkal dolgozunk, de elhisszük azokat, vagy legalábbis adunk rájuk. Ezt a viselkedést a kutatói berkekben egyesek úgy hívják: összekacsintásos füllentés.

 
Az online világ ismét precízebb, no de miért?
Kutatóként többnyire nem arra vagyunk kíváncsiak, hogy a felhasználó hogyan mesél tevékenységéről, hanem arra, hogy valójában mit tesz, tett. Pontosabb szoftveres rögzítést tesz lehetővé a Google Analytics vagy Lookback szolgáltatása, bármely weboldal vagy (az utóbbi használatával) egy-egy meghatározott applikáció esetében. A naplózás ekkor biztosítja, hogy a felhasználók természetes környezetében ismerjük meg a felület használatát. Vagyis, a tervezők megfigyelhetik, hogy a felhasználók egészen pontosan miképp használják a terméket. Az elkészült naplókat, adatokat egyberendezve pedig igazán praktikus adatokhoz juthatunk, amelyekkel aztán felkereshetjük a tesztelőinket némi kvalitatív mintavételre is, beszélgethetünk velük tapasztalataikról, pozitív-negatív benyomásaikról. Tehetjük ezt egyenként vagy csoportosan is.

Egyértelmű és magától értetődő előnye az online naplózásnak az is, hogy nem kell a leírtak illetéktelenek kezébe kerülésétől tartani, hiszen jelszóval védett a tartalom. Formázni és frissíteni, a leírtakat rendszerezni nagyon egyszerű, valamint mindig hozzáfér a szerző (az aktuális napló készítője) és a kutató is.
Az online felületeken végzett naplózásra egyértelműen adják magukat a Google Docs vagy Microsoft One Note felületek. Előnyük, hogy nincsen szükség lokális mentésre, minden információ automatikusan tárolásra kerül a felhőben. Emellett jelszóval védett szolgáltatást nyújtanak, a leírtakat pedig könnyű naplóba rendezni.
Szokás mondani, hogy jobb egy egyszerűbb kutatást készíteni, mint egyáltalán nem kutatni, azonban a naplózás valamivel túlmutat ezen a minimalista hozzáálláson. Nagyszerű módszer arra, hogy hosszú távon is megértsünk folyamatokat. Ha a feltüntetett esetleges hátrányok elfogadása és optimális korrigálása mellett mégiscsak a naplózás mellett döntünk, íme, egy rövid sorvezető a hogyanra.
Jól csinálva lehet jó is!
Naplózást előkészíteni épp úgy érdemes, mint bármelyik más kutatást: megfogalmazzuk a kutatási kérdést, azt, hogy mire vagyunk kíváncsiak. A felhasználó viselkedését szeretnénk megérteni? Hogyan használnak egy applikációt? Hogyan kezdik el használni azt és hogyan változik a használat módja, amikor elsajátították a rendszer működését és minden a kisujjukban van? Általában egy felület használata érdekel bennünket vagy egy specifikus terület, pl. hogyan rendel pizzát vagy mozijegyet?

Ezután nekikezdhetünk a kutatás részletes megtervezésének és az előkészületeknek: kiválasztjuk a megfelelő, leginkább megbízható módszert a naplózó adatfelvételre. Készíthetünk (sőt: készítsünk!) pilot-kutatást, ekkor kiderülhetnek olyan apró részletek, melyek befolyásolhatják a kutatás forgatókönyvét.
A kutatási alanyokkal mindenképpen érdemes találkoznunk a kutatás megkezdése előtt: el kell nekik magyarázni a naplózás pontos folyamatát, és azt is meg kell beszélnünk velük, hogy mennyi időre kérjük fel őket adminisztrációra (hogyan) illetve, hogy egészen pontosan milyen tevékenységet (mit) jegyezzenek fel. Szintén fontos, hogy mikor jegyezzék fel a kutatás szempontjából fontos eseményt? Amikor történik vagy később? Írjanak mellé benyomásokat, érzeteket, részletezzenek egyéb szempontokat?
Nagyon lényeges ezeket magunkban is előre átgondolni, ügyféllel egyeztetni, ugyanis tipikus eset, hogy a kutatás végén, az adatok prezentálásánál derül ki, hogy mi mindent kellett volna még megtudni – amelyek akkor már csak egy következő kutatásban lehetnek aktuálisak. Amíg zajlik a kutatás, a felvett, elérhető adatokat rendszeresen figyelemmel kell követni, a kutatási alanyokat periodikusan emlékeztetni az adatfelvételre. Általános benyomásokat is kérhetünk tőlük, olyan észrevételeket, amelyek a kutatás végére esélyes, hogy feljegyzés nélkül elsikkadnak. A kutatás végeztével pedig, az adatok birtokában, még a részletes adatelemzés előtt keressük fel személyesen is a kutatási alanyokat és kérjünk tőlük további kvalitatív visszajelzéseket. Egyszerűen csak beszélgessünk a benyomásaikról. Szinte biztos, hogy van több-kevesebb olyan észrevételük, összegzésük, ami nem szerepel a korábban leírtak között. Ezek birtokában érdemes elkészíteni az összesített elemzést.
És ami a jobbnál is még jobb: ismerjük meg az ESM-et!
Az ESM (Experience Sampling Method) egy élmény-mintavételi eljárás, amely kombinált kvalitatív és kvantitatív adatfelvételt tesz lehetővé.
„A módszer lényege, hogy a vizsgált személy több napon keresztül, naponta több alkalommal, váratlan időpontokban kapott jelzés érzékelésekor, az adott pillanatra vonatkozó kognitív, emocionális, motivációs természetű tudattartalmairól, és a jelzés időpontjában végzett tevékenység körülményeiről egy strukturált kérdőív kitöltésének segítségével számol be.” (KÁLLAI GYÖNGYI: „A munkahelyi Flow nyomában” Az áramlatélmény munkahelyi környezetben történő vizsgálata, valamint a Flow-gyakoriságot potenciálisan befolyásoló tényezők feltárása a verseny- és a közszférában. In: DOKTORI (PhD) ÉRTEKEZÉS 2016 (Pp 64, Et.al.) Teheti ezt egy offline jegyzetfüzetbe vagy online felületre. „Tipikusan egyhetes időszakot ölel fel az adatfelvétel, és a mintavétel random időzítése biztosítja a minták függetlenségét. A módszer biztosítja az élmények széles körű, reprezentatív vizsgálatát, és lehetőséget ad a kontextus élményre gyakorolt hatásának vizsgálatára is.
Az ESM az idők során számos fejlesztésen esett át. A legkorszerűbb módszertani innovációk közé tartozik, hogy a vizsgálati személyek visszajelzést kapnak a mérések eredményeiről. Az ESM eszközt a tanulás, munka, művészetek és szabadidős elfoglaltságok széles körén alkalmazták.”
Az ESM módszert érdemes előzetes és utólagos (mély)interjúkkal és egyéb kvalitatív-kvantitatív módszerekkel ötvöznünk.
Láthatjuk, hogy az ESM mintegy a naplózó adatfelvétel pontosabb, precízebb és részletesebb továbbgondolása. Átgondolt kutatási tervvel, kidolgozott módszertani kerettel elkészítve precízen felügyelhetjük a kutatási alanyok viselkedését, véleményváltozását vagy hangulati ingadozását is, akár hosszú távon is. Ez pedig sokkalta több, mint egy egyszerű napló, amit visszagondolva-visszamlékezgetve kitöltöget a kutatási alanyunk.
További szakirodalom:
Earl Babbie: A társadalomtudományi kutatás gyakorlata (Et.al.) Budapest, Balassi Kiadó, 2008
Krug Steve: Ne törd a fejem! Budapest, HVG Kiadó, 2008
https://www.nngroup.com/articles/diary-studies/
https://www.quora.com/User-Research-What-software-do-you-use-for-a-diary-study
http://uxmastery.com/diary-study-extending-ux-research/
http://www.leanresearch.co/chapter-4
https://lookback.io/blog/using-lookback-for-ios-diary-studies