Badania użyteczności online stają się coraz popularniejsze, klienci coraz częściej chcą zastępować nimi laboratoryjne testy użyteczności, a badacze muszą odpowiedzieć sobie na pytanie na ile są to metody wzajemnie zastępowalne, albo raczej: jakie typy problemów najlepiej jest rozwiązywać przy użyciu, której z metod.
Badania użyteczności online:
To metoda badań użyteczności, w której badany wykonuje zadania w naturalnym środowisku przy własnym komputerze. Na wybranych stronach serwisu wyświetlane jest zaproszenie do badania. Osoby wyrażają zgodę na wzięcie w nim udziału i realizują zadania w ramach określonej procedury badawczej. Badanie jest niemoderowane – respondenci samodzielnie przechodzą je zgodnie z instrukcjami, które pojawiają się na ekranie. Procedura zazwyczaj polega na wykonaniu pewnej liczby krótkich zadań w obrębie serwisu i udzieleniu odpowiedzi na kilka pytań kwestionariuszowych. Metoda pozwala na szybkie i efektywne kosztowo badania etnograficzne stron www, przeprowadzane na dużych próbach. Dostarcza ilościowych i jakościowych danych będących podstawą do decyzji dotyczących zmian w systemie.
Omówię tutaj krótko wady i zalety tego typu badań. Ich jasne sformułowanie pomaga w podejmowaniu decyzji o zasadności wykorzystania tych metod w określonych sytuacjach.
Zalety badań online:
- są szybkie i względnie tanie (biorąc pod uwagę liczbę przebadanych użytkowników),
- dają możliwość przebadania dużej grupy osób,
- dostarczają zarówno ilościowych jak i jakościowych danych na temat serwisu,
- odbywają się w naturalnym środowisku, przy wykorzystaniu komputera osobistego należącego do osoby badanej,
- pozwalają na ilościowy pomiar niemal wszystkich interakcji z systemem.
Wady badań online:
- nie dają możliwości wejścia w interakcję z użytkownikiem, obserwowania jego reakcji emocjonalnych, zadawania pytań pogłębiających temat,
- skłaniają klientów do koncentracji na danych ilościowych,
- dają mniejszą elastyczność w tworzeniu różnych typów zadań dostosowanych do kontekstu danego użytkownika,
- wymagają od badacza dostosowania się do ograniczeń wybranego softu (każdy z dostępnych programów posiada nieco inny zakres funkcjonalności).
Najpopularniejsze aplikacje dostępne obecnie na rynku:
W swojej pracy badawczej miałam okazję testować kilka popularnych aplikacji służących do prowadzenia badań użyteczności online. Takich jak:
- Loop11
- Usabilla
- Webnographer
- Userzoom
Każda z nich oferuje teoretycznie dość szerokie możliwości projektowania różnych typów zadań, zadawania różnych rodzajów pytań kwestionariuszowych, rejestrowania podstawowych mierników interakcji użytkownika z serwisem. W rzeczywistości żaden z programów nie jest idealny, a przeprowadzenie kilku badań doprowadza nas do ważnego wniosku: badania użyteczności online dają inne możliwości, służą innym celom i nie zastąpią laboratoryjnych badań użyteczności.
Najczęściej pojawiające się błędy i problemy w aktualnie dostępnych aplikacjach.
Praca z kilkoma aplikacjami skłoniła mnie do spisania listy najczęściej pojawiających się problemów i ograniczeń tych programów. Co ciekawe większość problemów to klasyczne problemy użyteczności – bywa to dla badacza szczególnie frustrujące, a są to:
- trudności związane z brakiem możliwości przetłumaczenia wszystkich przycisków i instrukcji, które widoczne są dla badanych (np. anglojęzyczne przyciski „Next”, „Done”),
- brak obsługi starszych przeglądarek np. IE6,
- brak możliwości filtrowania i grupowania badanych oraz personalizacji treści zadań według podanych przez użytkowników cech demograficznych,
- brak wygodnych sposobów eksportu danych do formatów takich jak csv, xls, jpg,
- brak dostępu do nagrań przedstawiających interakcję użytkownika z systemem,
- konieczność wskazania tylko jednej podstrony sukcesu dla każdego zadania,
- brak możliwości wskazania „obszaru sukcesu” (np. zadanie zakończone jest sukcesem jeśli kliknięcie nastąpiło na określonym obszarze strony),
- możliwość budowania tylko jednego typu badania w obrębie jednego softu (np. tylko test niemoderowany, albo tylko test jednego kliknięcia),
- różne w przypadku różnych aplikacji, ale często zbyt ograniczone, możliwości zadawania kilku rodzajów pytań kwestionariuszowych,
- brak możliwości automatycznego zakończenia zadania np. w momencie, gdy nastąpiło kliknięcie na określony odnośnik,
- brak możliwości zmiany zdefiniowanych ścieżek sukcesu i porażek w trakcie trwania badania co spowoduje ponowne przeliczenie danych,
- brak możliwości odfiltrowania określonych użytkowników (np. po adresie IP) i ponownego przeliczenia statystyk,
- trudności związane z obsługą urządzeń mobile,
- brak możliwości edycji projektu badania po jego aktywacji.
W jakich sytuacjach warto stosować metody online?
Pomimo wspomnianych przeze mnie wad oraz zagrożeń związanych z prowadzeniem badań użyteczności online, jest to metoda w wielu sytuacjach bardzo pomocna. Kiedy warto ją zastosować?
- Kiedy chcemy przeprowadzić badania porównawcze np. testy A/B dwóch projektów danej strony, a o wyborze jednego z nich mają decydować wskaźniki ilościowe.
- Kiedy zależy nam na wstępnej identyfikacji obszarów problemowych w obrębie badanego serwisu, który zostanie następnie przebadany szczegółowo przy użyciu innej metody (np. audyt ekspercki, testy laboratoryjne).
- Kiedy zależy nam na zebraniu istotnych statystycznie danych dotyczących kilku podstawowych mierników interakcji z serwisem np. czas dotarcia do określonej informacji na stronie, współczynnik sukcesu w dotarciu do danych informacji itp.
- Kiedy scenariusze zadań, o których wykonanie zamierzamy prosić użytkowników, są relatywnie krótkie i dają się opisać w jednym zdaniu, bez ryzyka niezrozumienia polecenia przez osobę badaną.
- Kiedy zależy nam na zbadaniu rzeczywistych użytkowników danego serwisu, a dotarcie do nich innymi kanałami byłoby trudne, czasochłonne bądź bardzo drogie.
- Kiedy czas na przeprowadzenie badania jest krótki a wymagana grupa osób badanych relatywnie duża.
- Kiedy zależy nam na szybkim potwierdzeniu własnych przypuszczeń, które opieramy na podstawie innych wiarygodnych danych np. danych z innych podpiętych pod stronę aplikacji (Google Analytics, ClickTale).
Jeśli więc zdajemy sobie sprawę ze wspomnianych ograniczeń tej metody i traktujemy ją jako część szerszego projektu badań nad daną stroną to niewątpliwie badania online pozwalają na zebranie dużej ilości wiarygodnych danych w relatywnie krótkim czasie i przy zachowaniu opłacalności finansowej.
o autorze: Teresa Bartoszewicz od 2 lat pracuje w UseLab jako Usability Consultant. Absolwentka socjologii i studentka Środowiskowych Studiów Doktoranckich IP PAN i SWPS. Zawodowo prowadzi projekty badawcze związane z badaniami użyteczności oraz eyetracking. Prywatnie podróżuje.
