Už v roku 2014 musel vývojár hier Red Winter z herného obchodu stiahnuť pokračovanie svojej úspešnej hry Dungelot, iba pár dní po prvom vydaní. Dôvod? Hra bola plná chýb a prešla z modelu pay-once-play-forever na model freemium.
Mnohým z týchto problémov sa dalo vyhnúť, keby sa Red Winter riadila dôkladnejšou stratégiou beta testovania. A to sa netýka iba mobilných hier, ale všetkých mobilných aplikácií.
Pri spustení aplikácie, ktorá je príliš chybná alebo obsahuje funkcie, ktoré sú u mnohých používateľov nepopulárne, riskujete trvalé poškodenie dobrého mena svojej aplikácie. Spoločnosť Red Winter dokázala opraviť program Dungelot 2 a o tri mesiace neskôr ho znova spustila úspešnejšie, ale neexistuje záruka, že sa vaša aplikácia obnoví tak ľahko.
Beta testovanie vašej aplikácie je veľmi dôležitým krokom vo fáze pred spustením vývoja vašej aplikácie, pretože by mohlo upozorniť na problémy s týmto:
Kvalita: Môžete si byť istí, že ste vytvorili kvalitnú aplikáciu, ale iba pri správnom testovaní verzie beta uvidíte, že všetky funkcie fungujú tak, ako majú. Kvalita úzko súvisí s nasledujúcim bodom,
Použiteľnosť: Od UI až po UX. Použiteľná aplikácia je aplikácia s intuitívnym používateľským rozhraním, v ktorej majú používatelia ľahkú navigáciu vo vašej aplikácii, hľadanie toho, čo chcú, a robenie toho, čo od nich očakávajú. Pozeráte sa na to, ako vykonávajú určité funkcie, a zisťujete, či existujú nejaké spôsoby, ako zlepšiť tok.
Chyby: Prirodzene by ste sa dôsledne ubezpečili, že vo vašej aplikácii nie sú žiadne chyby, ale až kým sa nepoužije v scenári zo skutočného sveta, nemôžete si byť istí. Od závažných chýb, ktoré spôsobujú zlyhanie aplikácie, až po drobné chyby, ktoré sa odhalia iba za určitých podmienok.
Výkon: Zariadenie, operačný systém a dokonca aj ďalšie aplikácie môžu ovplyvniť rýchlosť a celkový výkon vašej aplikácie. Testovanie verzie Beta vám dáva príležitosť analyzovať to autentickejšie ako vaše vlastné laboratórne testy.
Marketing: Od ústneho marketingu medzi vašimi testermi a ich priateľmi, až po náhľady na ideálne publikum, ktoré odhalia vaši testeri, môže beta testovanie pomôcť formovať vašu marketingovú stratégiu pred uvedením na trh.
Po zvážení týchto bodov by ste ťažko popierali, že beta testovanie by mohlo vašej aplikácii a jej uvedeniu na trh nesmierne pomôcť. A nastavenie beta testovania nie je zložitý proces s množstvom dostupných nástrojov. Niektoré z týchto nástrojov sa zameriavajú iba na jeden aspekt beta testovania, zatiaľ čo iné sa snažia ponúknuť komplexnejšiu sadu funkcií. Tu je prehľad niektorých z najlepších.
UXCam
Diskusie okolo UI a UX vstúpili do hlavného prúdu koncom 90. rokov, keď bol internet prístupnejší a populárnejší. A hoci prvé mobilné aplikácie nemuseli dobre využívať UI a UX - koniec koncov, išlo o úplne nový odbor - väčšina veľkých vývojárov aplikácií má teraz samostatné oddelenia zamerané iba na UI a UX.
Presne povedané, UXCam nie je nástroj na testovanie verzie beta. Integruje sa do vašej aplikácie (iOS alebo Android) pridaním dvoch riadkov kódu, takže jej použitie môžete obmedziť na skutočné testovanie verzie beta alebo priebežne v konečnom vydaní svojej aplikácie.
Ako už názov napovedá, tento nástroj vám pomôže posúdiť UX vašej aplikácie tak, že na obrazovke zaznamená všetky akcie používateľa v aplikácii vrátane dotykových bodov a gest. Dôvod, prečo by ste to chceli, je ten, že v skutočnosti videnie toho, ako používatelia používajú vašu aplikáciu, je oveľa prehľadnejšie ako bežná spätná väzba od používateľov a štandardná analýza aplikácií.
Medzi ďalšie funkcie patrí tepelná mapa - zvýraznenie, s ktorými oblasťami obrazovky používatelia často interagujú a ktoré oblasti ignorujú. Funkcia toku používateľov je podobná funkcii, ktorá sa nachádza v službe Google Analytics, a ukazuje, ako sa používatelia pohybujú vo vašej aplikácii a kde odchádzajú. A pomocou inteligentného filtrovania môžete ľahko filtrovať záznamy podľa kritérií, na ktoré sa chcete zamerať, napríklad podľa používateľov, ktorí používajú vašu aplikáciu od určitého dátumu, alebo dokonca podľa počtu použitých gest.
UXCam je nenápadný a vaši používatelia o tom ani nebudú vedieť. To, spolu so skutočnosťou, že nevyžaduje žiadne povolenie používateľa, by mohlo vzbudiť obavy o ochranu súkromia, ale UXCam má prísnu politiku, ktorá vyžaduje blokovanie všetkých citlivých informácií.
Plány pre UXCam zahŕňajú obmedzený bezplatný plán, pričom plán Pro (ideálny pre malé firmy) začína na cene 199 USD / mesiac.
UserTesting
UserTesting je na prvý pohľad veľmi podobný UXCam. Poskytuje vám prístup k videám (a zvukom) používateľov skutočného sveta, ktorí interagujú s vašou aplikáciou. Na rozdiel od UXCam sa však UserTesting javí skôr ako beta testovací nástroj, pretože ho možno použiť v ktorejkoľvek fáze vývojového cyklu a môžete určiť, ktoré úlohy chcete testovať. Namiesto toho, aby ste videli, ako používatelia interagujú s vašou aplikáciou ako celkom, môžete sa užšie zamerať na konkrétne sekcie vašej aplikácie a konkrétne úlohy.
UserTesting vám neposkytuje iba videozáznam vykonaných akcií, ale aj zvuk používateľov diskutujúcich o vašej aplikácii. Okrem toho môžete používateľom položiť sériu otázok a získať od nich hodnotenie určitých funkcií. Výsledky sú k dispozícii do hodiny od uskutočnenia každého testu.
Aj keď používate testerov z vlastnej skupiny používateľov UserTestingu, môžete určiť typ používateľa, na ktorého zacieľujete - od regiónu, cez webovú expertízu a ďalšie kľúčové demografické údaje. Spustenie nových testov je také jednoduché ako nahranie vašej aplikácie na platformu UserTesting - nie je potrebná žiadna integrácia SDK - a následné vytvorenie parametrov testu.
A pokiaľ testovanie verzie beta stále nepoznáte, web UserTesting obsahuje bohaté zdroje vrátane praktických kontrolných zoznamov, ktoré môžete sledovať. Individuálny plán je dosť postačujúci pre nezávislých vývojárov a malé firmy, Enterprise plán ponúka pokročilejšie funkcie.
99testov
99tests je propagovaný ako crowdsourcingová testovacia platforma. To znamená, že podobne ako UserTesting určíte typ publika - kľúčové demografické údaje, typ zariadenia, umiestnenie atď. - a testy 99 pre vás vyhľadajú dokonalých testerov.
Rovnako ako pri iných testovacích nástrojoch, aj pri testovaní použiteľnosti sa ponúka testovanie, ale test 99T ponúka aj testovanie lokalizácie, prieskumné testovanie a testovanie bezpečnosti. Testovanie lokalizácie testuje vašu aplikáciu medzi používateľmi na miestach, kde bude vaša aplikácia k dispozícii, pričom sa zohľadňuje, ako miestni používatelia reagujú na návrh atď. Väčšina testovacích prípadov vyžaduje, aby používatelia vykonali určité akcie a nasledovali preddefinovanú cestu cez vašu aplikáciu , ale prieskumné testovanie dáva testerom možnosť preskúmať vašu aplikáciu bez obmedzení. Máte vopred vytvorenú predstavu o tom, ako chcete, aby používatelia interagovali s vašou aplikáciou, ale vlastne neviete, či tak urobia. Prieskumné testovanie vám môže pomôcť identifikovať problémy, ktoré sa prejavia, iba ak aplikáciu nepoužívate tak, ako ste si ju vytvorili.
A samozrejme, testovanie zabezpečenia je kritické, ak vaša aplikácia vyžaduje registráciu alebo schopnosť používateľov vkladať citlivé informácie. Úniky údajov sú nočnou morou, a to aj pre veľké korporácie.
Ďalšou vlastnosťou, ktorá odlišuje 99 testov, je skutočnosť, že testovanie obsahuje prvok automatizácie. Očakáva sa, že zostavíte plán testov pre každé kolo testovania, ale testeri 99testov sú schopní vytvárať svoje vlastné testovacie prípady s automatizovanými skriptmi, ktoré im umožňujú testovať desiatky rôznych scenárov vo veľmi krátkom období. A keďže sa test 99 integruje s mnohými populárnymi nástrojmi na sledovanie chýb, sledovanie hlásených chýb sa spravuje prostredníctvom jediného palubného panela, pričom skóre gradera aplikácií vám pomôže sledovať kvalitu vnímanú aplikáciami po každom teste.
Ceny za automatizáciu, pokrytie rizík a podnikové testovanie sú k dispozícii na požiadanie a rýchly plán „bug bash“ začína na 500 $. Väčšina testovaní prebieha cez mesiac a zložité aplikácie potrebujú 2 - 3 mesiace.
TestFairy
TestFairy je ďalší beta testovací nástroj, ktorý poskytuje videozáznam toho, čo používatelia robia s vašou aplikáciou. TestFairy vám však neposkytuje ľahký prístup k skupine testerov a očakáva sa od vás, že budete mať svojich vlastných testerov. Pri zvažovaní nástrojov na testovanie verzie beta by to nemal byť prerušovač obchodu, ale znamená to, že pred registráciou do TestFairy by ste mali mať pripravený plán „náboru“ testerov, ak ešte nemáte svoj vlastný súbor testerov. Používanie rodiny a priateľov je dobrý začiatok, ale iba ak zodpovedajú demografickým údajom vami určeného publika. Potrebujete rozmanitú skupinu testerov, ktorí budú schopní otestovať vašu aplikáciu na rôznych zariadeniach a v rôznych situáciách zo skutočného sveta - napríklad pomocou Wi-Fi verzus mobilné dáta.
TestFairy podporuje testovanie natívnych aplikácií aj aplikácií vyvinutých pomocou platforiem ako Adobe Air, Unity atď. A ak je váš testovací plán zameraný na hľadanie - a elimináciu - chýb, budete radi, že sa TestFairy integruje s niekoľko špičkových služieb na sledovanie chýb. A vašim používateľom stačí vyvolať formulár na hlásenie chyby, aby s prístrojom zatriasli!
TestFairy si tiež veľmi dobre uvedomuje, aký rozdrobený je mobilný svet, a preto vám dávajú príležitosť vidieť, ako vyzerá vaša aplikácia na viac ako 10 000 zariadeniach. Znie to vyčerpávajúco, ale ak sa snažíte zabezpečiť, aby vaša aplikácia fungovala perfektne pre čo najväčšie publikum, je potrebné urobiť malú obetu.
Plány pre TestFairy začínajú bez akýchkoľvek nákladov (ako v prípade 100% zadarmo), čo z nich robí ideálne riešenie pre malé a stredné podniky s obmedzeným rozpočtom. Ak na vašej aplikácii pracuje veľký tím, mali by ste zvážiť ich plány spustenia a podnikania.
HockeyApp
Posledným nástrojom v tomto súhrne najlepších nástrojov na testovanie verzie beta pre vašu aplikáciu je nástroj, ktorý ponúka viac než iba testovací nástroj. HockeyApp ponúka štandardné funkcie, ktoré by ste od nástroja na testovanie verzie beta očakávali, ale zahŕňajú aj používateľské metriky. Používateľské metriky v HockeyApp zahŕňajú všetko od počtu aktívnych používateľov a zapojenia až po informácie o zariadeniach, na ktorých došlo k zlyhaniu vašej aplikácie za posledných 30 dní. Táto posledná metrika môže byť celkom užitočná, pretože vám pomôže rozlíšiť medzi chybami, ktoré ovplyvňujú všetkých používateľov, a tými, ktoré ovplyvňujú používateľov na konkrétnych zariadeniach.
Rovnako ako TestFairy, aj HockeyApp sa dá použiť pre natívne aplikácie aj pre aplikácie vyvinuté pomocou iných platforiem. Aj keď sa správy o zlyhaní predvolene odosielajú priamo na platformu HockeyApp, môžete ich tiež priamo integrovať do svojej preferovanej platformy na sledovanie chýb. A komunikácia medzi členmi tímu môže byť obmedzená na dashboard HockeyApp alebo integrovaná do Slack a HipChat.
Spoločnosť HockeyApp získala spoločnosť Microsoft v roku 2014, čo však nemá vplyv na vašu schopnosť testovať aplikácie pre iOS aj Android. Platforma ako celok je zaneprázdnená migráciou na mobilné centrum Visual Studio, do ktorého sa teraz môžu prihlásiť noví používatelia. . Rovnako ako v prípade ostatných nástrojov, o ktorých sa tu hovorí, je integrácia HockeyApp do vašej aplikácie dosť jednoduchá a sadu SDK je možné integrovať manuálne alebo pomocou niektorej z klientskych aplikácií poskytovaných HockeyApp.
Cena za HockeyApp je tiež celkom jednoduchá. Vývojári s menej ako 10 aplikáciami môžu službu využívať zadarmo a pre každú aplikáciu má neobmedzený počet testerov. Ceny po tomto budú odstupňované podľa počtu aplikácií, ktoré máte, s plánmi začínajúcimi od 30 dolárov za mesiac až pre 15 aplikácií.
Hra na oboch stranách mobilného plotu
Na beta testovanie vašej mobilnej aplikácie je k dispozícii veľa nástrojov, ale vybral som si ich, pretože všetky podporujú testovanie aplikácií pre iOS a Android. V začiatkoch mobilného ekosystému bolo možné zacieliť iba na iOS alebo Android, ale to už nie je životaschopné. A aj keď má Android v porovnaní so systémom iOS výrazný náskok, zameranie na jeden operačný systém iba stále obmedzuje váš dosah. Ďalej tento výber nástrojov obsahuje možnosti pre vývojárov, ktorí sa chcú sústrediť iba na testovanie svojich UX, a pre tých, ktorí hľadajú komplexnejšiu sadu testov.
Bez ohľadu na potenciálnu veľkosť vášho publika by otvorenie aplikácie pre beta testovanie nemalo byť niečím, nad čím musíte premýšľať. Vaši zákazníci sa budú tešiť z leštenejšieho produktu a vy sa budete tešiť z vernejších používateľov.
