Granges de Mòbils: Com Testejar Aplicacions Mòbils en el heterogeni mercat de dispositius

Què és una granja de dispositius mòbils?

El terme granja de mòbils fa referència a un entorn de proves que permet a desenvolupadors i membres de QA implementar aplicacions compatibles i testejades en una gran varietat de terminals mòbils, siguin reals, emuladors, simuladors o navegadors web. Es tracta de dispositius mòbils connectats al núvol i accessibles de forma remota a través de la xarxa mitjançant serveis proveïts.

Hi ha diversos tipus de núvols de dispositius. En alguns d'ells es proporcionen emuladors i simuladors. Altres ofereixen accés directament als dispositius físics reals, la qual cosa ofereix un avantatge més gran als usuaris d'aquests serveis.

En aquest post veurem algunes de les solucions més conegudes i reconegudes de granges de mòbils juntament amb els avantatges i inconvenients que presenten cadascuna d'elles.

Avantatges de l'ús de granges de mòbils en el núvol

Amb l'objectiu que la nostra aplicació compleixi les expectatives de l'usuari (temps d'espera minimitzats, experiència d'usuari (UX) el més cridanera i atractiva possible, etc.), es fa necessari comptar amb un procés de proves automatitzades durant el cicle de desenvolupament, evolució i manteniment de l'aplicació.

Gràcies a les granges els desenvolupadors poden accedir directament a dispositius concrets en els quals executar les aplicacions, veure com es comporten sota diferents escenaris i interactuar amb ells.

L'ús dels núvols de granges de mòbils de tercers ens permet:

• Fer ús d'una àmplia gamma de terminals amb totes les seves característiques HW i SW juntament amb altres paràmetres.
• Ens evitem haver de comprar tot un parc de dispositius mòbils amb el cost que això suposa, el manteniment dels mateixos, el seu allotjament físic, etc.
• Es pot integrar amb els fluxos de CI/CD fàcilment.
• S'obtenen uns resultats detallats de les proves en forma de vídeos, registres, informes, captures de pantalla.
• És fàcil d'usar i estan a disposició pràcticament a l'instant ja que simplement es requereix contractar el pla de la solució escollida i una petita configuració per començar a llançar els nostres processos de proves.

Desavantatges

Les granges tenen la pega que no deixen de ser serveis de tercers, amb la qual cosa es depèn de la seva disponibilitat, actualització dels dispositius, temps d'espera si es tracta d'una solució molt demandada, confiar en la seguretat que proporcionen i assumir els costos derivats del pagament d'aquest pla.

Granja Vs Laboratori propi

En funció de les necessitats que es desitgen cobrir i tenint en compte la mida de la companyia que realitza els desenvolupaments, una alternativa als núvols de granges pot ser muntar un laboratori de dispositius mòbils propi. Aquesta solució ens permet prescindir dels serveis de tercers associats a les granges de mòbils.

Avui en dia és tan ingent la quantitat de dispositius, sistemes, navegadors i variables que poden donar-se que us imagineu com seria realitzar totes les bateries de proves de forma manual? I no parlem només de proves funcionals que cobreixen un gran espectre de les proves; les proves instrumentals són una de les peces claus per validar la interfície i el seu comportament i aconseguir així una aplicació de més qualitat.

Moltes núvols de granges de dispositius permeten l'execució de proves paral·leles, podent llançar scripts de prova en múltiples dispositius simultàniament amb el consegüent estalvi de temps i obtenint resultats més ràpids per prendre les mesures adequades. La nostra aplicació estaria preparada més ràpidament per sortir al mercat!

Diferents solucions de granges

Existeixen múltiples solucions de núvols de terminals mòbils. Hem fet una petita selecció de les més conegudes i utilitzades que us expliquem a continuació.

AWS Device Farm

Sens dubte, la que s'emporta la palma en les solucions de granges de mòbils és AWS Device Farm sent líder del mercat.

AWS Device Farm és un servei que ens permet provar les nostres aplicacions en dispositius reals per assegurar el correcte funcionament ja sigui en sistemes Android, iOS o web i en diferents smartphones, tauletes o navegadors web.

El cost d'ús d'aquesta solució és una mica diferent, ja que no es basa en una quota mensual per nombre de dispositius, sinó que inclou el factor temps en el seu model de pagaments.

El desglossament de models de pagament per a dispositius mòbils que inclou actualment és:

• Pagament per ús. Es paga en funció dels minuts d'ús dels dispositius a un preu de $0,17 el minut. Inclou una prova gratuïta única de 1000 minuts a partir de la qual comença el cobrament esmentat.
• Proves i accés il·limitats. Aquest pla de pagament permet proves il·limitades i accés remot des de 250 $ al mes per ranura. Cada ranura es correspon amb una execució, és a dir, si es programa l'execució d'una prova en 10 dispositius i tenim contractada una ranura fins que no acabi l'execució de la prova en 1 dispositiu no començarà la següent. Les ranures el que proporcionen és simultaneïtat; independentment de la quantitat de proves o accessos remots que es facin el cost mensual no variarà.

Dispositius privats. Des de 200 € al mes es pot disposar de dispositius d'ús exclusiu amb la configuració de programari i maquinari sol·licitats.

Pel que fa a les proves en navegadors web el model de pagament és per minuts d'ús de la instància, amb un preu de $0,005 per minut d'ús en qualsevol dels navegadors suportats.

Les principals característiques d'AWS Device Farm són la generació de vídeos i registres que ens ajuden a identificar més ràpidament problemes en les aplicacions executades, s'integra amb la majoria d'eines d'integració contínua i lliurament contínua i posseeix un amplíssim parc de dispositius als quals accedir.

Sauce Labs

Sauce Labs posseeix una gran varietat de dispositius Android i iOS (més de 2000) distribuïts en núvols públics d'Alemanya i Estats Units. Permet provar les nostres aplicacions mòbils i aplicacions web en diferents navegadors i dispositius mòbils, tant reals com en emuladors/simuladors. Aquesta solució s'integra fàcilment amb les eines de CI/CD i permet als desenvolupadors maximitzar la seva productivitat amb les eines de depuració que proporciona com els registres de vídeo, captures i fitxers de log.

El model de pagaments de Sauce Labs inclou els plans:

• Live Testing. Proves manuals (sense automatització) en milers de navegadors, dispositius mòbils reals i emuladors/simuladors. Aquest pla té un preu de $39/mes si la facturació és anual o $49/mes si la facturació és mensual.
• Virtual Cloud. Proves automatitzades i manuals en milers de navegadors combinats amb diferents sistemes operatius i en emuladors/simuladors mòbils. Aquest pla té un preu de $149/mes si la facturació és anual o $199/mes si la facturació és mensual.
• Real Device Cloud. Proves automatitzades i manuals per a aplicacions mòbils en milers de dispositius mòbils reals. Aquest pla té un preu de $199/mes si la facturació és anual o $249/mes si la facturació és mensual.
• Pla personalitzat per a empreses en funció de les necessitats i funcions a utilitzar.

Els preus dels plans llistats a dalt són per a execucions individuals, sense paral·lelització. En el moment en què es desitja paral·lelitzar proves, el cost augmenta en funció del nombre d'execucions en paral·lel escollides.

Firebase Test Lab (Google)

Firebase Test Lab és una infraestructura basada en el núvol per a la realització de proves sobre les nostres aplicacions en un ampli rang de dispositius i configuracions, el que ens dona una millor visió de la qualitat i el comportament de les aplicacions quan un usuari final vagi a interactuar amb elles. Test Lab disposa de múltiples dispositius reals connectats en un centre de dades de Google que permeten oferir als usuaris les combinacions que necessiten per a les seves proves pel que fa a hardware i software.

Firebase només inclou 2 plans per a tots els seus mòduls (la majoria d'ells d'ús parcial o completament gratuïts):

• Pla Spark. No té cost però sí un límit de 10 tests/dia en dispositius virtuals i 5 tests/dia en dispositius físics.
• Blaze plan. Per a dispositius virtuals no té cost fins a 60 minuts/dia a partir dels quals el cost és de $1/dispositiu/hora. Per a dispositius reals no té cost fins a 30 minuts/dia a partir dels quals el cost és de $5/dispositiu/hora.

Les principals característiques d'aquesta solució són la integració amb fluxos automatitzats, la inclusió d'un rastrejador intel·ligent que navega per la nostra aplicació sense necessitat de tests, i l'A/B Testing que ens permet obtenir feedback dels usuaris finals sobre les nostres aplicacions.

BrowserStack

BrowserStack proporciona accés a més de 2000 navegadors i dispositius reals Android i iOS per realitzar proves de les nostres aplicacions mòbils i web. La solució de BrowserStack és escalable i flexible, permetent realitzar proves unitàries gratuïtes de Javascript amb més de 750 configuracions possibles.

El model de pagament de BrowserStack està pensat per oferir múltiples permutacions en funció de la necessitat, podent combinar el nombre d'usuaris, proves manuals i/o automàtiques, en navegadors web desktop/mobile i/o dispositius mòbils… Els preus oscil·len entre els $29 al mes pel pla més senzill (proves manuals en navegadors web d'escriptori per a un únic usuari) fins al pla més complet per 199$.

Una de les característiques més rellevants de BrowserStack és la seva simplicitat d'ús, ja que sense gairebé res de configuració simplement s'inicia sessió i ja estem en disposició de començar a utilitzar-lo. Ofereix informes detallats dels errors, registres i captures de pantalla per a depuració en temps real i poder solucionar ràpidament els problemes de les nostres aplicacions.

A més d'això, utilitza gestos naturals d'interacció amb els dispositius mòbils com si tinguéssim el dispositiu a la nostra mà.

Kobiton

Kobiton és una plataforma de proves d'aplicacions que ofereix proves manuals i automatitzades en dispositius reals, bé al núvol o en mode on-premise. Una de les principals característiques de Kobiton és que permet configurar el núvol de dispositius connectant dispositius que tinguem on-premise o fins i tot qualsevol dispositiu 'solt' de manera agregada als dispositius del núvol i conformar així un núvol de prova d'aplicacions híbrid.

El model de pagaments de Kobiton inclou els plans:

• Start up. Per a equips que necessiten accés ràpid a dispositius reals. Inclou 500 minuts al mes per a usuaris il·limitats i 5 exportacions Appium. Aquest pla té un cost de $75 al mes.
• Accelerate. Per a equips que necessiten incloure ràpidament automatització de les proves. Inclou 3000 minuts al mes per a usuaris il·limitats i 10 exportacions Appium. Aquest pla té un cost de $390 al mes si la facturació és mensual i de $3960 a l'any si la facturació és anual.
• Scale. Per a equips que desitgen incloure integració contínua i cobrir l'ampli ventall de mercat, assegurant així la qualitat de les seves aplicacions. Inclou 7500 minuts al mes per a usuaris il·limitats i 20 exportacions Appium. Aquest pla té un cost de $9000 anuals.
• Enterprise. Per a una experiència robusta i completa més enllà dels plans anteriors.

Un dels majors avantatges de Kobiton en els seus plans de pagament és que no té límit de sessions concurrents en cap d'ells i s'integra fàcilment amb les eines de CI/CD del mercat.

Comparativament amb AWS Device Farm, Kobiton ofereix l'avantatge del model híbrid i on-premise per aportar entorns més segurs.

Perfecte Mobile

Perfecto Mobile és una eina per a proves sobre aplicacions mòbils que ens permet provar-les tant en dispositius reals com en emuladors/simuladors, sense el problema del manteniment de dispositius.

Les principals característiques d'aquesta solució són la fàcil integració amb eines de CI/CD i amb frameworks d'automatització de proves com Appium i XCUITest. Suporta milers de dispositius, sistemes operatius i combinacions de navegadors. Genera informes detallats incloent la causa arrel de l'anàlisi i registres de les zones de major problema.

El model de pagaments de Perfecto Mobile inclou els plans:

• Live. Proves manuals (sense automatització) en milers de navegadors, dispositius mòbils reals i emuladors/simuladors. Aquest pla té un preu de $83/mes amb facturació anual.
• Automatitza. Proves automatitzades i manuals en milers de navegadors, dispositius mòbils reals i emuladors/simuladors. Aquest pla té un preu de $125/mes amb la facturació anual.
• Sense scripts. Sense automatització, l'execució es realitza en un núvol privat.
• Pla personalitzat per a empreses en funció de les necessitats i funcions a utilitzar, incloent dispositius reals i virtuals dedicats.

Conclusions

Les granges de mòbils són una de les millors solucions per obtenir aplicacions professionals i de qualitat, i encara que faciliti la vida de les proves enormement no ens eximeix d'implementar i configurar l'automatització de les proves i mantenir-la en el temps.

Caldrà valorar en cada cas particular quin és el millor enfocament en funció de la mida del projecte, el mercat objectiu, el volum de la pròpia companyia i molts altres factors propis que ens ajudaran a decidir si optar només per granges de mòbils, conjugar aquestes granges amb altres enfocaments de proves o si utilitzar únicament altres enfocaments.