Granjas de Móviles: Comment Tester des Applications Mobiles sur le Marché Hétérogène des Appareils

Qu'est-ce qu'une ferme de dispositifs mobiles ?

Le terme ferme de mobiles fait référence à un environnement de test qui permet aux développeurs et aux membres de l'assurance qualité de déployer des applications compatibles et testées sur une grande variété de terminaux mobiles, qu'ils soient réels, émulateurs, simulateurs ou navigateurs web. Il s'agit de dispositifs mobiles connectés au cloud et accessibles à distance via le réseau grâce aux services fournis.

Il existe différents types de nuages de dispositifs. Certains d'entre eux fournissent des émulateurs et des simulateurs. D'autres offrent un accès direct aux dispositifs physiques réels, ce qui offre un avantage supplémentaire aux utilisateurs de ces services.

Dans cet article, nous examinerons certaines des solutions de fermes de mobiles les plus connues et reconnues, ainsi que les avantages et les inconvénients de chacune d'entre elles.

Avantages de l'utilisation des fermes mobiles dans le cloud

Dans le but que notre application réponde aux attentes de l'utilisateur (temps d'attente minimisés, expérience utilisateur (UX) la plus attrayante et attractive possible, etc.), il est nécessaire d'avoir un processus de tests automatisés pendant le cycle de développement, d'évolution et de maintenance de l'application.

Grâce aux fermes, les développeurs peuvent accéder directement à des dispositifs spécifiques sur lesquels exécuter les applications, voir comment elles se comportent dans différents scénarios et interagir avec eux.

L'utilisation des fermes mobiles dans le cloud de tiers nous permet de :

• Utiliser une large gamme de terminaux avec toutes leurs caractéristiques HW et SW ainsi que d'autres paramètres.
• Éviter d'avoir à acheter tout un parc de dispositifs mobiles avec le coût que cela implique, leur maintenance, leur hébergement physique, etc.
• S'intégrer facilement avec les flux CI/CD.
• Obtenir des résultats détaillés des tests sous forme de vidéos, journaux, rapports, captures d'écran.
• C'est facile à utiliser et disponible presque instantanément car il suffit de souscrire au plan de la solution choisie et de faire une petite configuration pour commencer à lancer nos processus de tests.

Inconvénients

Les fermes ont l'inconvénient de rester des services tiers, ce qui signifie que l'on dépend de leur disponibilité, de la mise à jour des dispositifs, des temps d'attente si c'est une solution très demandée, de la confiance en la sécurité qu'ils fournissent et d'assumer les coûts dérivés du paiement de ce plan.

Ferme Vs Laboratoire propre

En fonction des besoins que l'on souhaite couvrir et en tenant compte de la taille de l'entreprise qui réalise les développements, une alternative aux fermes mobiles dans le cloud peut être de monter son propre laboratoire de dispositifs mobiles. Cette solution permet de se passer des services tiers associés aux fermes mobiles.

Aujourd'hui, la quantité de dispositifs, systèmes, navigateurs et variables possibles est si énorme que pouvez-vous imaginer comment ce serait de réaliser toutes les batteries de tests manuellement ? Et nous ne parlons pas seulement de tests fonctionnels qui couvrent un large spectre de tests ; les tests instrumentaux sont l'une des pièces clés pour valider l'interface et son comportement, et ainsi obtenir une application de meilleure qualité.

De nombreuses fermes de dispositifs en nuage permettent l'exécution de tests parallèles, pouvant lancer des scripts de test sur plusieurs dispositifs simultanément avec le gain de temps et l'obtention de résultats plus rapides pour prendre les mesures appropriées. Notre application serait prête plus rapidement pour être mise sur le marché !

Différentes solutions de fermes

Il existe de nombreuses solutions de cloud pour terminaux mobiles. Nous avons fait une petite sélection des plus connues et utilisées que nous vous présentons ci-dessous.

AWS Device Farm

Sans aucun doute, celle qui remporte la palme des solutions de fermes de mobiles est AWS Device Farm, leader du marché.

AWS Device Farm est un service qui nous permet de tester nos applications sur des appareils réels pour assurer leur bon fonctionnement, que ce soit sur des systèmes Android, iOS ou web et sur différents smartphones, tablettes ou navigateurs web.

Le coût d'utilisation de cette solution est quelque peu différent car il ne repose pas sur un abonnement mensuel par nombre d'appareils, mais inclut le facteur temps dans son modèle de paiement.

La répartition des modèles de paiement pour les appareils mobiles actuellement incluse est :

• Paiement à l'utilisation. Le paiement est basé sur les minutes d'utilisation des dispositifs à un tarif de 0,17 $ par minute. Inclut un essai gratuit unique de 1000 minutes après lequel la facturation mentionnée commence.
• Tests et accès illimités. Ce plan de paiement permet des tests illimités et un accès à distance à partir de 250 $ par mois par slot. Chaque slot correspond à une exécution, c'est-à-dire, si l'exécution d'un test est programmée sur 10 dispositifs et que nous avons contracté un slot, la prochaine exécution ne commencera pas tant que l'exécution du test sur 1 dispositif ne sera pas terminée. Les slots fournissent la simultanéité ; indépendamment du nombre de tests ou d'accès à distance effectués, le coût mensuel ne variera pas.

Dispositifs privés. À partir de 200 $ par mois, vous pouvez disposer de dispositifs à usage exclusif avec la configuration logicielle et matérielle demandée.

En ce qui concerne les tests sur les navigateurs web, le modèle de paiement est basé sur les minutes d'utilisation de l'instance, avec un prix de 0,005 $ par minute d'utilisation sur n'importe lequel des navigateurs pris en charge.

Les principales caractéristiques d'AWS Device Farm sont la génération de vidéos et de journaux qui nous aident à identifier plus rapidement les problèmes dans les applications exécutées, il s'intègre avec la plupart des outils d'intégration continue et de livraison continue et possède un très large parc de dispositifs auxquels accéder.

Sauce Labs

Sauce Labs possède une grande variété de dispositifs Android et iOS (plus de 2000) répartis dans des clouds publics en Allemagne et aux États-Unis. Il permet de tester nos applications mobiles et applications web sur différents navigateurs et dispositifs mobiles, tant réels que sur émulateurs/simulateurs. Cette solution s'intègre facilement avec les outils de CI/CD et permet aux développeurs de maximiser leur productivité avec les outils de débogage qu'elle fournit, tels que les enregistrements vidéo, les captures d'écran et les fichiers de log.

Le modèle de paiement de Sauce Labs comprend les plans :

• Tests en direct. Tests manuels (sans automatisation) sur des milliers de navigateurs, de véritables appareils mobiles et des émulateurs/simulateurs. Ce plan coûte 39 $/mois si la facturation est annuelle ou 49 $/mois si la facturation est mensuelle.
• Virtual Cloud. Tests automatisés et manuels sur des milliers de navigateurs combinés avec différents systèmes d'exploitation et sur des émulateurs/simulateurs mobiles. Ce plan coûte 149 $/mois si la facturation est annuelle ou 199 $/mois si la facturation est mensuelle.
• Real Device Cloud. Tests automatisés et manuels pour les applications mobiles sur des milliers de dispositifs mobiles réels. Ce plan coûte 199 $/mois si la facturation est annuelle ou 249 $/mois si la facturation est mensuelle.
• Plan personnalisé pour les entreprises en fonction des besoins et des fonctions à utiliser.

Les prix des plans listés ci-dessus sont pour des exécutions individuelles, sans parallélisation. Au moment où l'on souhaite paralléliser les tests, le coût augmente en fonction du nombre d'exécutions en parallèle choisies.

Laboratoire de test Firebase (Google)

Firebase Test Lab est une infrastructure basée sur le cloud pour la réalisation de tests sur nos applications sur une large gamme de dispositifs et de configurations, ce qui nous donne une meilleure vision de la qualité et du comportement des applications lorsque l'utilisateur final interagit avec elles. Test Lab dispose de multiples dispositifs réels connectés dans un centre de données de Google qui permettent d'offrir aux utilisateurs les combinaisons dont ils ont besoin pour leurs tests en termes de matériel et de logiciel.

Firebase n'inclut que 2 plans pour tous ses modules (la plupart d'entre eux sont partiellement ou complètement gratuits) :

• Plan Spark. Il n'a pas de coût mais il y a une limite de 10 tests/jour sur des dispositifs virtuels et 5 tests/jour sur des dispositifs physiques.
• Plan Blaze. Pour les appareils virtuels, il n'y a pas de coût jusqu'à 60 minutes/jour, après quoi le coût est de 1 $/appareil/heure. Pour les appareils réels, il n'y a pas de coût jusqu'à 30 minutes/jour, après quoi le coût est de 5 $/appareil/heure.

Les principales caractéristiques de cette solution sont l'intégration avec des flux automatisés, l'inclusion d'un traceur intelligent qui navigue dans notre application sans besoin de tests, et le A/B Testing qui nous permet d'obtenir des retours des utilisateurs finaux sur nos applications.

BrowserStack

BrowserStack fournit un accès à plus de 2000 navigateurs et appareils réels Android et iOS pour tester nos applications mobiles et web. La solution de BrowserStack est évolutive et flexible, permettant de réaliser des tests unitaires gratuits de Javascript avec plus de 750 configurations possibles.

Le modèle de paiement de BrowserStack est conçu pour offrir de multiples permutations en fonction des besoins, en combinant le nombre d'utilisateurs, les tests manuels et/ou automatiques, sur des navigateurs web desktop/mobile et/ou des appareils mobiles… Les prix varient entre 29 $ par mois pour le plan le plus simple (tests manuels sur des navigateurs web de bureau pour un seul utilisateur) jusqu'au plan le plus complet à 199 $.

Une des caractéristiques les plus importantes de BrowserStack est sa simplicité d'utilisation, car sans presque aucune configuration, il suffit de se connecter et nous sommes déjà prêts à commencer à l'utiliser. Il offre des rapports détaillés des erreurs, des journaux et des captures d'écran pour le débogage en temps réel et pour pouvoir résoudre rapidement les problèmes de nos applications.

En plus de cela, utilisez des gestes naturels d'interaction avec les appareils mobiles comme si nous avions l'appareil en main.

Kobiton

Kobiton est une plateforme de tests d'applications qui offre des tests manuels et automatisés sur des appareils réels, soit dans le cloud, soit en mode on-premise. L'une des principales caractéristiques de Kobiton est qu'il permet de configurer le cloud d'appareils en connectant des appareils que nous avons on-premise ou même tout appareil 'isolé' de manière agrégée aux appareils du cloud et ainsi former un cloud de test d'applications hybride.

Le modèle de paiements de Kobiton inclut les plans :

• Start up. Pour les équipes qui ont besoin d'un accès rapide à des appareils réels. Comprend 500 minutes par mois pour des utilisateurs illimités et 5 exportations Appium. Ce plan coûte 75 $ par mois.
• Accélérer. Pour les équipes qui ont besoin d'inclure rapidement l'automatisation des tests. Comprend 3000 minutes par mois pour des utilisateurs illimités et 10 exportations Appium. Ce plan coûte 390 $ par mois si la facturation est mensuelle et 3960 $ par an si la facturation est annuelle.
• Échelle. Pour les équipes qui souhaitent inclure l'intégration continue et couvrir le large éventail du marché, assurant ainsi la qualité de leurs applications. Inclut 7500 minutes par mois pour des utilisateurs illimités et 20 exportations Appium. Ce plan coûte 9000 $ par an.
• Entreprise. Pour une expérience robuste et complète au-delà des plans précédents.

Un des plus grands avantages de Kobiton dans ses plans de paiement est qu'il n'y a pas de limite de sessions concurrentes dans aucun d'entre eux et qu'il s'intègre facilement avec les outils de CI/CD du marché.

Comparativement à AWS Device Farm, Kobiton offre l'avantage du modèle hybride et on-premise pour fournir des environnements plus sécurisés.

Parfait Mobile

Perfecto Mobile est un outil de test pour les applications mobiles qui nous permet de les tester à la fois sur des appareils réels et sur des émulateurs/simulateurs, sans le problème de la maintenance des appareils.

Les principales caractéristiques de cette solution sont la facilité d'intégration avec des outils CI/CD et des frameworks d'automatisation de tests tels que Appium et XCUITest. Elle prend en charge des milliers de dispositifs, systèmes d'exploitation et combinaisons de navigateurs. Elle génère des rapports détaillés incluant l'analyse de la cause racine et des enregistrements des zones de problème les plus importantes.

Le modèle de paiements de Perfecto Mobile inclut les plans :

• Live. Tests manuels (sans automatisation) sur des milliers de navigateurs, de véritables appareils mobiles et des émulateurs/simulateurs. Ce plan coûte 83 $/mois avec une facturation annuelle.
• Automatiser. Tests automatisés et manuels sur des milliers de navigateurs, de dispositifs mobiles réels et d'émulateurs/simulateurs. Ce plan est au prix de 125 $/mois avec une facturation annuelle.
• Sans script. Sans automatisation, l'exécution se fait dans un cloud privé.
• Plan personnalisé pour les entreprises en fonction des besoins et des fonctions à utiliser, y compris des dispositifs réels et virtuels dédiés.

Conclusions

Les fermes de mobiles sont l'une des meilleures solutions pour obtenir des applications professionnelles et de qualité, et bien que cela facilite grandement la vie des tests, cela ne nous dispense pas de mettre en œuvre et de configurer l'automatisation des tests et de la maintenir dans le temps.

Il faudra évaluer dans chaque cas particulier quelle est la meilleure approche en fonction de la taille du projet, du marché cible, du volume de la propre entreprise et de nombreux autres facteurs propres qui nous aideront à décider s'il faut opter uniquement pour des fermes mobiles, combiner ces fermes avec d'autres approches de tests ou utiliser uniquement d'autres approches.