国外移动 app 云测试平台的对比与分析
由于国内外的云测试平台使用环境等因素的不同,我们分别对国内外主流的几个云测试平台进行对比。
国外主流的云测试平台:
· Xamarin Test Cloud (https://xamarin.com/test-cloud/) )
· Sauce Labs (https://saucelabs.com/mobile/) )
· Google Cloud Test Cloud(https://developers.google.com/cloud-test-lab/) )
· AWS Device Farm (https://aws.amazon.com/device-farm/) )
图1 - 国外主流的云测试平台对比
从上图我们可以看到一些特点:
· 在测试设备的数量上,Xamarin Test Cloud和Sauce Labs都是非常有优势的,虽然Xamarin Test Cloud统计的是测试设备的数量,而Sauce Labs是平台的数量;
· 亚马逊自己的FireOS只被自己的云测试平台支持,在国内我们也能看到类似的例子;
· 所有的云测试平台都支持app测试,但是只有TestDroid支持游戏测试;
· 对于国内云测试平台提供的人工测试,安全测试,内测分发和众包测试,国外这些云测试平台都是不支持的,需要结合别的工具和框架进行使用。不过对于手动测试,Sauce Labs和Perfecto这两个云测试平台支持租用测试设备进行手动测试;
· 对于云测试基础功能的兼容测试,以及脚本测试,崩溃分析和持续集成,这些云测试平台都是支持的;
· 只有Xamarin Test Cloud,TestDroid和AWS Device Farm支持性能监控;
· 对于脚本测试所使用的移动app自动化测试框架,每个平台都不甚相同:
· Xamarin Test Cloud支持Calabash(iOS和Android)和自己的Xamarin.UITest;
· TestDroid支持很多框架,包括支持iOS的Calabash,appium,UI Automation和 Jasmine,以及支持Android的Calabash,appium,Espresso,Robotium和uiautomator;
· Sauce Labs支持自己的开源框架appium;
· Google Cloud Test Lab则支持Espresso,Robotium和Robo test;
· AWS Device Farm也支持很多框架,包括支持iOS的Calabash,appium,UIAutomation和XCTest,以及支持Android的Calabash,appium,JUnit,Espresso,Robotium和uiautomator。
· Xamarin Test Cloud,TestDroid和Sauce Labs都有自己的移动app测试脚本录制工具,分别是:Xamarin Test Recorder,TestDroid Recorder和appium inspector。
综合来看,对于国外的云测试平台,如果侧重的是测试设备的覆盖程度,选择Xamarin Test Cloud和Sauce Labs会更合适;如果需要测试FireOS设备,那就选择AWS Device Farm;如果侧重的是脚本测试中支持的语言和框架,那就可以选择TestDroid和AWS Device Farm;如果是进行游戏测试,只能选择TestDroid;如果要远程连接测试设备进行手动测试,那就需要选择Sauce Labs和Perfecto;如果在测试过程中需要同步监测性能,就不能选择Sauce Labs和Google Cloud Test Lab。**