вторник, 5 августа 2014 г.

Чек лист тестирования мобильных устройств

Чек лист по тестированию мобильных приложений
Проверка функционала
Проверка функциональности на корректных данных (текущая дата, короткие имена и т.д.)
Проверка на некорректных значениях (например: пустые поля, длинные имена, установка на телефоне даты в прошлом и т.д.)
Проверка настроек приложения и корректность их применения
Быстрые «клики» по элементам интерфейса (переход по категориям, переход по записям внутри категории)
Если есть готовый список и поле для вбивания параметров, то проверить поведение, когда в поле появляется подсказка из словаря и одновременно кликаешь по записи в списке <> подсказке. возможны конфликты между подсказкой айфона и реальным выбором.
Проверка контента: адекватный размер изображений (до 1МБ) и достаточное качество. Дополнительно смотреть на iPhone4 (большее разрешение) + см.MobileHIG.pdf chapter 11 для требований к разрешению изображений.
Интерфейс
Проверка интерфейса приложения на соответствие требованиям Apple (Human interface guidelines for iPhone\iPad)
GUI: иконки соответствуют тому, к чему относятся (хелп – знак вопроса, настройки – шестеренка и т.д.), новые окна плавно открываются справа, присутсвует значок загрузки если происходит длительный процесс)
Наличие экрана Game Over и корректные ссылки на нем – для игровых проектов (+ корректная отработка попадания на этот экран)
Постоянная обратная связь с пользователем
Реакция кнопок на нажатие
Сообщения при загрузке контента/прогресс
Сообщения при ошибке доступа к сети
Наличие сообщений при попытке удалить важную информацию
Наличие экрана/сообщения при окончании процесса/игры (экран Game over)
Ориентация экрана/разрешения/версии
Размер экрана и тач-интерфейс
HIG
Все элементы должны быть такого размера, чтобы пользователь мог однозначно попасть по ним
Отсутсвие пустых экранов в приложении (либо опускаем такие экраны, либо пишем на них пояснительный текст для первого открытия)
Скорость отклика элементов должна быть
а) достаточно высокой (использовать старые устройства, если поддерживаются приложением),
б) у всех нажимаемых элементов должно быть нажатое состояние
Различные разрешения экрана и версии iOS (для продуктов Apple)
На ретине элементы интерфейса/текст будут мельче.
Момент. Картинки для ретина экрана могут попасть в неретина версию и тогда будут очень большими.
Версии ОS – приложение не должно устанавливаться на неподдерживаемые устройства + обязательная проверка на всех возможных из поддерживаемых девайсов (полные тесты на ретина/неретина/айпад с последними прошивками + дополнительные проверки на девайсах с другими прошивками)
Различные функции на девайсах: отсутствие/наличие камеры(ipad) (автофокуса), отсутствие/наличие GPS
Загрузка файлов больших объемов
Локализация
Отрицатильные координаты
Звонки/смс/ммс
Тест на совместимость с другими приложениями\функциональностью iPhone (будильник\таймер\напоминания\входящий звонок\смс\ммс, аудио-плеер)
Edge/wi-fi, wap/web, закрытые порты
Корректность работы приложения при использовании wi-fi\gprs (включая обрывы связи\ее отсутствие)
Махинации с popup/logout во время передачи данных
Фото/плееры
Проверка корректности  работы приложения с камерой iPhone (если такая функциональность поддерживается), а также корректность работы приложения с iPod.
Звук не пропадает при подключении наушников
Аудио не играет, когда экран выключен, если это не является основной чертой (например, приложение является музыкальный плеер).
Аудио не играет, если экран блокирован, если это не является основной чертой.
Прочее взаимодействие с телефоном
Работа приложения с акселерометром (поворот экрана в соответствии с положением iPhone, использование функции акселерометра для получения данных приложением (шагомер))
Поведение приложения при переходе iPhone в спящий режим
Аудио не играет на домашнем экране или над другим приложением, если это не является основной чертой.
Аудио возобновляется, когда приложение возвращается на первый план, или указывает пользователю, что воспроизведение находится в состоянии паузы.
Карта памяти
Перенос приложения на карту памяти осуществляется корректно
Перезагрузка/батарея
Ресурсы устройства
Анализ потребления ресурсов с использованием программам Profiling/Memory leaks
нехватка ресурсов памяти
Проверка утечек памяти с использованием программы Instruments (стандартное приложение MacOS). Не более 30мб на 2г айфон/айпод, примерно 70мб для всех девайсов до 2-го айпада
Утечка памяти особенно может проявляться на окнах, с большим количеством информации (длинные списки как пример), во время задач с длительным workflow (когда пользователь долго не выходит из приложения), при некорректно работающем кэшировании изображений
Проверка на корректность работы приложения с памятью iPhone (memory leaks)
Crash
Поиск возможных мест «падения» приложения (crash) и причин их возникновения
Как достать крэш-лог, если нет xcode: http://aplus.rs/apple/how-to-find-crash-logs-for-iphone-applications-on-mac-vista-and-xp/

In-app purchases
2 типа покупок:
а) восстанавливаемые (апгрейд приложения, для примера)
б) невосстанавливаемые (кредиты)
Соответствие цены/содержимого, заявленной в приложении, тому, что попадает к пользователю
Апдейты
Обязательно проверять места, куда вносились изменения.
Убедиться, что поддерживаются те же версии iOS, что и предыдущая версия (создание урезанной версии для таких девайсов. Пример. В новой версии приложения был добавлен видео-плеер, не поддерживающийся старой версией iOS)
Мультиплеерные игры.
Корректность подключения игроков (напр., списывание баланса только после подключения)
Временные лаги
Подключение через различные сети
Корректное поведение при отключении игроков
Подключение ботов (если используются)



4 комментария: