Что такое тест-кейс или тестовый сценарий и зачем он нужен?
Тест-кейс — это записанная работа пользователя в приложении, чтобы не было необходимости каждый раз проводить руками одни и те же действия для проверки новой версии приложения. Достаточно один раз записать тестовый сценарий, и при каждом последующем автоматическом сканировании записанные действия будут воспроизводиться в приложении. Более подробная информация приведена в разделе «Тест-кейсы» Руководства пользователя.
Чем отличается ручной режим сканирования от автоматического?
При ручном сканировании работа с приложением (клики по кнопкам, ввод текста и т. д.) осуществляется пользователем в ручном режиме, после чего Stingray анализирует полученные в результате работы данные и выявляет уязвимости. Для автоматического режима необходимо записать тестовый сценарий, во время которого Stingray запишет все ваши действия в приложении и при автоматическом режиме сканирования самостоятельно воспроизведет все действия, имитируя работу реального пользователя. Более подробная информация о видах сканирования приведена в разделе «Запуск сканирования» Руководства пользователя.
Можно ли запустить автоматический режим сканирования без записи тестового сценария?
Да, это можно сделать, с помощью CLI инструмента. В этом случае будут проведены динамические и статические проверки без анализа данных, которые генерируются при работе пользователя с приложением. Более подробная информация приведена в разделе «Запуск сканирования из командной строки» Руководства пользователя.
При запуске автоматического сканирования записанный тест-кейс не воспроизводится, как должен, почему это происходит?
Так как запускаемое во время работы сканирования приложение подвергается вмешательству, скорость работы может немного уменьшаться. Для записи тестовых сценариев рекомендуется делать небольшую задержку в 2-3 секунды между действиями в интерфейсе приложения.
Сканирование или тестовый сценарий находится в состоянии «Создан» и не меняется, почему это произошло?
Запуск сканирования и запись тестового сценария используют сканирующие агенты. Сканирующий агент может обрабатывать одно сканирование или один тестовый сценарий и не может работать параллельно. В случае, если нет доступных агентов, сканирование или тестовый сценарий встают в очередь и ожидают, когда освободится подходящий агент. Для решения проблемы необходимо проверить, нет ли на данный момент работающих сканирований или записываемых сценариев и завершить их. Более подробная информация приведена в разделе «Результаты сканирования» Руководства пользователя.
Что означают ошибки «Main Window lost focus» и «Too much ANR messages»?
При запуске сканирования или записи тестовых сценариев перед началом проводятся проверки, что основное окно приложения не перекрывается никакими сообщениями, диалоговыми окнами и т. д. Если за заданный временной интервал приложение не загрузилось и на экране отображается другое приложение, возникает ошибка «Main Window lost focus». Если же перекрывающее окно является системным сообщением об ошибке и количество этих ошибок выше заданного — сканирование не запускается с ошибкой «Too much ANR messages» (в этом случае рекомендуется перезагрузка сканирующего агента).
Какие проверки осуществляет Stingray?
На данный момент в Stingray реализованы практики SAST, DAST и IAST. Это означает, что выполняются проверки по декомпилированным исходникам, анализ взаимодействия приложения с системой и сторонними компонентами, а также имитация атак на приложения методом черного ящика. Полный список всех уязвимостей можно уточнить в документации. Обратитесь к разделу «Рекомендации по безопасной разработке» приложений Руководства пользователя.