Важность метрик в тестировании программного обеспечения
В сфере тестирования программного обеспечения метрики играют ключевую роль в оценке эффективности, качества, рисков и производительности тестирования. Для старшего менеджера по тестированию понимание и отслеживание ключевых метрик тестирования помогают принимать обоснованные решения и эффективно сообщать о статусе и качестве программного продукта. В этой статье мы рассмотрим основные метрики, используемые в тестировании, и приведем примеры их расчета и применения.
Метрики выполнения тестов
Процент выполнения тестов
Процент тестовых случаев, которые были выполнены из общего числа запланированных на цикл тестирования.
Пример: Если в тестовом цикле запланировано 100 тестовых случаев, и выполнено 85, то процент выполнения будет:
Процент успешных тестов
Процент тестовых случаев, которые были успешно пройдены.
Пример: Если из 85 выполненных тестов 75 были успешными, то процент успешных тестов будет:
2. Метрики дефектов
Плотность дефектов
Измеряет количество дефектов на модуль или функцию.
Пример: Если в модуле было найдено 5 дефектов, а его размер составляет 1000 строк кода, то плотность дефектов будет:
Распределение серьезности дефектов
Отслеживает распределение дефектов по уровням серьезности (например, критические, основные, незначительные), что помогает приоритизировать исправление дефектов.
Утечка дефектов
Измеряет, сколько дефектов было пропущено во время тестирования и обнаружено после релиза. Это показатель покрытия тестирования и его эффективности.
Пример: Если после релиза было найдено 10 дефектов, а общее количество найденных дефектов составляет 100, то утечка дефектов будет:
Процент разрешенных дефектов
Указывает, с какой скоростью выявленные дефекты исправляются и закрываются.
Пример: Если было выявлено 50 дефектов и 40 из них разрешены, то процент разрешенных дефектов составит:
3. Метрики покрытия
Покрытие тестами
Представляет процент приложения или кода, покрытого тестами. Существует несколько типов покрытия, включая покрытие требований, кода и функциональности.
Пример: Если из 20 требований протестировано 15, то покрытие будет:
Покрытие кода
Специально для юнит-тестирования, измеряет процент кода, который был выполнен тестами. Существуют различные виды, такие как покрытие операторов, веток и функций.
4. Качество метрик
Эффективность удаления дефектов (DRE)
Измеряет эффективность обнаружения и удаления дефектов в процессе тестирования.
Пример: Если было удалено 30 дефектов во время разработки из общего количества 50 дефектов (включая найденные после релиза), то DRE будет:
Среднее время обнаружения (MTTD) и среднее время исправления (MTTR)
MTTD измеряет среднее время, необходимое для обнаружения дефекта, в то время как MTTR измеряет время, затраченное на его исправление. Эти метрики помогают оценить реакцию и эффективность команды контроля качества.
Дефекты, сообщенные клиентами
Отслеживает количество дефектов, сообщенных пользователями после релиза. Высокое количество указывает на недостатки в тестировании или недостаточное покрытие тестами.
5. Метрики производительности
Время отклика
Измеряет, сколько времени требуется системе для ответа в определенных условиях, что особенно важно для производственного и нагрузочного тестирования.
Пропускная способность
Указывает количество транзакций, которые система может обработать за единицу времени. Это критично для систем с высоким объемом нагрузки, таких как банковские системы.
Процент ошибок
Отслеживает процент ошибок или неудачных транзакций во время тестирования производительности.
6. Метрики автоматизации
Покрытие автоматизации
Измеряет степень автоматизации тестов в терминах автоматизированных тестовых случаев по сравнению с общим количеством тестовых случаев.
Пример: Если автоматизировано 30 из 100 тестов, то покрытие автоматизации будет:
Экономия времени за счет автоматизации
Оценивает сокращение времени выполнения тестирования благодаря автоматизации.
Процент успешности автоматизированных тестов
Отслеживает процент успешных автоматизированных тестов для обеспечения надежности и стабильности тестовых скриптов.
7. Метрики управления проектом
Метрики затрат и усилий на тестирование
Измеряет общее время и затраты, затраченные на тестирование, включая планирование, проектирование тестов, выполнение тестов и составление отчетов.
Время обработки дефектов
Измеряет время между моментом, когда дефект был зарегистрирован, и моментом его разрешения.
Метрики риск-ориентированного тестирования
В риск-ориентированном тестировании важны метрики, такие как риск-экспозиция (на основе вероятности дефекта и его влияния), которые помогают сосредоточить усилия тестирования на высокорисковых областях.
Заключение
Эти метрики предоставляют комплексный взгляд на процесс тестирования, качество продукта и помогают выявить области для улучшения, что особенно важно для поддержания стандартов качества, особенно в секторах с высокими требованиями к регулированию, таких как банковское дело. Понимание и использование этих метрик позволяет менеджерам по тестированию принимать обоснованные решения и улучшать процессы тестирования, что в конечном итоге способствует созданию более качественного программного обеспечения.
Хотите лучше разбираться в тестировании и узнать много примеров из практики от опытных преподавателей - приходите на наш курс В тестировщики с нуля!
В тестировщики с нуля
320$
Lite
Включает в себя: - Пакет В тестировщики с нуля - Интенсив по GIT - 1 месяц стажировки
400$
Medium
Включает в себя: - Пакет В тестировщики с нуля - Интенсив по GIT - Доступ к вебинарам - 2 месяца стажировки
540$
Maximum
Включает в себя: - Пакет В тестировщики с нуля - Интенсив по GIT - Доступ к вебинарам - Курс Тестирование API - 4 месяца стажировки