автор Малаховская Екатерина
Важность метрик в тестировании программного обеспечения
В сфере тестирования программного обеспечения метрики играют ключевую роль в оценке эффективности, качества, рисков и производительности тестирования. Для старшего менеджера по тестированию понимание и отслеживание ключевых метрик тестирования помогают принимать обоснованные решения и эффективно сообщать о статусе и качестве программного продукта. В этой статье мы рассмотрим основные метрики, используемые в тестировании, и приведем примеры их расчета и применения.
  1. Метрики выполнения тестов

  • Процент выполнения тестов
Процент тестовых случаев, которые были выполнены из общего числа запланированных на цикл тестирования.
Пример: Если в тестовом цикле запланировано 100 тестовых случаев, и выполнено 85, то процент выполнения будет:
  • Процент успешных тестов
Процент тестовых случаев, которые были успешно пройдены.
Пример: Если из 85 выполненных тестов 75 были успешными, то процент успешных тестов будет:

2. Метрики дефектов

  • Плотность дефектов
Измеряет количество дефектов на модуль или функцию.
Пример: Если в модуле было найдено 5 дефектов, а его размер составляет 1000 строк кода, то плотность дефектов будет:
  • Распределение серьезности дефектов
Отслеживает распределение дефектов по уровням серьезности (например, критические, основные, незначительные), что помогает приоритизировать исправление дефектов.
  • Утечка дефектов
Измеряет, сколько дефектов было пропущено во время тестирования и обнаружено после релиза. Это показатель покрытия тестирования и его эффективности.
Пример: Если после релиза было найдено 10 дефектов, а общее количество найденных дефектов составляет 100, то утечка дефектов будет:
  • Процент разрешенных дефектов
Указывает, с какой скоростью выявленные дефекты исправляются и закрываются.
Пример: Если было выявлено 50 дефектов и 40 из них разрешены, то процент разрешенных дефектов составит:

3. Метрики покрытия

  • Покрытие тестами
Представляет процент приложения или кода, покрытого тестами. Существует несколько типов покрытия, включая покрытие требований, кода и функциональности.
Пример: Если из 20 требований протестировано 15, то покрытие будет:
  • Покрытие кода
Специально для юнит-тестирования, измеряет процент кода, который был выполнен тестами. Существуют различные виды, такие как покрытие операторов, веток и функций.

4. Качество метрик

  • Эффективность удаления дефектов (DRE)
Измеряет эффективность обнаружения и удаления дефектов в процессе тестирования.
Пример: Если было удалено 30 дефектов во время разработки из общего количества 50 дефектов (включая найденные после релиза), то DRE будет:
  • Среднее время обнаружения (MTTD) и среднее время исправления (MTTR)
MTTD измеряет среднее время, необходимое для обнаружения дефекта, в то время как MTTR измеряет время, затраченное на его исправление. Эти метрики помогают оценить реакцию и эффективность команды контроля качества.
  • Дефекты, сообщенные клиентами
Отслеживает количество дефектов, сообщенных пользователями после релиза. Высокое количество указывает на недостатки в тестировании или недостаточное покрытие тестами.

5. Метрики производительности
  • Время отклика
Измеряет, сколько времени требуется системе для ответа в определенных условиях, что особенно важно для производственного и нагрузочного тестирования.
  • Пропускная способность
Указывает количество транзакций, которые система может обработать за единицу времени. Это критично для систем с высоким объемом нагрузки, таких как банковские системы.
  • Процент ошибок
Отслеживает процент ошибок или неудачных транзакций во время тестирования производительности.

6. Метрики автоматизации

  • Покрытие автоматизации
Измеряет степень автоматизации тестов в терминах автоматизированных тестовых случаев по сравнению с общим количеством тестовых случаев.
Пример: Если автоматизировано 30 из 100 тестов, то покрытие автоматизации будет:
  • Экономия времени за счет автоматизации
Оценивает сокращение времени выполнения тестирования благодаря автоматизации.
  • Процент успешности автоматизированных тестов
Отслеживает процент успешных автоматизированных тестов для обеспечения надежности и стабильности тестовых скриптов.

7. Метрики управления проектом
  • Метрики затрат и усилий на тестирование
Измеряет общее время и затраты, затраченные на тестирование, включая планирование, проектирование тестов, выполнение тестов и составление отчетов.
  • Время обработки дефектов
Измеряет время между моментом, когда дефект был зарегистрирован, и моментом его разрешения.
  • Метрики риск-ориентированного тестирования
В риск-ориентированном тестировании важны метрики, такие как риск-экспозиция (на основе вероятности дефекта и его влияния), которые помогают сосредоточить усилия тестирования на высокорисковых областях.

Заключение

Эти метрики предоставляют комплексный взгляд на процесс тестирования, качество продукта и помогают выявить области для улучшения, что особенно важно для поддержания стандартов качества, особенно в секторах с высокими требованиями к регулированию, таких как банковское дело. Понимание и использование этих метрик позволяет менеджерам по тестированию принимать обоснованные решения и улучшать процессы тестирования, что в конечном итоге способствует созданию более качественного программного обеспечения.
Хотите лучше разбираться в тестировании и узнать много примеров из практики от опытных преподавателей - приходите на наш курс В тестировщики с нуля!
В тестировщики с нуля
  • 320$
    Lite
    Включает в себя:
    - Пакет В тестировщики с нуля
    - Интенсив по GIT
    - 1 месяц стажировки
  • 400$
    Medium
    Включает в себя:
    - Пакет В тестировщики с нуля
    - Интенсив по GIT
    - Доступ к вебинарам
    - 2 месяца стажировки
  • 540$
    Maximum
    Включает в себя:
    - Пакет В тестировщики с нуля
    - Интенсив по GIT
    - Доступ к вебинарам
    - Курс Тестирование API
    - 4 месяца стажировки
Учимся отличать тест-план, тест-кейсы и чек-листы на примерах.
Полезные ресурсы и советы для поиска работы
Выпускник школы QaLearning рассказывает про свой путь обучения, поиска работы и прохождения собеседований. Вы получите много дельных советов!