애플리케이션 테스트

애플리케이션 테스트

애플리케이션 테스트는 애플리케이션에 잠재되어 있는 결함(Fault)을 찾아내는 일련의 행위 또는 절차이다.

 

애플리케이션 테스트는 개발된 소프트웨어가 고객의 요구사항을 만족시키는지 확인(Validation)하고
소프트웨어가 기능을 정확히 수행하는지 검증(Verification)한다.

 

애플리케이션 테스트의 기본 원리

• 완벽한 테스트는 불가능
  - 잠재적인 결함을 줄일 수는 있지만 소프트웨어의 결함이 없다고는 증명할 수 없다.
• 파레토 법칙(Pareto Principle)
  - 애플리케이션의 20%에 해당하는 코드에서 전체 결함의 80%가 발견된다는 법칙
• 살충제 패러독스(Pesticide Paradox)
  - 동일한 테스트 케이스로, 동일한 테스트를 반복하면 더 이상 결함이 발견되지 않는 현상
  - 즉, 계속해서 테스트 케이스를 업데이트해야 한다는 말이다.
• 테스팅은 정황(context)에 의존
  - 소프트웨어의 특징, 테스트 환경, 테스터의 역량 등 이러한 정황에 따라 테스트 결과가 달라질 수 있으므로
     정황에 따라 테스트를 진행해야 한다.
• 오류-부재의 궤변(Absence of Errors Fallacy)
  - 소프트웨어의 결함을 모두 제거하더라도, 사용자의 요구사항을 만족시키지 못하면 그 소프트웨어는 품질이 높다고 할 수 없다.
• 테스트와 위험은 반비례
  - 테스트를 많이 하면 할수록 미래에 발생할 위험을 줄일 수 있다.
• 테스트의 점진적 확대
  - 테스트는 작은 부분에서 점점 확대하며 진행해야 한다.
• 테스트의 별도 팀 수행
  - 테스트는 개발자와 관계없는 별도 팀에서 수행해야 한다.

 

애플리케이션 테스트 분류

 

프로그램 실행 여부에 따른 테스트

• 정적 테스트
  - 프로그램을 실행하지 않고 명세서나 소스 코드를 대상으로 분석하는 테스트
  - 소스 코드에 대한 코딩 표준, 코딩 스타일, 코드 복잡도, 남은 결항 등을 발견하기 위해 사용한다
  - 워크스루(Walk Through), 인스펙션(Inspection), 코드 검사 등이 있다.
• 동적 테스트
  - 프로그램을 실행하여 오류를 찾는 테스트
  - 소프트웨어 개발의 모든 단계에서 테스트를 수행한다
  - 블랙박스 테스트와 화이트박스 테스트가 있다.

워크스루는 검토 자료를 회의 전에 배포해서 사전 검토 한 후 짧은 시간 동안 회의를 진행하는 형태로 리뷰를 통해 오류를 검출하고 문서화하는 기법이다.
인스펙션은 요구사항 명세를 작성한 작성자를 제외한 전문가들이 요구사항 명세서를 확인하면서 결함을 확인하는 기법이다.

 

 

화이트박스 테스트(White Box Test)

화이트박스 테스트는 모듈의 원시 코드의 논리적인 모든 경로를 테스트하여 테스트 케이스를 설계하는 방법이다.

 

화이트박스라는 의미는 투명한 박스를 의미하며, 모듈 안의 내용을 볼 수 있으며 내부의 논리적인 경로를 테스트한다는 의미이다.

화이트 박스 테스트 종류는 다음과 같다.

• 기초 경로 검사(Base Path Testing)
  - 테스트 케이스 설계자가 절차적 설계의 논리적 복잡성을 측정할 수 있게 해주는 테스트 기법
  - 대표적인 화이트박스 테스트 기법
• 제어 구조 검사(Condition Structure Testing)
  • 조건 검사(Condition Testing)
    - 모듈 내에 논리적 조건을 테스트하는 테스트 케이스 설계 기법
  • 루프 검사(Loop Testing)
    - 반복 구조에 초점을 맞춰 실시하는 테스트 케이스 설계 기법
  • 데이터 흐름 검사(Data flow Testing)
    - 프로그램에서 변수의 정의와 변수 사용 위치에 초점을 맞춘 테스트 케이스 설계 기법

화이트박스 테스트는 다음과 같은 검증 기준을 가진다.

• 문장(구문) 검증 기준(Statement Coverage)
  - 소스 코드의 모든 구문이 한번 이상 수행되도록 테스트 케이스 설계
• 분기(결정) 검증 기준(Branch Coverage)
  - 소스 코드의 모든 조건문에 대해 조건식의 결과가 True인 경우와 False인 경우가 한 번 이상 수행되도록 테스트 케이스 설계
  - 결정 검증 기준(Decision Coverage)이라고도 함
• 조건 검증 기준(Condition Coverage)
  - 소스 코드의 조건문에 포함된 개별 조건식의 결과가 True인 경우와 False인 경우가 한 번 이상 수행되도록 테스트 케이스 설계
• 분기/조건 기준(Branch/Condition Coverage)
  - 분기 검증 기준과 조건 검증 기준을 모두 만족하는 설계
  - 조건문이 True인 경우와 False인 경우에 따라 조건 검증 기준의 입력 데이터를 구분하는 테스트 케이스 설계

정리하자면 화이트박스 테스트는 소스 코드의 모든 구문을 실행하는 테스트 케이스 설계 방법이며,
화이트박스 테스트의 종류는 기초 경로 검사, 조건 검사, 루프 검사, 데이터 흐름 검사가 있고,
화이트박스 테스트 검증 기준은 문장(구문), 분기(결정), 조건 검증 기준에 따라 검증 기준을 가진다.

 

블랙박스 테스트(Black Box Test)

블랙박스 테스트는 소프트웨어가 각 기능이 완전히 작동되는 것을 입증하는 테스트로, 기능 테스트라고도 한다.

 

블랙박스 테스트는 사용자 요구사항 명세를 보면서 테스트하며, 주로 구현된 기능을 테스트한다.

블랙박스는 말 그대로 검은 상자를 의미하며, 검은 상자라서 안에서 어떤 일이 일어나는지 알 수 없지만 입력에 대한 출력 결과가
정확한지 검사하는 방법이다.

 

블랙박스 테스트의 종류는 다음과 같다.

• 동치 분할 검사(Equivalence Partitioning Testing)
  - 동치 클래스 분해, 동등 분할 기법이라고도 한다.
  - 입력 조건에 타당한 입력 자료와 그렇지 않은 입력 자료의 개수를 균등하게 테스트 케이스를 정하여 맞는 결과가 출력되는지 확인하는 기법이다. (개인적으로는 동등 분할 기법이 제일 와닿는다.)
• 경계 값 분석(Boundary Value Analysis)
  - 경계값에서 오류가 발생될 확률이 높다는 점을 이용하여 입력 조건을 경계값으로 테스트 케이스를 선정하여 검사하는 기법
• 원인-효과 그래프 검사(Cause-Effect Graphing Testing)
  - 입력 데이터 간의 관계와 출력에 영향을 미치는 상황을 분석한 다음 효용성이 높은 테스트 케이스로 선정하여 검사하는 기법
• 오류 예측 검사(Error Guessing)
  - 과거의 경험이나 확인자의 감각으로 검사하는 기법
• 비교 검사(Comparison Testing)
  - 여러 버전의 프로그램에 동일한 테스트 자료를 제공하여 동일한 결과가 출력되는지 검사하는 기법
  
  

정리하자면 블랙박스 테스트는 기능이 완전히 작동하는지 확인하는 기법이며,
종류로는 동치 분할 검사, 경계 값 분석, 원인-효과 그래프 검사, 오류 예측 검사, 비교 검사 등이 있다.

테스트 기반에 따른 테스트

• 명세 기반 테스트
  - 사용자의 요구사항에 대한 명세를 빠짐없이 테스트 케이스로 만들어 구현하고 있는지 확인하는 테스트
  - 동등 분할 기법, 경계 값 분석 등이 있다.
• 구조 기반 테스트
  - 소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 테스트
  - 구문 기반, 결정 기반, 조건 기반 등이 있다.
• 경험 기반 테스트
  - 테스터의 경험을 기반으로 수행하는 테스트
  - 시간이 없거나 요구사항 명세가 불충분할 때 효과적
  - 에러 추정, 체크 리스트, 탐색적 테스팅 등이 있다.

위에서 언급한 화이트박스 테스트는 구조 기반 테스트에 해당하며, 블랙박스 테스트는 명세 기반 테스트와 경험 기반 테스트에 해당한다.

 

목적에 따른 테스트

• 회복(Recovery) 테스트
  - 시스템에 결함을 주어 실패하도록 한 뒤, 올바르게 복구되는 지 확인하는 테스트
• 안전(Security) 테스트
  - 시스템에 설치된 시스템 보호 도구가 불법 침입으로부터 시스템을 보호할 수 있는 지 확인하는 테스트
• 강도(Stress) 테스트
  - 시스템 과부하 시 소프트웨어 정상 실행 확인 테스트
• 성능(Performance) 테스트
  - 소프트웨어의 실시간 성능이나 전체적인 효율성을 진단하는 테스트
  - 애플리케이션 성능은 처리량, 응답시간, 경과 시간, 자원 사용률을 측정 지표로 사용
• 구조(Structure) 테스트
  - 내부 논리 경로, 소스 코드의 복잡도 등을 평가하는 테스트
• 회귀(Regression) 테스트
  - 소프트웨어의 변경 또는 수정된 코드에 새로운 결함이 없는 지 확인하는 테스트
• 병행(Parallel) 테스트
  - 변경된 소프트웨어와 기존 소프트웨어에 동일한 데이터를 입력하여 결과를 비교하는 테스트