정보처리기사 실기 정리 - 10과목 애플리케이션 테스트 관리

소프트웨어 테스트의 기본 원칙

결함 존재 증명

• 결함이 존재함을 밝히는 활동
• 결함이 없다는 것을 증명할 수는 없음
• 결함을 줄이는 활동

완벽한 테스팅 불가능

• 완벽하게 테스팅하려는 시도는 시간과 자원낭비며 불가능

초기에 집중

• SW 개발 초기 체계적인 분석 및 설계가 수행되지 못하면 그 결과 프로젝트 후반에 영향을 미치게 되어 비용이 더 커진다는 요르돈의 법칙 적용(Snowball Effect)

결함 집중

• 적은 수의 모듈에서 대다수의 결함이 발견
• 파레토의 법칙의 내용인 80대 20법칙 적용 (오류 80%는 20%내에서 발견)

살충제 패러독스

• 동일한 테스트 케이스에 의한 반복적인 테스트는 새로운 버그를 찾지 못함

정황에 의존

• 소프트웨어 성격에 맞게 테스트 실시

오류-부재의 궤변

요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼수 없음

---

소프트웨어 테스트 산출물

테스트 계획서 (Test Plan)

• 테스트 목적과 범위 정의, 대상 시스템 구조 파악 등 테스트 수행을 계획한 문서

테스트 베이시스 (Test Basis)

• 분석, 설계 단계의 논리적인 Case로 테스트 설계를 위한 기준이 되는 문서

테스트 케이스 (Test Case)

• 테스트를 위한 설계 산출물
• 응용소프트웨어가 사용자의 요구사항을 준수하는지 확인하기 위해 설계된 입력값, 실행 조건, 기대 결과로 구성된 테스트 항목의 명세서

테스트 슈트 (Test Suites)

• 테스트 케이스를 실행환경에 따라 구분해 놓은 테스트 케이스의 집합
• 시나리오가 포함되지 않은 단순한 테스트 케이스들의 모음

테스트 시나리오 (Test Scenario)

• 애플리케이션의 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서
• 하나의 단일 테스트 시나리오가 하나 또는 여러 개의 테스트 케이스들을 포함 할 수 있음
• 테스트 시나리오가 테스트 케이스와 일 대 다의 관계를 가짐
• 사용자가 시스템을 사용하면서 만나게 되는 상황을 개략적으로 구성한 것

테스트 스크립트 (Test Script)

• 테스트 케이스의 실행 순서(절차)를 작성한 문서
• 테스트 스텝(Test Step), 테스트 절차서(Test Procedure)라고도 함.
• 특정 기능에 대한 상세 절차

테스트 결과서 (Test Results)

• 테스트 결과를 정리한 문서
• 스트 프로세스를 리뷰하고, 테스트 결과를 평가하고 리포팅하는 문서

---

소프트웨어 테스트 유형

 

동적 테스트

화이트박스 테스트(White-Box Test)

내부 구조와 동작을 검사하는 소프트웨어 테스트

 

구결조 조변다 기제데

01) Statement Coverage  구문 커버리지, 문장 커버리지

• 구문 커버리지는 프로그램 내의 모든 명령문을 한번 수행하는 커러비지
• 조건문 결과와 관계없이 구문 실행 개수로 계산

02) Desision Coverage 결정(선택) 커버리지 /Branch Coverage 분기 커버리지

• 결정 커버리지는 결정 포인트 내의 전체 조건식이 적어도 한번은 참(T)과 거짓(F)의 결과를 수행하는 커버리지

03) Condition Coverage 조건 커버리지

• 조건 커버리지는 결정 포인트 내의 각 개별 조건식이 적어도 한번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지

04) Condition Decision Coverage 조건/결정 커버리지

• 전체 조건식 뿐만 아니라 개별조건식도 참 한번, 거짓 한번 결과 수행

05) Modififed Condition, Decision Coverage 변경 조건/결정 커버리지

• 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함

06) Multiple Condition Coverage 다중 조건 커버리지

• 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지

07) Base Flow Testing 기본 경로 커버리지

• 수행 가능한 모든 경로를 테스트하는 기법
• 맥케이브의 순환 복잡도에 근거한 테스트 방법
• 맥케이브 순환 복잡도 측정 방식 : 간선 수 - 노드수 +2

08) Control Flow Testing 제어 흐름 테스트

• 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법

09) Data Flow Testing 데이터 흐름 테스트

• 제어 흐름 그래프에 데이터 사용 현황을 추가한 그래프를 통해 테스트 하는 기법

 

블랙박스 테스트(Black-Box Test)

- 사용자의 요구사항 명세를 보면서 수행하는 테스트(기능 테스트)
- 기능 및 동작 위주의 테스트를 진행하기 때문에 내부 구조나 작동 원리를 알지 못해도 가능
- 블랙박스 테스트는 곧 명세 테스트라고도 불린다.

 

동경결상 유분폐원비

01) Equivalence Partitioning Testing 동등분할 테스트/ 동치 분할 테스트 / 균등 분할 테스트/ 동치 클래스 분해 테스트

• 입력 테이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법

02) Boundary Value Analysis Testing 경곗값 분석 테스트/ 한곗값 테스트

• 등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트 하는 기법

03) Decision Table Testing 결정 테이블 테스트

• 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법

04) State Transition Testing 상태 전의 테스트

• 테스트 대상/시스템이나 객체의 상태를 구분하고 이벤트에 의해 어느 한 상태에서 다른 상태로 전의 되는 경우의 수를 수행하는 테스트

05) Use Case Testing 유스케이스 테스트

• 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법

06) Classification Tree / Method Testing 분류 트리 테스트

• SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하는 기법

07) Pairwise Testing 페어와이즈 테스트

• 테스트 데이터값들 간에 최소한 한번씩을 조합하는 방식
• 커버해야 할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법

08) Cause-Effect GraphTesting 원인-결과 그래프 테스트

• 그래프를 활용하여 입력 테이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법

09) Comparison Testing 비교 테스트

• 여러 버전의 프로그램에 같은 입력값을 넣어 동일한 결과 데이터가 나오는지 비교해보는 테스트 기법

---

정적 테스트

리뷰

산출물에 존재하는 결함을 검출하거나 프로젝트의 진행 상황을 점검하기 위한 활동으로 전문가가 수행한다

 

Peer Review 동료검토

• 2~3명이 진행하는 리뷰의 형태

inspection 인스펙션

• 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제 해결을 찾아내는 형식

Walk Throughts 워크 스루

• 검토 자료를 회의 전에 배포해서 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태

---

테스트 시각에 따른 분류

검증 (Verification)

• 소프트웨어 개발 과정을 테스트
• 올바른 제품을 생산하고 있는지 검증
• 이전 단계에서 설정된 개발 규격과 요구를 충족시키는지 판단

확인(Validation)

• 소프트웨어 결과를 테스트
• 만들어진 제품이 제대로 동작하는지 확인
• 최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단

---

테스트 목적에 따른 분류

Recovery Testing 회복 테스트

• 시스템에 고의로 실패 후 시스템의 정상적 복귀여부를 테스트

Security Testing 안전 테스트

• 시스템을 파괴하지 못하도록 소스코드 내의 보안적인 결함을 미리 점검하는 테스트

Performance Testing 성능 테스트

• 시스템이 반응하는 속도 측정

Strucure Testing 구조 테스트

• 시스템 내부 소스코드 복작도를 평가하는 테스트

Regression Testing 회귀 테스트

• 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 반복 테스트 기법

Parallel Testing 병행 테스트

• 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과 비교

 

성능 테스트의 상세 유형

Load Testion 부하 테스트

• 시스템에 부하를 증가시켜 임계점을 찾는 테스트

Stress Testing 강도 테스트

• 임계점 이상의 부하를 가하여 비정상적인 상황에서의 처리를 테스트

Spike Testing 스파이크 테스트

• 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트

Endurance Testing 내구성 테스트

• 오랜 시간 동안 시스템에 높은 부하를 가하여 시스템 반응 테스트

---

테스트 오라클

참샘휴일

참(True) 오라클

• 모든 입력값에 대하여 기대하는 결과를 생성하여 발생된 오류를 모두 검출

샘플링(Sampling) 오라클

• 특정 몇 개의 입력값에 대해서만 기대하는 결과 제공

휴리스틱(Heuristic) 오라클

• 특정 입력값에 대해 올바른 결과를 제공하고 나머지는 추정(휴릭스) 처리

일관성(Consistent) 검사 오라클

수행 전과 후의 결괏값이 동일한지 확인하는 오라클

---

테스트 레벨

단통시인

검증과 확인

• 검증 : 소프트웨어 개발 과정을 테스트
• 확인 : 소프트웨어 개발 결과를 테스트

단위 테스트

• 사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트
• 기법 : 자료 구조 테스트, 실행 경로 테스트, 오류 처리 테스트, 인터페이스 테스트

통합 테스트

• 인터페이스 통합 컴포넌트 간의 상호 작용을 검증
• 기법 : 빅뱅 테스트, 센드위치 테스트, 상향식 테스트, 하향식 테스트

시스템 테스트

• 통합된 단위 시스템의 기능이 정상적으로 수행되는지 확인
• 기법 : 기능. 비기능 요구사항 테스트

인수 테스트

• 계약상의 요구사항으 만족 되었는지 확인
• 기법 : 계약 인수, 규정 인수, 사용자 인수, 운영상의 인수, 알파/베타 테스트

알파 테스트 : 개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 인수테스트

베타 테스트 : 사용자에게 대상 소프트웨어를 사용하고 피드백을 받는 인수테스트

---

단위테스트

개별적인 모듈을 테스트 한다.

 

목 객체

• 테스트 되는 메서드는 다른 클래스의 객체에 의존한다.
• 메서드를 고립화하여 테스트 하는 것이 불가능하므로 독립적인 컴포넌트 테스트를 위해 스텁의 객체 지향 버전인 목 객체가 필요하다.

목 객체 유형

• 더미객체 - 테스트 시 객체만 필요하고 기능까지는 필요하지 않는 경우
• 테스트 스텁 - 타 모듈의 기능을 단순히 수행하는 도구
• 테스트 드라이버 - 테스트 대상 하위 모듈을 호출하고 파라미터 전달하고, 모듈 테스트 수행 후의 결과를 도출
• 테스트 스파이 - 테스트 대상과 협업하는 클래스로 가는 출력 검증
• 가짜객체 - 실제 협력 클래스의 기능을 대체해애 할 경우 사용

 

통합테스트

소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법

• 비점증적 방법 - 빅뱅 방식 : 모든 컴포넌트를 사전에 통합하여 전체 프로그램을 한번에 테스트
• 점증적 방법 - 상향식통합 / 하향식 통합

 

하스상드

하향식 통합(TopDown)

• 메인 제어 모듈(프로그램)로 부터 아래 방향으로 제어의 경로를 따라 이동하면서 테스트
• 하위 컴포넌트를 대신하여 더미 모듈인 스텁 개발

상향식 통합(BottomUp)

• 최하위 레벨의 모듈 또는 컴포넌트로부터 위쪽 방향으로 제어의 경로를 따라 이동하면서 구축과 테스트를 수행한다.
• 상위의 모듈에서 데이터의 입력과 출력을 확인하기 위한 더미 모듈인 드라이버 작성

샌드위치 통합

• 상향식 통합 테스트와 하향식 통합테스트 방식을 결합한 테스트 방식

---

테스트 자동화 도구 유형

 

정실성통

정적 분석 도구(Static Analysis Tools)

• 애플리케이션을 실행하지 않고 분석하는 도구

테스트 실행 도구(Test Execution Tools)

• 스크립트를 실행하고, 작성된 스크립트는 각 스크립트마다 특정 데이터와 테스트 수행 방법을 포함하고 있다.

성능 테스트 도구 (Performance Test Tools)

• 가상의 사용자를 생성하고 테스트를 수행함으로써 성능 목표를 달성하였는지 확인하는 도구

테스트 통제 도구 (Test Control Tools)

• 테스트 계획 및 관리를 위한 테스트 관리도구 / 테스트 수행에 필요한 데이터와 도구를 관리하는 형상관리도구 / 테스트에서 발생한 결함에 대한 관리하거나 협업을 지원하기 위한 결함추적,관리도구 등이 있다.

 

테스트 하네스 (Test Haness)개념

테스트를 지원하기 위한 코드와 데이터를 말하며, 단위 또는 모듈 테스트에 사용하기 위해 코드 개발자가 작성한다.

테스트 하네스 구성요소

 

드 스슈 케시스목

테스트 드라이버 (Test Driver)

• 테스트 대상 하위 모듈을 호출하고, 파라미터를 전달하고, 모듈 테스트 수행 후의 결과를 도출하는 등 상향식 테스트에 필요

테스트 스텁 (Test Stub)

• 제이 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구로 하향식 테스트에 필요

테스트 슈트 (Test tuites)

• 테스트 대상 컴포넌트나 모듈, 시스템에 사용되는 테스트 케이스의 집합

테스트 케이스 (Test Case)

• 입력값, 실행 조건, 기대 결과 등의 집합

테스트 시나리오 (Test Scenario)

• 애플리케이션의 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서

테스트 스크립트(Test Script)

• 자동화된 테스트 실행 절차에 대한 명세

목 오브젝트 (Mock Object)

사용자의 행위를 조건부로 사전에 입력해 두면, 그 샇왕에 예정된 행위를 수행하는 객체

---

애플리케이션 선능 측정 지표

 

처응경자

처리량 Throughput

• 애플리케이션이 주어진 시간에 처리할 수 있는 트랜잭션의 수
• 시간당 페이지 수로 표현

응답 시간 Response Time

• 사용자 입력이 끝난 후 애플리케이션의 응답 출력이 개시 될때까지의 시간
• 메뉴 클릭시 메뉴가 나타나기까지 걸리는 시간

경과 시간 Turnaround Time

• 요구를 입력한 시점부터 트랜잭션을 처리 후 결과가 완료될 때까지 걸리는 시간

자원 사용률 Resource Usage

• 트랜잭션을 처리하는 동안 CPU사용량, 메모리사용량, 네트워크 사용량