애플리케이션 테스트
- 애플리케이션에 잠재되어 있는 결함을 찾아내는 일련의 행위 또는 절차
- 요구사항 만족 : 확인(Validation)
- 기능 수행 : 검증 (Verification)
애플리케이션 테스트의 기본 원리
- 파레토 법칙(Pareto Principle) : 애플리케이션의 20%에 해당하는 코드에 전체 결함의 80%가 발견된다는 법칙
- 살충제 패러독스(Pesticide Paradox) :동일 테스트 반복하면 더 이상 결함이 발견되지 않는 현상
- 오류-부재의 궤변(Absence of Errors Fallacy) : 사용자 요구사항을 만족 시키지 못하면 결함 제거해도 품질 높은게 아님
프로그램 실행 여부에 따른 테스트
- 정적 테스트 : 프로그램 실행 없이 명세서나 소스 코드 대상 분석 테스트 ( 워크 스루, 인스펙션 , 코드 검사 등)
- 동적 테스트 : 프로그램 실행하여 오류 찾는 테스트 (블랙박스 , 화이트박스 테스트)
테스트 기반에 따른 테스트
- 명세 기반 테스트 : 요구사항에 대한 명세 빠짐 없이 테스트 케이스 만들어 구현하고 있는지 확인 (동등 분할, 경계 값 분석)
- 구조 기반 테스트 : SW 내부 논리 흐름에 따라 테스트 케이스 작성하고 확인하는 테스트 (구문 기반, 결정 기반, 조건 기반)
- 경험 기반 테스트 : 유사 소프트웨어나 기술 등에 대한 테스터의 경험을 기반으로 하는 테스트 (에러 추정, 체크 리스트, 탐색적 테스팅)
시각에 따른 테스트
- 검증(Verification)테스트 : 제품의 생선 과정을 테스트 하는 것 (명세서대로 완성이 되었는지)
- 확인(Validation)테스트 : 제품의 결과를 테스트 하는 것 (요구대로 제품이 완성 되었는지, 정상 작동하는지)
목적에 따른 테스트
- 회복(Recovery)테스트 : 시스템에 여러 가지 결함 줘서 실패하도록 하고 복구되는지 확인
- 안전(Security)테스트 : 불법 침입으로부터 시스템 보호할 수 있는지 확인
- 강도(Stress)테스트 : 과부하 시에도 소프트웨어가 정상 실행되는지
- 성능(Performance)테스트 : 성능이나 효율성 진단 테스트
- 구조(Structure)테스트 : SW내부의 논리적인 경로, 소스 코드 복잡도 등 평가 테스트
- 회귀(Regression)테스트 : 소프트웨어 변경 또는 수정된 코드에 새로운 결함 없는지 확인하는 테스트
- 병행(Parallel)테스트 : 변경 소프트웨어, 기존 소프트웨어 비교하는 테스트
화이트박스 테스트
- 원시 코드의 논리적인 모든 경로를 테스트하여 테스트 케이스 설계하는 방법
- 기초 경로 검사(Base Path Testing) : 절차적 설계의 논리적 복잡성을 측정할 수 있게 해주는 테스트
- 제어 구조 검사(Control Structure Testing) :
- 조건 검사 : 프로그램 내 논리적 조건 테스트
- 루프 검사 : 프로그램의 반복 구조에 초점을 맞추는 테스트
- 데이터 흐름 검사 : 변수 정의, 사용 위치에 초점을 맞추는 테스트
화이트박스 테스트의 검증 기준
- 문장 검증 기준 : 모든 구문이 한 번 이상 수행되도록 테스트 케이스 설계
- 분기 검증 기준 : 모든 조건문에 대해 조건식 결과가 True인 경우, False인 경우가 한 번 이상 수행되도록
- 조건 검증 기준 : 개별 조건식의 결과가 True인 경우, False인 경우 한 번 이상 수행되도록
- 분기/조건 기준 : 분기 검증 기준과 조건 검증 기준을 모두 만족하는 설계
블랙박스 테스트
- 각 기능이 완전히 작동되는 것을 입증하는 테스트 (= 기능 테스트)
블랙박스 테스트 종류
- 동치 분할 검사 (Equivalence Partitioning Testing) : 타당한 입력 자료와 타당하지 않은 입력 자료의 개수를 균등하게 하여 확인
- 경계값 분석 (Boundary Value Analysis) : 입력 조건의 경계값을 테스트 케이스로 선정
- 원인-효과 그래프 검사(Cause-Effect Graphing Testing) : 입력 데이터
- 오류 예측 검사(Error Guessing) : 과거 경험이나 확인자의 감각으로 테스트하는 기법
- 비교 검사(Comparision Testing) : 여러 버전의 프로그램에 동일 테스트 자료를 통해 동일 결과 출력되는지 확인하는 테스트
개발 단계에 따른 애플리케이션 테스트
단위테스트 - 통합 테스트 - 시스템 테스트 - 인수 테스트 (단통시인)
단위 테스트
- 모듈이나 컴포넌트에 초점을 맞춰 테스트하는 것
- 개별 모듈을 시험하는 것으로 모듈이 정확하게 구현되었는지 기능이 제대로 수행되는지를 점검
통합 테스트
- 단위 테스트가 완료된 모듈들을 결합하여 하나의 시스템으로 완성시키는 과정에서 테스트
- 비점진적 통합 방식 : 단계 없이 한번에 전체 테스트 (빅뱅 통합 테스트)
- 점진적 통합 방식 : 단계 별로 점진적 테스트 (하향식, 상향식, 혼합식 통합 테스트)
시스템 테스트
- 개발된 소프트웨어가 완벽하게 수행되는가를 점검하는 테스트
- 기능적 요구사항과 비기능적 요구사항으로 구분하여 각각 만족하는지 테스트
인수 테스트
- 사용자 요구사항을 충족하는지에 중점을 두고 테스트
- 알파 테스트 : 사용자가 개발자 앞에서 행하는 테스트 기법
- 베타 테스트 : 사용자가 여러 명의 사용자 앞에서 행하는 테스트 기법
하향식 통합 테스트
- 상위 모듈에서 하위 모듈 방향으로 통합하면서 테스트하는 기법
- 깊이 우선 또는 , 넓이 우선 등의 통합 방식
- 스텁(Stub) : 시험용 모듈
상향식 통합 테스트
- 하위 모듈에서 상위 모듈 방향으로 통합하면서 테스트하는 기법
- 하위 모듈들을 클러스터로 결합
- 더미 모듈인 드라이버를 작성
- 테스트 드라이버(Test Driver) : 테스트 수행 후 결과를 도출하는 도구
혼합식 통합 테스트
- 하위 수준에서는 상향식 통합 , 상위 수준에서는 하향식 통합을 사용해 최적의 테스트 지원
- 샌드위치 통합 테스트 방법이라고도 함
회귀 테스트
- 통합 테스트로 인해 변경된 모듈이나 컴포넌트에 새로운 오류가 있는지 확인하는 테스트
- 이미 테스트된 프로그램의 테스팅을 반복하는 것
테스트 케이스
- 사용자의 요구사항을 정확하게 준수했는지를 확인하기 위해 설계된 테스트 항목에 대한 명세서
- 오류 방지, 인력, 시간 등 자원 낭비를 줄임
테스트 시나리오
- 그냥 테스트 케이스 묶은 거임 ( 적용하는 순서에 따라 )
- 테스트 케이스 적용에 대한 구체적인 절차를 명세
테스트 오라클
- 테스트 결과가 올바른지 판단하기 위해 사전에 정의된 참값을 대입하여 비교하는 기법
- 특징 : 제한된 검증, 수학적 기법, 자동화 기능
테스트 오라클의 종류
- 참 오라클 : 모든 테스트 케이스 입력 값에 대해 기대하는 결과를 제공하는 오라클
- 샘플링 오라클 : 특정 몇몇 테스트 케이스의 입력 값들에 대해서만 기대하는 결과를 제공하는 오라클
- 추정(Heuristic)오라클 : 특정 입력 값 기대 결과 제공, 나머지는 추정으로 처리하는 오라클
- 일관성 검사(Consistent) 오라클 : 변경 있을 때 테스트 케이스 수행 전과 후의 결과 동일한지 확인하는 테스트
테스트 자동화 도구
- 정적 분석 도구(Static Analysis Tools) : 프로그램 실행 없이 분석하는 도구
- 테스트 실행 도구 (Test Excution Tools) : 스크립트 언어를 사용하여 테스트 실행하는 도구
- 성능 테스트 도구 (Performance Test Tools) : 처리량, 응답 시간, 경과 시간 등을 목표 달성 여부 확인하는 도구
- 테스트 통제 도구 (Test Control Tools) : 테스트 계획 및 관리, 테스트 수행, 결함 관리 등을 수행하는 도구
- 테스트 하네스 도구 (Test Harness Tools)
- 테스트 실행될 환경을 시뮬레이션 하여 정상 테스트되도록 하는 도구
- 테스트 하네스 : 테스트하는 환경의 일부분이다.
테스트 하네스의 구성 요소
- 테스트 드라이버 : 상향식 , 모듈 테스트 수행 후 결과를 도출하는 도구
- 테스트 스텁 : 테스트용 모듈
- 테스트 슈트 : 테스트 케이스의 집합
- 테스트 케이스 : 입력 값, 실행 조건, 기대 결과 등으로 만들어진 테스트 항목의 명세서
- 테스트 스크립트 : 자동화된 테스트 실행 절차에 대한 명세서
- 목 오브젝트 : 사전에 행위를 조건부로 입력해두면 상황에 맞는 예정된 행위를 수행하는 객체
결함
- 소프트웨어가 개발자가 설계한 것과 다르게 동작하거나 다른 결과가 발생되는 것을 의미
결함 상태 추적
- 결함은 지속적으로 상태 변화를 추적하고 관리해야 함
- 결함 관리 측정 지표
- 결함 분포 : 결함 수 측정
- 결함 추세 : 결함 수의 추이 분석
- 결함 에이징 : 결함 상태로 지속되는 시간 측정
결함 분류
- 시스템 결함 : 애플리케이션 환경이나 데이터베이스 처리에서 발생된 결함
- 기능 결함 : 애플리케이션 기획, 설계, 업무 시나리오 등의 단계에서 유입된 결함
- GUI 결함 : 사용자 화면 설계에서 발생된 결함
- 문서 결함 : 기획자, 사용자, 개발자 간의 의사소통 및 기록이 원활하지 않아 발생된 결함
결함 심각도/우선순위
- 결함 심각도 : 결함이 전체 시스템에 미치는 치명도를 나타내는 척도
- High, Medium, Low, 치명적(Critical), 주요(Major), 보통(Normal), 경미(Minor) , 단순 (Simple)
- 결함 우선순위 : 결함 철에 신속성을 나타내는 척도
- 결정적(Critical) , 높음(High), 보통(Medium) , 낮음(Low), 즉시 해결, 주의 요망, 대기 , 개선 권고
애플리케이션 성능 측정 지표
- 처리량(Throughput) : 일정 시간 내 애플리케이션이 처리하는 일의 양
- 응답 시간(Response Time) : 요청을 전달한 시간부터 응답이 도착할 때 까지 걸린 시간
- 경과 시간(Turn Around Time) : 애플리케이션에 작업을 의뢰한 시간부터 처리가 완료될 때 까지 걸린 시간
- 자원 사용률 (Resource Usage): 작업 처리 동안 CPU 사용량, 메모리 사용량 등 자원 사용률
성능 테스트 도구
- 애플리케이션 성능을 테스트하기 위해 성능 측정 지표를 점검하는 도구
- JMeter : HTTP, FTP등 다양한 프로토콜 지원하는 부하 테스트 도구
- LoadUI : 서버 모니터링, Drag&Drop 등 사용자 편리성이 강화된 부하 테스트 도구
- OpenSTA : HTTP,HTTPS 프로토콜에 대한 부하 테스트 및 생산품 모니터링 도구
시스템 모니터링 도구
- 애플리케이션이 실행되었을 때 시스템 자원의 사용량을 확인하고 분석하는 도구
- Scouter : 단일 뷰 통합 / 실시간 모니터링 , 튜닝에 최적화된 인프라 통합 모니터링 도구
- Zabbix : 웹 기반 서버, 서비스, 애플리케이션 등의 모니터링 도구
복잡도 / 시간 복잡도
- 복잡도 : 시스템이나 시스템 구성 요소 또는 소프트웨어의 복잡한 정도를 의미
- 시간 복잡도 : 알고리즘 수행을 위해 프로세스가 수행하는 연산 횟수를 수치화 한것 (빅오 표기법 - 최악을 표기하는 방법)
인수 테스트
- O(1) : 입력값 관계 없이 일정하게 문제 해결에 하나의 단계만 거침
- O(logn) : 단계가 입력값 또는 조건에 의해 감소함
- O(n) : 입력값과 1:1의 관계를 가짐
- O(nlogn) : 단계가 n(logn)번 만큼 수행
- O(n^2) : 단계가 입력값의 제곱만큼 수행
- O(2^n) : 단계가 2의 입력값 제곱만큼 수행
순환 복잡도
- 논리적인 복잡도를 측정하기 위한 소프트웨어의 척도
- 맥케이브 순환도라고도 함
- V(G) = E - N + 2 ( E : 화살표 , N : 노드 수 )
소스 코드 최적화
- 클린 코드 : 누구나 이해하고 수정 및 추가할 수 있는 단순, 명료한 코드
- 나쁜 코드 : 로직 복잡하고 이해하기 어려운 코드
- 스파게티 코드 : 로직이 복잡한 코드
- 외계인 코드 : 오래되거나 개발자가 없어 유지보수 작업이 어려운 코드
클린 코드 작성 원칙
- 단순성 : 코드를 간단하게 작성 , 한 번에 한 가지를 처리하도록 작성
- 가독성 : 누구나 쉽게 읽을 수 있게, 이해하기 쉬운 용어 사용
- 의존성 배제 : 코드가 다른 모듈에 미치는 영향 최소화
- 중복성 최소화 : 중복 최소화, 공통 코드 사용
- 추상화 : 클래스, 메소드 , 함수에서 간략하게 특성을 나타내고 상세 내용은 하위에서 구현
소스 코드 품질 분석 도구
- 정적 분석 도구 : 코드 실행 없이 결함 확인하는 분석 도구
- pmd, cppcheck, checkstyle, ccm, cobertura, SonarQube
- 동적 분석 도구 : 코드를 실행하여 결함을 분석하는 도구
- Avalanche , Valgrind
