CASS

Test framework에 대해서 잠시 얘기를 해보련다. 현재는 TC간의 독립성을 완전하게 보존할 수는 없다. 이 때에 발생하는 문제는 다음과 같다. TC1, TC2를 수행하고 TC2에서 FAIL이 발생하였을 때 오류의 원인은 TC1, TC2 가운데 하나일 것이다. 즉, TC2만을 별도로 수행하면 PASS가 될 수도 있는 것이다. 오늘 이러한 일이 있었고 TC3를 새로 만들어 오류의 범위를 TC3로 한정시켰다.

 

그럼, 위의 문제를 어떻게 해결할 수 있을지 잠시 생각을 해 보련다. TC들간의 독립성 보장은 어렵다. 왜냐하면 기존의 Test Framework에서 자동적으로 SUT(software under test)의 내부적인 상태를 모니터링하고 제어할 수는 없기 때문이다. 아래와 같은 해결 방안을 생각해본다.

방안1. SUT의 internal state를 모니터링하고 제어할 수 있게끔 한다. 그래서 필요할 경우에는 환경을 초기화하고 sut를 다시 수행한다.

방안2. TC1이 수행되고 Original state로 돌아갈 수 없다는 것을 알게 되었다. 이 때에는 TC이 수행된 직후, 테스트 환경을 초기화하고 SUT를 다시 수행시킨다. 1번과의 차이점은 사람에 의한 Test Framework상에서의 수작업이 요구된다는 것이다. 그리고 새로운 TC를 만들어 오류를 발견하게끔 할 수 있을 것이다.