테스트 전략 구성하기

테스트 전략 구성하기

Lincheck는 테스트 전략을 위한 다양한 구성 옵션을 지원해요. 시나리오 생성, 중단된 실행 감지, 검증 등이 여기에 포함돼요.

출처: Configuring a testing strategy

본문

옵션 활성화하는 방법

테스트 전략에 대한 옵션을 활성화하려면 전략 클래스에서 설정해요:

@Test
fun testWithIterations() = ModelCheckingOptions()
    .iterations(100) // Specify the number of generated scenarios
    .check(this::class)

시나리오 최소화 (Scenario minimization)

기본적으로 Lincheck는 테스트 동작을 바꾸지 않는 연산을 제거해서 실패한 시나리오를 최소화하려고 해요. 최소화되지 않은 전체 실패 시나리오를 보려면 minimizeFailedScenario 옵션을 false로 설정해요:

| ------------------------- |
|    Thread 1    | Thread 2 |
| --------------------------|
| inc(): 1       |          |
| get(): 1       |          |
| get(): 1       |          |
| --------------------------|
| inc(): 4 [0,1] | inc(): 2 |
| get(): 4 [1,1] | inc(): 4 |
| get(): 4 [2,1] | get(): 4 |
| --------------------------|
| get(): 4       |          |
| get(): 4       |          |
| get(): 4       |          |
| --------------------------|

최소화된 동일한 시나리오는 다음과 같아요:

| ------------------- |
| Thread 1 | Thread 2 |
| ------------------- |
| inc(): 1 | inc(): 1 |
| ------------------- |

시나리오 생성 (Scenario generation)

커스텀 시나리오 정의하기

Lincheck는 커스텀 시나리오를 정의하기 위한 도메인 특화 언어(DSL)를 사용해요:

@Test
fun test() = StressOptions()
    .addCustomScenario {
        initial {
            actor(Structure::noArgsOp)
        }
        parallel {
            thread {
                actor(Structure::argsOp, 1)
                actor(Structure::argsOp, 2)
            }
            thread {
                actor(Structure::argsOp, 3)
            }
        }
        post {
            actor(Structure::noArgsOp)
        }
    }
    // Report the scenarios even if the test has not failed
    // The custom scenario should be first in the list of scenarios
    .logLevel(LoggingLevel.INFO)
    .check(this::class)

각 시나리오는 세 개의 선택 섹션으로 구성돼요:

• initial – 병렬 부분 이전에 실행되는 연산이에요.
• parallel – 스레드 정의예요. 스레드는 thread 블록을 사용해 정의하며, 병렬 섹션에는 여러 thread 블록이 있을 수 있어요.
• post – 병렬 부분 이후에 실행되는 연산이에요.

연산은 actor(function, arg1, arg2, ...) 함수로 정의해요. 하나의 블록 안에 있는 연산은 순차적으로 실행돼요.

중단된 실행 감지 (Stalled execution detection)

루프에서의 스레드 전환 (Thread switching in loops)

검증 (Verification)

진행 보장 (Progress guarantees)

라이브러리 분석 (Library analysis)

보장 정의하기

보장을 정의하려면 빌더 체인을 사용해요. 클래스를 선택하고, 메서드를 선택한 다음, 보장 유형을 선택해요.

@Test
fun modelCheckingWithGuaranteesTest() = ModelCheckingOptions()
    .addGuarantee(
        forClasses("java.util.concurrent.ConcurrentHashMap")
            .allMethods()
            .treatAsAtomic()
    )
    .check(this::class)

1. forClasses 오버로드 중 하나로 클래스를 선택해요:

   • forClasses(vararg fullClassNames: String) — 전체 이름이 fullClassNames 문자열에 있으면 클래스와 일치해요.
   • forClasses(vararg classes: KClass<*>) — 참조로 클래스를 일치시켜요.
   • forClasses(classPredicate: (fullClassName: String) -> Boolean) — 전체 클래스 이름에 대한 조건자(predicate)로 클래스를 일치시켜요.

2. 보장을 적용할 메서드를 선택해요:

   • methods(methodNames: String) — 이름이 methodNames 문자열에 있으면 메서드와 일치해요.
   • methods(methodPredicate: (methodName: String) -> Boolean) — 조건자로 메서드를 일치시켜요.
   • allMethods() — 선택한 클래스의 모든 메서드를 일치시켜요.

3. 보장 유형을 선택해요:

   • treatAsAtomic() — 각 메서드를 원자적(atomic) 연산으로 취급해요. Lincheck는 메서드 호출 내부에는 스위치 지점을 삽입하지 않지만, 호출 앞이나 뒤에는 추가할 수 있어요. 스레드 안전한 것으로 알려진 메서드에는 treatAsAtomic()을 사용해요.
   • ignore() — 메서드를 분석에서 제외해요. Lincheck는 메서드 호출 내부, 앞, 뒤에 스위치 지점을 삽입하지 않아요. 메서드가 내부적으로 동기화 프리미티브(예: synchronized 블록)를 사용한다면, 메서드를 무시하면 Lincheck가 교착 상태에 빠질 수 있어요. 로깅이나 디버깅 유틸리티처럼 분석과 무관한 메서드에는 ignore()를 사용해요.

다음 단계

Lincheck 실행 시나리오에 사용되는 연산의 인자 생성을 구성하는 방법을 배워요.

더 알아보기

• 연산 실행 옵션 구성하기 (Configuring operation execution options)
• 논블로킹 진행 보장 확인하기 (Checking for non-blocking progress guarantees)
• 알고리즘의 순차 명세 정의하기 (Defining a sequential specification of an algorithm)