Agentic
SDLC

Property-based testing

Функция со скрытым багом

def encode(input_string):
    count = 1
    prev = ""
    lst = []
    for character in input_string:
        if character != prev:
            if prev:
                lst.append((prev, count))
            count = 1
            prev = character
        else:
            count += 1
    lst.append((character, count))
    return lst

def decode(lst):
    return "".join(character * count for character, count in lst)

Run-length encoding: «WWWB» → [("W", 3), ("B", 1)]. Пример из документации Hypothesis

Property-based testing

Обычный тест: зелёный

def test_encode_decode():
    s = "WWWWWWWWWWWWBWWWWWWWWWWWWBBBWWWWWWWWWW"
    assert decode(encode(s)) == s

✓ passed

Property-based testing

Свойство: для любой строки

from hypothesis import given
from hypothesis.strategies import text

@given(text())
def test_decode_inverts_encode(s):
    assert decode(encode(s)) == s

Falsifying example: test_decode_inverts_encode(s='')
UnboundLocalError: cannot access local variable 'character'

Hypothesis перебрал строки и ужал падение до минимального примера: пустая строка. Такой тест руками обычно не пишут

Что нашли мутанты

Код: смены для супервайзера

def shifts_for(user: User) -> list[Shift]:
    query = select(Shift).join(Employee)
    if user.role == Role.SUPERVISOR:
        query = query.where(Employee.mentor_id == user.id)
    return db.scalars(query).all()

Супервайзер должен видеть только смены своей команды

Что нашли мутанты

Тест есть, coverage 100%

def test_supervisor_sees_team_shifts(supervisor, promoter):
    make_shift(promoter, mentor=supervisor)
    assert len(shifts_for(supervisor)) == 1

Строка с фильтром выполняется, coverage зелёный

Что нашли мутанты

Мутант: строку удалили

def shifts_for(user: User) -> list[Shift]:
    query = select(Shift).join(Employee)
    if user.role == Role.SUPERVISOR:
        pass  # мутант: фильтр по команде удалён
    return db.scalars(query).all()

✓ все ~1500 тестов зелёные. Мутант выжил

В тесте есть только одна смена, и она своя. Тест не отличает «свои смены» от «все смены»

Что нашли мутанты

Что это значит

def test_supervisor_does_not_see_other_teams(supervisor, other_supervisor):
    mine = make_shift(promoter_a, mentor=supervisor)
    make_shift(promoter_b, mentor=other_supervisor)
    assert shifts_for(supervisor) == [mine]

Контроль доступа никто не проверял: можно было стереть фильтр, и супервайзер видел бы смены всех команд. Таких мест нашлось 5 из 13

Было

Эксперимент: returns

def checkout(user_id: int, cart_id: int) -> Receipt:
    user = get_user(user_id)
    cart = get_cart(cart_id)
    payment = charge(user, cart.total)
    return make_receipt(payment)

Обычный Python. Что может упасть на каждом шаге, из кода не видно

Стало

Эксперимент: returns

def checkout(user_id: int, cart_id: int) -> Result[Receipt, CheckoutError]:
    return flow(
        get_user(user_id),
        bind(lambda user: get_cart(cart_id).map(lambda cart: (user, cart))),
        bind(lambda pair: charge(pair[0], pair[1].total)),
        map_(make_receipt),
    )

Ошибки теперь в типе. Но чтобы протащить user и cart дальше по цепочке, появились лямбды и кортежи. На это и жалуются