CRAP メトリクス: 未テストの複雑度を見つける

任意のカバレッジレポートと任意の複雑度ツールがあれば、式に必要なものはすべて揃います。

// crap.js — coverage is a fraction, 0..1
export function crap(complexity, coverage) {
	const untested = 1 - coverage;
	return complexity ** 2 * untested ** 3 + complexity;
}

crap(15, 0);    // 240
crap(15, 0.5);  // 43.125
crap(15, 1);    // 15

変更されたメソッドにラチェットをかければ、誰も予算をつけていない片付けプロジェクトを開かずに新しいリスクを止められます。既存のスコアはビルドを止めるのではなくダッシュボードで見えるままに。エージェントが書いたブランチでは、これがゲートのすべてです。

# CI: score only the methods this branch touched
git diff --name-only origin/main... -- '*.js' \
  | xargs node ./tools/crap-report.mjs --threshold 30 --changed-only

# exit non-zero when a touched method crosses the line;
# print the untouched offenders as a report, not a failure

スコアがカバレッジ不足ではなく複雑度から来ているなら、もっとテストするのは誤った応答です。各分岐を複雑度 1 の何かに引き出せば、規則がいくつ増えても駆動部分は平らなまま。将来のエージェントが足す規則も同じです。

// Before: complexity climbs with every rule anyone adds.
function validate(order) {
	if (!order.id) return 'missing id';
	if (order.items.length === 0) return 'no items';
	if (order.total < 0) return 'negative total';
	if (order.currency !== 'USD' && order.currency !== 'EUR') return 'bad currency';
	if (order.customer && !order.customer.email) return 'customer without email';
	return null;
}

// After: each rule is trivially testable, the driver stays at 2.
const RULES = [
	[(o) => !o.id, 'missing id'],
	[(o) => o.items.length === 0, 'no items'],
	[(o) => o.total < 0, 'negative total'],
	[(o) => !['USD', 'EUR'].includes(o.currency), 'bad currency'],
	[(o) => Boolean(o.customer) && !o.customer.email, 'customer without email']
];

function validate(order) {
	for (const [fails, message] of RULES) if (fails(order)) return message;
	return null;
}

コードを書いていない工程が、この順序で 2 つのチェックを走らせます。1 つ目はこのコードが変更できる形をしていると言い、2 つ目はそれを守るテストが変更時に本当に反応すると言います。

# 1. structural: is this changeable code?
crap-report --changed-only --threshold 30 || exit 1

# 2. behavioural: do the new tests assert anything?
stryker run --incremental --mutate "$(git diff --name-only origin/main...)"

# report both on the PR. one number is about the code,
# the other is about the tests that claim to cover it.