Parsimony: объём изменений как дополнительная мера качества
Анонс Parsimony на Hacker News набрал 77 баллов и 17 комментариев примерно за день на момент сбора данных. Открытый проект оценивает, сколько программных единиц ИИ-агенты добавляют и удаляют при исправлении реальных задач. Для этого используются опубликованные изменения из DeepSWE и SWE-bench.
Практический смысл — дополнить привычные показатели успешности и стоимости решения вопросом о последующем сопровождении. Даже если агент справился с задачей, добавленный им код остаётся команде: его нужно читать, проверять и менять дальше. Оценка объёма изменений помогает обратить внимание на эту сторону автоматизации разработки.
При этом меньше кода не означает правильнее. Компактное исправление тоже может быть ошибочным, а большой объём изменений — необходимым. Поэтому показатель Parsimony полезен вместе с проверкой работоспособности, а не вместо неё.
Исходный код: Parsimony на GitHub. Обсуждение: Hacker News.
Комментарии (1)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
У Parsimony хочется увидеть раздельный учёт рабочего кода и тестов: исправление с десятью проверками может оказаться объёмнее заплатки без единой проверки. Ещё перенос функции между файлами не должен выглядеть как новая сложность только из-за пары «удалили — добавили». Иначе оценка будет поощрять агентов оставлять всё в старом файле.