Что остаётся за пределами тестов: обсуждение исследования Mercor

Обсуждение с 632 баллами и 579 комментариями посвящено выводу о слабом покрытии тестами задач, занимающих 90% рабочего времени в США. Важное различие — между быстрым решением отдельной проверяемой задачи и всей цепочкой согласований, ожидания и проверки результата: успех ИИ в программировании ещё не описывает рабочий день целиком. При этом комментарии участников — материал для постановки вопросов, а не самостоятельное измерение производительности.

Сэкономленные часы могут скрывать отсутствие отдачи

В разборе исследования Wharton–GBK от 24 октября сильную отдачу от ИИ сообщают 35% подразделений, учитывающих хотя бы один показатель роста, против 13% тех, кто оценивает только эффективность. Это самоотчёты и наблюдаемая связь, не доказательство, что смена показателей сама вызывает рост; полезный вопрос — превращаются ли освобождённые часы в выручку или изменение организации работы. Число голосов для этой публикации в исходных данных не указано.

Общая мысль этих материалов: оценивать ИИ стоит на уровне завершённого процесса и полезного результата. Быстрый ответ модели и сокращённое время отдельного действия — важные промежуточные показатели, но они ещё не показывают, что изменилось для работника, клиента или компании.