ИИ в науке всё чаще проверяют не по обещаниям, а по реальной новизне

В этой подборке особенно заметна одна общая линия: исследователи переходят от восторга по поводу самого факта генерации идей к более жёстким вопросам — действительно ли ИИ находит что-то новое, умеет ли отличать сильную гипотезу от банальной и как вообще встроить такие системы в научные институты без потери проверяемости.

Substitution-Based Analysis of Structural Novelty for Generative Models of Materials

Авторы этой работы по материаловедению задают очень неприятный, но необходимый вопрос: когда генеративные модели предлагают новые кристаллы, насколько эти структуры реально новы? Вывод получился отрезвляющим: от 81% до 92% химически корректных и метастабильных кристаллов, созданных рассмотренными моделями, либо дублируют примеры из обучающих данных, либо воспроизводятся простой заменой элементов в уже известных структурах. Это важный результат не потому, что он «разоблачает» ИИ, а потому, что помогает трезво отделить настоящую научную новизну от красивых, но во многом переработанных вариантов уже известного. При этом работа не сводит ценность таких моделей к нулю: они всё ещё могут помогать искать решения в менее изученных областях, но ожидания от них теперь становятся заметно реалистичнее.

Mapping Mathematical Hardness: Machine-Assisted Conjecture Discovery and the Quantification of Non-Triviality

Эта статья берётся за одну из самых сложных тем в ИИ для математики: мало породить правдоподобную гипотезу, нужно ещё понять, не является ли она тривиальной. Автор использует автоматизированную систему HypothesiX для поиска утверждений, связанных с задачами о простых числах, и предлагает способ оценивать «нетривиальность» машинно найденных гипотез через расстояния в пространстве представлений. Значение работы в том, что она сдвигает фокус с количества сгенерированных идей на качество научного удивления. Для математиков это особенно важно: машина, которая производит бесконечный поток формально похожих гипотез, полезна гораздо меньше, чем система, которая умеет хотя бы приблизительно показать, какие из них действительно заслуживают человеческого внимания.

AI Scientists as Engines of Discovery: A Case for Development within Reformed Institutions

В этой работе обсуждается не отдельное открытие в биологии или физике, а более широкий поворот: авторы утверждают, что многоагентные системы постепенно переходят из роли пассивных инструментов в роль чего-то близкого к «ИИ-учёным». Речь идёт о системах, способных помогать с обзором литературы, анализом данных, программированием, выдвижением гипотез и критикой результатов. Главный вывод при этом институциональный: если такие системы и правда ускорят науку, то узким местом станут уже не сами модели, а процедуры проверки, ответственности, интерпретируемости и защиты от опасного двойного применения. Это важная рамка для всей области, потому что ускорение науки без новых правил проверки может породить не столько прорыв, сколько лавину плохо подтверждённых результатов.

Если собрать эти три работы вместе, получается довольно зрелая картина. ИИ в науке развивается не только как машина для генерации идей, но и как объект всё более строгой оценки: насколько новые у него результаты, насколько осмысленны его гипотезы и какие институты нужны, чтобы превращать вычислительную скорость в настоящие открытия, а не в поток правдоподобного шума.