Поздравляем, искусственный интеллект почти догнал математиков. Готовьте кошельки, бесплатный ум закончился
Искусственный интеллект вплотную подобрался к задачам, над которыми обычно работают профессиональные математики, но за лучшие ответы приходится платить гораздо больше. В третьем тесте First Proof комплекс ProofCouncil решил девять из 10 исследовательских задач, прямой запуск GPT-6 Astra справился с семью, а система на базе Kimi K3 не решила ни одной.
Организаторы подготовили 10 задач из геометрии, топологии, статистики и других областей. Готовые решения не публиковали в интернете, поэтому модели не могли просто найти знакомый ответ в поиске или воспроизвести текст из открытого источника. Каждой системе дали 24 часа и полностью исключили помощь человека.
Самый высокий результат показал ProofCouncil. Программная оболочка использует GPT-6 Astra, разбивает работу на этапы, многократно обращается к модели и проверяет промежуточные рассуждения. Такой подход поднял результат Astra с семи правильных решений до девяти, но цена выросла с $36 до $1888 за весь набор задач.
Разница хорошо показывает, какую роль начинают играть вычислительные ресурсы. Одной сильной модели уже недостаточно для максимального результата: дополнительные запуски, проверки и повторные попытки позволяют исправлять ошибки и доводить доказательство до конца. В итоге исследователь с большим бюджетом может получить от той же базовой модели заметно больше.
При этом одни расходы успеха не гарантируют. Kimi K3, модель с открытыми весами, израсходовала вычислительные ресурсы примерно на $2000, однако эксперты нашли серьёзные ошибки во всех её ответах. Открытые веса позволяют скачать нейросеть и запустить её на собственном оборудовании, что особенно удобно при работе с закрытыми данными, но в сложной математике протестированная система пока сильно уступила закрытым конкурентам.
Даже лидеры теста всё ещё допускают проблемы, которые важны для настоящей научной работы. Эксперты сочли ссылки на предыдущие исследования достаточными только в четырёх из 10 ответов GPT-6 Astra и в семи ответах ProofCouncil. У лучшей системы примерно треть решений также получила отрицательные оценки за качество изложения.
По сравнению с предыдущим раундом и ProofCouncil, и GPT-6 Astra правильно решили на две задачи больше. Следующую проверку First Proof планирует провести в первой половине января 2027 года. Закрытые системы и модели с открытыми весами организаторы собираются тестировать отдельно, чтобы точнее разобраться, где именно открытые модели начинают ошибаться.