PHBench

PHBench: Ведущий бенчмарк для прогнозирования раунда Series A по сигналам запуска

В современном мире венчурных инвестиций поиск следующего «единорога» напоминает поиск иголки в стоге сена. PHBench — это открытый бенчмарк и исследовательский проект, призванный решить эту задачу с помощью анализа данных. Основная цель PHBench заключается в прогнозировании вероятности получения финансирования Series A стартапом, основываясь исключительно на сигналах, полученных в течение первых 24 часов после запуска на платформе Product Hunt.

Проект PHBench опирается на колоссальный объем данных: 67 292 запуска, охватывающих период в семь лет (с 2019 по 2025 год). Из этого огромного массива лишь 528 компаний смогли привлечь Series A в течение 18 месяцев после запуска, что составляет базовую ставку всего в 0,78%. PHBench предоставляет инструменты и методологию для того, чтобы модели машинного обучения могли идентифицировать этих победителей с высокой точностью.

Что такое PHBench?

PHBench — это комплексная экосистема для оценки моделей предиктивного анализа в сфере венчурного капитала. Это не просто набор данных, а полноценный лидерборд (Leaderboard), где разработчики и исследователи данных соревнуются в создании наиболее точных алгоритмов.

В основе PHBench лежит задача классификации: на основе сигналов запуска (launch signals) предсказать, подпишет ли компания терм-шит на раунд Series A в течение ближайшего полутора лет. Бенчмарк является расширением проекта VCBench и предлагает прозрачную, воспроизводимую и научно обоснованную среду для тестирования различных подходов — от классической логистической регрессии до современных больших языковых моделей (LLM).

Основные характеристики и возможности PHBench

Проект PHBench выделяется своей глубиной проработки и ориентацией на реальные рыночные условия. Ключевые параметры бенчмарка включают:

• Масштаб данных: В базе содержится информация о 67 292 запусках.
• Временной охват: Данные собирались в течение 7 лет (2019–2025 гг.), что позволяет учитывать рыночные циклы.
• Целевое событие: Верифицированный раунд Series A в окне 18 месяцев после публикации на Product Hunt.
• Качество данных: Каждая метка (label) проходит ручной аудит, а признаки (features) тщательно документируются.
• Метрики лидерборда: Оценка моделей проводится по таким показателям, как F0.5, AP (Average Precision), Recall и AUC.

Эффективность моделей

Согласно текущим результатам PHBench, лучшие ансамблевые модели достигают показателя lift в 4,7 раза выше, чем случайный выбор на отложенной тестовой выборке. Это доказывает, что сигналы первых суток запуска несут в себе критически важную информацию о будущем потенциале бизнеса.

Анализ сигналов: Что действительно важно?

Команда PHBench проанализировала более 61 инженерного признака, выделив 12 ключевых сигналов, обладающих высокой предсказательной силой, и отсеяв 4 «шумовых» фактора.

Значимые сигналы (Signals)

1. Дневной ранг при запуске (Daily Rank): Это самый мощный индикатор. Продукты, попавшие в топ-3 по итогам дня, привлекают Series A в 3,5 раза чаще базовой ставки. Переход с 4-го на 1-е место дает больше преимуществ, чем с 10-го на 4-е.
2. Количество подписчиков мейкера (Maker Follower Count): Логарифмический показатель популярности создателя продукта.
3. Взаимодействие голосов и ранга: Сложная метрика, учитывающая динамику поддержки.
4. Соотношение голосов к комментариям: Отражает качество вовлеченности сообщества.
5. Тематические кластеры B2B: Стартапы, ориентированные на бизнес-сектор, показывают лучшие результаты.
6. Взаимодействие темы AI и года: Позволяет отслеживать актуальность тренда искусственного интеллекта в динамике.
7. Количество и рейтинг отзывов (Review Count/Rating): Качественная обратная связь от пользователей.

Факторы-шумы (Noise)

Удивительно, но некоторые популярные метрики оказались практически бесполезными для долгосрочного прогнозирования успеха в PHBench:

• Чистое количество апвоутов (Raw Upvote Count).
• Наличие простого тега «AI» без учета контекста.
• Количество слов в слогане (Tagline word count).
• Конкретный день недели запуска.

Лидерборд PHBench: Сравнение методов

Лидерборд проекта демонстрирует превосходство специализированных алгоритмов над универсальными решениями. Ниже представлены топовые позиции:

| Место | Модель | Организация | Метод | AUC | | :--- | :--- | :--- | :--- | :--- | | 01 | Top-3 Ensemble | Author | Ансамбль (XGB, ENS) | 0.840 | | 02 | ENS_avg | Author | Среднее по ансамблю | 0.836 | | 03 | LGBM FS3 + ISO | Author | LightGBM + калибровка | 0.793 | | 06 | Gemini 3 Flash | Google | LLM (Zero-shot) | 0.713 | | 07 | LR FS4 (Baseline) | Author | Логистическая регрессия | 0.825 |

Примечательно, что специализированные градиентные бустинги (XGBoost, LightGBM) на данный момент показывают лучшие результаты в PHBench, чем современные языковые модели, такие как Gemini от Google, когда речь идет об анонимизированных числовых сигналах.

Варианты использования (Use Case)

Бенчмарк PHBench находит применение в различных сферах:

• Для венчурных инвесторов: Раннее выявление перспективных стартапов из тысяч новых запусков. Использование еженедельных прогнозов (Weekly Predictions) для приоритизации сделок.
• Для основателей стартапов: Понимание того, какие метрики запуска действительно коррелируют с будущим успехом и интересом инвесторов.
• Для исследователей ИИ: Разработка и тестирование новых архитектур нейронных сетей и алгоритмов машинного обучения на реальных, шумных и несбалансированных данных.
• Для аналитических платформ: Интеграция скоринга PHBench в инструменты мониторинга технологического рынка.

Методология и воспроизводимость

PHBench создан с акцентом на научную строгость. Файл тестового набора phbench_public_test.csv остается закрытым до финальной отправки модели, что исключает переобучение. Каждое решение при отправке перезапускается на хешированном тестовом наборе данных для подтверждения результата. Весь процесс документирован в препринте arXiv (2605.02974).

Часто задаваемые вопросы (FAQ)

В: Какова вероятность того, что проект с Product Hunt привлечет Series A? О: Согласно статистике PHBench, базовая ставка (base rate) крайне низка — всего 0,78%. Это подчеркивает сложность задачи и ценность точных прогнозных моделей.

В: Какие модели показывают лучший результат в PHBench? О: На текущий момент лидерство удерживает Top-3 Ensemble, сочетающий в себе преимущества XGBoost и изотонической калибровки. Он превосходит базовую логистическую регрессию и модели LLM.

В: Влияет ли день недели запуска на вероятность получения инвестиций? О: Исследование PHBench показало, что хотя вторник-четверг считаются «окном запуска», сам по себе день недели является шумом и не имеет прямой корреляции с получением раунда Series A.

В: Что такое "lift" в контексте PHBench? О: Lift (прирост) показывает, во сколько раз модель предсказывает лучше, чем случайное угадывание. Лучшие модели PHBench обеспечивают 4,7-кратный прирост эффективности.

В: Как можно использовать данные PHBench в научных целях? О: Вы можете цитировать работу (Ihlamur et al., 2026) и использовать открытый датасет для своих исследований, связавшись с командой PHBench Collective через официальные каналы или GitHub.