PHBench

PHBench: Maximale Präzision bei der Vorhersage von Series-A-Finanzierungen

In der dynamischen Welt der Startups ist die Identifizierung von zukünftigen Marktführern oft wie die Suche nach der sprichwörtlichen Nadel im Heuhaufen. Nur ein Bruchteil der Unternehmen, die auf Plattformen wie Product Hunt starten, schafft jemals den Sprung zu einer signifikanten Series-A-Finanzierung. Hier setzt PHBench an – ein spezialisierter, offener Benchmark, der darauf ausgelegt ist, die Erfolgsaussichten von Startups basierend auf ihren Launch-Signalen vorherzusagen.

Mit einer Datenbasis von über 67.292 Launches aus einem Zeitraum von sieben Jahren bietet PHBench eine wissenschaftlich fundierte Grundlage für Investoren, Gründer und Datenanalysten. Das Ziel ist klar: Die Vorhersage, ob ein Startup innerhalb von 18 Monaten nach seinem 24-Stunden-Launch ein Term Sheet für eine Series A erhält.

Was ist PHBench?

PHBench ist ein umfassender Benchmark zur Vorhersage von Series-A-Finanzierungen. Er nutzt Signale von der Plattform Product Hunt, um die Wahrscheinlichkeit eines künftigen Finanzierungserfolgs zu bewerten. Die statistische Realität ist ernüchternd: Lediglich 0,78 % aller Launches führen tatsächlich zu einer Series A. Diese geringe Erfolgsquote wird als "Base Rate" bezeichnet.

PHBench ermöglicht es, Modelle zu trainieren und zu vergleichen, um diesen Prozess zu optimieren. Das derzeit beste Modell erreicht einen 4,7-fachen Lift gegenüber einer Zufallsauswahl auf dem Test-Datensatz. Durch die Kombination von historischen Daten (2019 bis 2025) und modernen Machine-Learning-Methoden wie XGBoost, LightGBM und Large Language Models (LLMs) schafft PHBench Transparenz in einem oft undurchsichtigen Markt.

Kernfunktionen von PHBench

PHBench bietet eine Vielzahl von Funktionen und Datenstrukturen, die es zu einem unverzichtbaren Werkzeug für die Startup-Analyse machen:

• Umfangreiches Leaderboard: Ein Ranking-System für verschiedene Vorhersagemodelle, das Metriken wie F0.5-Score, Average Precision (AP), Recall (REC) und AUC (Area Under the Curve) berücksichtigt.
• Signalanalyse (Signal vs. Noise): Durch die Untersuchung von 61 entwickelten Features identifiziert PHBench 12 echte Erfolgssignale und entlarvt 4 häufig überschätzte Faktoren als bloßes "Rauschen".
• Verifizierte Daten: Der Datensatz umfasst 528 verifizierte Series-A-Gewinner aus einer Gesamtmenge von fast 68.000 Launches.
• Wöchentliche Vorhersagen: Die Plattform bietet die Möglichkeit, wöchentliche Prognosen für neue Launches zu erhalten.
• Wissenschaftliche Methodik: Alle Labels werden manuell auditiert und jedes Feature ist detailliert dokumentiert. Der Benchmark ist reproduzierbar und zitierfähig.

Das Leaderboard: Die leistungsstärksten Modelle

Das PHBench Leaderboard zeigt eindrucksvoll, welche technologischen Ansätze die besten Vorhersagen liefern. Hier ein Auszug der Top-Modelle:

1. Top-3 Ensemble (🏆 Gold): Eine Kombination aus ENS_avg, ENS_ISO und XGB_m21. Dieses Modell führt das Feld mit einem F0.5-Score von 0.284 an.
2. ENS_avg (🥈 Silber): Ein Ensemble-Durchschnitt mit einem F0.5-Score von 0.271.
3. LGBM FS3 + ISO (🥉 Bronze): Nutzt LightGBM mit isotonischer Kalibrierung.
4. Google Gemini 3 Flash: Ein LLM-Ansatz (zero-shot) mit anonymisierten Signalen, der zeigt, dass spezialisierte ML-Modelle derzeit noch die Nase vorn haben.
5. Logistic Regression (Baseline): Dient als Referenzpunkt für die Leistung aller anderen Modelle.

Signalanalyse: Was wirklich über eine Series-A-Finanzierung entscheidet

Ein entscheidender Teil von PHBench ist die Unterscheidung zwischen echtem Signal und statistischem Rauschen. Viele Faktoren, die Gründer für wichtig halten, haben laut den Daten keinen signifikanten Einfluss auf eine spätere Series A.

Echte Signale (Der Alpha-Faktor)

• Tages-Ranking beim Launch: Produkte, die am Launch-Tag in den Top 3 landen, sammeln eine Series A mit der 3,5-fachen Wahrscheinlichkeit der Basisrate. Besonders der Sprung von Platz 4 auf Platz 1 generiert überproportionalen "Lift".
• Maker Follower Count: Die Anzahl der Follower der Ersteller (logarithmisch skaliert) ist ein starker Prädiktor.
• Votes-per-Comment Ratio: Das Verhältnis von Stimmen zu Kommentaren gibt Aufschluss über das echte Engagement.
• B2B Topic Cluster & AI Topic: Die Zugehörigkeit zu bestimmten Themenbereichen, insbesondere im B2B- und KI-Sektor, korreliert stark mit Finanzierungserfolg.

Statistisches Rauschen (Kein Effekt)

Überraschenderweise haben folgende Faktoren laut PHBench keinen nennenswerten Einfluss auf die Vorhersage einer Series A:

• Die reine Anzahl der Upvotes (Raw Upvote Count).
• Die Länge des Tagline-Textes (Tagline Word Count).
• Der spezifische Wochentag des Launches.
• Das bloße Label "AI" im Thema, ohne tiefergehende Interaktion.

Anwendungsbereiche (Use Cases)

PHBench kann von verschiedenen Akteuren im Startup-Ökosystem genutzt werden:

• Venture Capitalisten (VCs): Identifizierung von High-Potential-Startups unmittelbar nach dem Product Hunt Launch, um frühzeitig Kontakt aufzunehmen.
• Startup-Gründer: Analyse der eigenen Launch-Signale im Vergleich zu historischen Gewinnern, um die eigene Marktpositionierung zu verstehen.
• Datenwissenschaftler: Entwicklung und Testen neuer Modelle auf einem sauberen, manuell auditierten Datensatz für binäre Klassifikationsprobleme.
• Marktforscher: Untersuchung von Trends über einen Zeitraum von sieben Jahren (2019-2025) im Bereich der Technologie-Launches.

Methodik und Transparenz

Die Forschung hinter PHBench wurde von Experten wie Yagiz Ihlamur, Ben Griffin und Rick Chen (The Base Rate) durchgeführt. Die Methodik zeichnet sich durch folgende Punkte aus:

"Wir haben PHBench so entwickelt, wie wir selbst bewertet werden möchten. Jedes Label ist manuell geprüft. Jedes Feature ist dokumentiert. Jede Einreichung wird auf einem Hash-gepinnten Testset erneut ausgeführt."

Die Ergebnisse wurden im Paper "PHBench: A Benchmark for Predicting Startup Series A Funding from Product Hunt Launch Signals" veröffentlicht (arXiv:2605.02974).

Häufig gestellte Fragen (FAQ)

Wie hoch ist die Trefferquote von PHBench? Die Basisrate für eine Series A liegt bei nur 0,78 %. Die besten Modelle in PHBench erzielen einen 4,7-fachen Lift über den Zufallswert auf dem gehaltenen Test-Set.

Welches Zeitfenster wird für die Vorhersage betrachtet? PHBench prognostiziert, ob ein Startup innerhalb von 18 Monaten nach dem Launch auf Product Hunt eine Series-A-Finanzierung (Term Sheet) erhält.

Können LLMs wie ChatGPT oder Gemini die Finanzierung vorhersagen? Ja, Modelle wie Google Gemini Flash sind im Benchmark enthalten. Sie zeigen eine solide Leistung, werden jedoch derzeit noch von spezialisierten Gradient-Boosting-Modellen (XGBoost/LightGBM) übertroffen.

Was ist der wichtigste Einzelfaktor für den Erfolg? Das tägliche Ranking am Tag des Launches ist der stärkste Indikator. Ein Platz in den Top 3 erhöht die Chancen auf eine Series A massiv (3,5-facher Lift).

Ist der Datensatz öffentlich zugänglich? Ja, PHBench ist ein offener Benchmark. Forscher können Vorhersagen einreichen und ihre Modelle mit dem phbench_public_test.csv Datensatz validieren.