Eine gemeinsame Sprache für ein komplexes Fachgebiet
Die Einzelzellgenomik ermöglicht es Wissenschaftler:innen, einzelne Zellen mit bislang unerreichter Auflösung zu analysieren – und dadurch zu verstehen, wie sie funktionieren, interagieren und zu Gesundheit oder Krankheit beitragen. Doch mit dem rasanten Wachstum des Feldes ist auch die Zahl der verfügbaren Analysewerkzeuge gestiegen: Inzwischen existieren Tausende von Tools zur Verarbeitung und Interpretation dieser komplexen Daten. Diese Vielfalt stellt Forschende vor eine zentrale Herausforderung: Wie findet man das am besten geeignete Werkzeug – oder die optimale Kombination von Verarbeitungsschritten – für eine bestimmte Fragestellung?
Viele dieser Werkzeuge sind hochspezialisiert, ihre Leistungsbewertung jedoch schwierig, da verlässliche Datensätze mit bekannten Ergebnissen (sogenannte „Ground Truth“) oft fehlen. Daher greifen viele Forschende auf groß angelegte Benchmarking-Studien zurück. Diese sind jedoch häufig uneinheitlich, schnell veraltet und schwer vergleichbar – was es komplizierter macht, die effektivste Methode für eine bestimmte Aufgabe zu identifizieren.
„Wir brauchen eine gemeinsame Sprache, um zu messen, was funktioniert und was nicht – und die langfristig Bestand hat“, sagt Prof. Fabian Theis, Direktor des Computational Health Centers bei Helmholtz Munich und Professor an der Technischen Universität München. „Mit Open Problems schaffen wir ein reproduzierbares, transparentes und dynamisches Rahmenwerk, das die Entwicklung und Bewertung von Analysewerkzeugen vorantreibt und aktiv von der Community mitgestaltet werden kann.“
Transparent, reproduzierbar und gemeinschaftsbasiert
Open Problems umfasst derzeit 81 öffentliche Datensätze und testet 171 Methoden in 12 zentralen Aufgaben der Einzelzellanalyse. Jede Methode wird anhand einer Vielzahl quantitativer Metriken bewertet, die ihre Leistungsfähigkeit bei einer konkreten Aufgabe messen – darunter Genauigkeit, Skalierbarkeit und Robustheit. Insgesamt kommen 37 verschiedene Metriken zum Einsatz, wobei für jede Aufgabe die jeweils relevantesten ausgewählt werden.
Alle Bewertungen erfolgen automatisiert in der Cloud und folgen standardisierten Verfahren, um vollständige Reproduzierbarkeit sicherzustellen. Forschende können die Ergebnisse jeder Methode einsehen, den zugrunde liegenden Code analysieren und Verbesserungsvorschläge einbringen. Um langfristig relevant und offen für neue Entwicklungen zu bleiben, ist die Plattform für Beiträge aus der Community ausgelegt: Wissenschaftler:innen können neue Aufgaben vorschlagen, eigene Methoden einbringen, an regelmäßigen Community-Calls teilnehmen und bei kollaborativen Hackathons mitwirken, um die Zukunft des Projekts mitzugestalten.
Konkrete Vorteile für die Forschung
Durch den direkten Vergleich unterschiedlicher Werkzeuge hilft Open Problems Forschenden dabei, die effektivsten Methoden für ihre spezifischen Fragestellungen zu identifizieren – und stellt dabei nicht selten etablierte Annahmen infrage. Wie Dr. Smita Krishnaswamy, Associate Professor für Genetik und Informatik an der Yale School of Medicine, erklärt: „Wir haben festgestellt, dass es genauere Ergebnisse liefert, übergeordnete Muster der Genaktivität zu betrachten, anstatt sich auf einzelne Gene zu fokussieren – etwa, wenn man untersucht, wie Zellen miteinander kommunizieren. Und bei bestimmten Aufgaben, wie der Identifikation von Zelltypen über verschiedene Datensätze hinweg, kann ein einfaches statistisches Modell sogar komplexe KI-Methoden übertreffen – und so die Analyse für viele Forschende schneller und effizienter machen.“
Die Plattform bildet auch die Grundlage für internationale Wettbewerbe im Bereich maschinelles Lernen, etwa die multimodalen Integrations-Challenges der NeurIPS-Konferenz. Diese globalen Wettbewerbe bringen Expert:innen aus Biologie und Künstlicher Intelligenz zusammen, um reale Fragestellungen mit gemeinsamen Datensätzen und standardisierten Bewertungsverfahren zu lösen.
„Open Problems senkt die Einstiegshürden für KI-Forschende außerhalb der Biologie, sich in der Genomik zu engagieren“, sagt Dr. Malte Lücken, Erstautor der Studie und Wissenschaftler bei Helmholtz Munich. „Es ist eine Blaupause für interdisziplinäre Innovation.“
Der gesamte Code sowie alle Ergebnisse sind offen unter einer CC-BY-Lizenz verfügbar unter: github.com/openproblems-bio/openproblems.
Open Problems Webseite https://openproblems.bio/
Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH)
Originalpublikation:
Luecken, M.D., Gigante, S., Burkhardt, D.B. et al. Defining and benchmarking open problems in single-cell analysis. Nat Biotechnol (2025). doi.org/10.1038/s41587-025-02694-w
