DesktopFly: Eine 3D-Fruchtfliege für macOS gesteuert durch eine Echtzeit-Simulation des FlyWire-Konnektoms

Die wichtigsten Punkte

• Biologische Steuerung: Die Bewegungen der 3D-Fruchtfliege basieren auf einer Live-Spiking-Simulation des echten FlyWire-Konnektoms (Version v783).
• Komplexes neuronales Netz: Ein Schaltkreis aus 668 Neuronen mit etwa 19.000 synaptischen Verbindungen berechnet das Verhalten in einer 1 kHz Leaky-Integrate-and-Fire (LIF) Simulation.
• Realistisches Fluchtverhalten: Fluchtreaktionen werden nicht geskriptet, sondern durch biologische Looming-Detektoren (LC4/LPLC2) und Giant Fiber (GF) Neuronen ausgelöst.
• Umfangreiche Visualisierung: Ein separates Gehirnfenster zeigt 23.210 Neuronen-Soma-Positionen und visualisiert aktive neuronale Impulse (Spikes) in Echtzeit.
• Systemintegration: Die Anwendung läuft auf macOS 13+ und nutzt Systeminformationen wie Cursorpositionen und Fensterrahmen ohne spezielle Berechtigungen.

Analyse

Die Architektur des digitalen Gehirns

DesktopFly stellt eine bemerkenswerte Brücke zwischen der Neurowissenschaft und der Softwareentwicklung dar. Das Herzstück der Anwendung ist die Integration von Daten aus dem FlyWire-Projekt, einer umfassenden Kartierung des Fruchtfliegengehirns. In der aktuellen Version v783 nutzt DesktopFly die Positionen von 23.210 Neuronen-Somas (Zellkörpern) von insgesamt 139.255 im Datensatz vorhandenen Neuronen. Diese werden in einem rotierenden 3D-Fenster dargestellt und nach ihrer Super-Klasse – einer groben Einteilung der Zelltypen – farblich kodiert.

Die technische Umsetzung basiert auf einer 1 kHz Leaky-Integrate-and-Fire (LIF) Simulation. Dieses Modell simuliert das elektrische Verhalten von Neuronen, die Informationen in Form von kurzen Impulsen (Spikes) weitergeben. Der simulierte Schaltkreis umfasst 668 ausgewählte Neuronen, die über circa 19.000 reale synaptische Verbindungen miteinander verknüpft sind. Die Stärke dieser Verbindungen wird durch die Anzahl der Synapsen bestimmt und durch Vorhersagen über die beteiligten Neurotransmitter gewichtet.

Neuronale Schaltkreise und Verhaltenssteuerung

Das Verhalten der Fliege auf dem Desktop ist das direkte Ergebnis der neuronalen Aktivität. Die Simulation umfasst verschiedene spezialisierte Neuronengruppen:

• Visuelle Detektoren: 104 LC4-Neuronen und 210 LPLC2-Neuronen fungieren als Looming-Detektoren, die auf sich nähernde Objekte (wie den Mauscursor) reagieren.
• Kommando-Neuronen: Die zwei Giant Fibers (DNp01) dienen als zentrale Schaltstelle für den Fluchtbefehl. Nur wenn diese Neuronen feuern, hebt die Fliege ab.
• Motorische Steuerung: Für die Fortbewegung sind spezifische Neuronen zuständig, darunter DNp09 für das Vorwärtslaufen, MDN (Moonwalker-Neuronen) für das Rückwärtslaufen sowie DNa01 und DNa02 für Lenkbewegungen.
• Zusätzliche Verhaltensweisen: Sechs DNg11-Neuronen steuern das Putzverhalten (Grooming), während weitere Neuronen (DNp02, DNp04, DNp11) für Flugmanöver und Flügelbewegungen verantwortlich sind.

Zusätzlich sind die 330 stärksten Partnerneuronen in den Schaltkreis integriert, darunter aufsteigende propriozeptive Neuronen (Körperwahrnehmung) und sensorische Neuronen für Wind.

Interaktion und biologische Dynamik

Ein entscheidender Aspekt von DesktopFly ist die Nicht-Linearität der Interaktion. Die Flucht der Fliege ist kein einfacher Wenn-Dann-Befehl. Stattdessen wird die Annäherung des Cursors als visueller Input in die LC4- und LPLC2-Zellen eingespeist. Ob die Fliege flieht, hängt von der Dynamik im Netzwerk ab. Etwa 1.200 Synapsen sorgen für eine Vorwärtshemmung (Feedforward Inhibition). Dies erklärt, warum die Fliege langsame Annäherungen toleriert, aber bei schnellen Bewegungen innerhalb von nur etwa 4 Millisekunden eine Fluchtreaktion zeigt – exakt wie das biologische Vorbild.

Da das FlyWire-Konnektom lediglich Gehirndaten liefert, ist der Körper der Fliege prozedural generiert. Die Anwendung simuliert einen Tripod-Gang, sichtbare Flügelschläge, eine höhenskalierte Flugdarstellung sowie spezifische Haltungen für das Putzen und Schlafen.

Bedeutung für die KI-Branche

DesktopFly demonstriert das Potenzial von biologisch inspirierten neuronalen Netzen (SNNs - Spiking Neural Networks) außerhalb der reinen Forschung. Während moderne KI-Modelle (wie LLMs) auf künstlichen neuronalen Netzen basieren, zeigt dieses Projekt, wie effizient und reaktionsschnell Simulationen sein können, die sich strikt an biologischen Konnektomen orientieren. Die Fähigkeit, komplexe Verhaltensweisen wie Navigation, Flucht und Selbstpflege durch einen vergleichsweise kleinen Satz von 668 Neuronen zu steuern, unterstreicht die Effizienz biologischer Architekturen. Für die Entwicklung autonomer Systeme und die Robotik bietet die Integration realer Konnektom-Daten neue Wege, um adaptive und robuste Verhaltensmuster zu erzeugen, die ohne klassische Programmierung auskommen.

Häufig gestellte Fragen

Frage: Benötigt DesktopFly spezielle Zugriffsberechtigungen auf macOS?

Nein, die Anwendung benötigt keine speziellen Berechtigungen oder Entitlements. Sie nutzt ausschließlich Informationen, die ohne Freigabe zugänglich sind, wie die Cursorposition, die Rahmen der Desktop-Fenster, Klicks (interpretiert als Tippen auf die Oberfläche) und den thermischen Zustand des Systems.

Frage: Wie wird das Fluchtverhalten der Fliege ausgelöst?

Das Fluchtverhalten basiert auf der Simulation der Giant Fiber Neuronen. Wenn der Cursor sich schnell nähert, registrieren die visuellen Looming-Detektoren (LC4/LPLC2) diesen Reiz. Wenn die neuronale Erregung die Hemmung durch die inhibitorischen Synapsen übersteigt und die Giant Fibers feuern, löst die Fliege in ca. 4 ms den Startvorgang aus.

Frage: Welche technischen Voraussetzungen müssen für die Installation erfüllt sein?

Für die Ausführung von DesktopFly wird macOS 13 oder neuer benötigt. Zudem müssen die Xcode Command Line Tools installiert sein, da das Projekt mit Swift 5.9+ kompiliert wird. Die Installation erfolgt über das Klonen des GitHub-Repositorys.