Sparse Distributed Representations (SDRs)
Semantic fingerprints sind Wort-SDRs
Was ist eine SDR?Sparse Distributed Representation)
Jüngsten neurowissenschaftlichen Erkenntnissen zufolge verwendet das Gehirn "Sparse Distributed Representations" (SDRs), um Informationen zu verarbeiten. Dies gilt für alle Säugetiere, von Mäusen bis hin zu Menschen. Die SDRs visualisieren die Informationen, die das Gehirn zu einem bestimmten Zeitpunkt verarbeitet, wobei jede aktive Zelle einen semantischen Aspekt der Gesamtbotschaft enthält.
Sparse bedeutet, dass nur einige wenige der vielen (tausenden) Neuronen gleichzeitig aktiv sind, im Gegensatz zur typischen "dichten" Darstellung in Computern, die aus einigen Bits mit 0 und 1 besteht.
Distributed bedeutet, dass nicht nur die aktiven Zellen über die Darstellung verteilt sind, sondern auch die Bedeutung des Musters. Dies macht die SDR widerstandsfähig gegenüber dem Ausfall einzelner Neuronen und ermöglicht Sub-Sampling.
Da jedes Bit oder Neuron eine Bedeutung hat, bedeutet es, dass zwei SDR semantisch ähnlich sind, wenn sie gleiche, aktive Bits beinhalten: Das ist der Schlüssel zu unserem Berechnungsansatz.
Ein neues Modell für intelligente Textverarbeitung
Wie Cortical.io SDRs verwendet
Der Forscher Jeff Hawkins verwendet SDRs, um ein Neurocomputermodell namens Hierarchical Temporal Memory oder HTM zu trainieren. Dieses HTM-Network erkennt und speichert Sequenzen von spärlichen Bitmustern, so dass das trainierte Network Vorhersagen darüber treffen kann, was nach einer bestimmten Eingabesequenz als nächstes zu erwarten ist.
Das Grundkonzept von Cortical.io's Retina besteht darin, die symbolische Repräsentation von Sprache in eine SDR-Form umzuwandeln, so dass sie numerisch berechenbar wird. Die Sprache wird zunächst in ihre Atome, die Wörter, zerlegt. Die Begriffe werden dann von der Retina-Engine in SDRs umgewandelt.
Jedes Wort wird durch ein Bündel von 16.000 semantischen Merkmalen charakterisiert, die die lexikalische Semantik eines Wortes in seinem natürlichen Kontext erfassen. Zwei Wörter werden in ihrer SDR-Form ähnlich, wenn sie begrifflich verwandt sind. Die semantische Ähnlichkeit ist selbst mit einem einfachen Maß wie dem euklidischen Abstand direkt vergleichbar.
Ein Äquivalent zum semantischen Vektormodell von Cortical.io's Retina findet sich in der Information Retrieval Literatur unter dem Namen Word Space. Dieses Modell wurde erstmals von Hinrich Schütze beschrieben; siehe auch Distributional Semantics.
Einen hervorragenden Überblick über das Potenzial des Wort-Raum-Modells gibt Magnus Sahlgren in seiner Dissertation mit dem Titel The Word-Space Model.
Hintergrund
In letzter Zeit hat ein neuer Aspekt der Hirnforschung immer mehr Aufmerksamkeit erregt. Bei den "Computational Neuroscience" geht es nicht so sehr um die biologischen und biochemischen Eigenschaften der Neuronen, sondern um ihre rechnerische Logistik. Sehr ehrgeizige Projekte wie das Blue Brain Project von Henry Markram versuchen, die Funktionsweise des Gehirns durch eine Rekonstruktion auf Synapsen-Ebene in Form eines Computermodells aufzudecken. Das Blue Brain versucht, eine so genannte kortikale Säule zu modellieren, eine sich wiederholende Struktur, die in allen Säugetiergehirnen zu finden ist. Diese Säulen wurden erstmals von Vernon B. Mountcastle als "Hypercolumns" beschrieben. Ein guter Ausgangspunkt für ein tieferes Verständnis ist eine Arbeit von Pasko Rakic mit dem Titel Confusing cortical columns.
Während seiner Entwicklung wurde der Neokortex stark von den Bedürfnissen des visuellen Systems beeinflusst. Dieser Einfluss war so stark, dass man sich das visuelle System als "Leitbild" vorstellen kann. Die Umkehrung des visuellen Systems zeigt die Rolle von Strukturen wie dem Thalamus als Tor und Schaltzentrale für sensorische Eingaben oder dem Hippocampus als der möglicherweise höchsten Ebene eines hierarchischen Gedächtnissystems. Auch die Signale, die Informationen in den Gehirnbahnen repräsentieren, verdienen eine genauere Betrachtung: Das Gehirn verarbeitet Informationen mit Hilfe von Sparse Distributed Representations (SDR). Diese SDRs sind in der Tat der Schlüssel zu einem besseren Verständnis des Berechnungsansatzes des Gehirns.
Wir stellen eine wachsende Liste von Artikeln und Videos zu Themen aus dem Bereich der Computational Neuroscience zur Verfügung: siehe unsere Medienressourcen.
