Ulrich Ramacher - Böcker

The early era of neural network hardware design (starting at 1985) was mainly technology driven. Designers used almost exclusively analog signal processing concepts for the recall mode. Learning was deemed not to cause a problem because the number of implementable synapses was still so low that the determination of weights and thresholds could be left to conventional computers. Instead, designers tried to directly map neural parallelity into hardware. The architectural concepts were accordingly simple and produced the so­ called interconnection problem which, in turn, made many engineers believe it could be solved by optical implementation in adequate fashion only. Furthermore, the inherent fault-tolerance and limited computation accuracy of neural networks were claimed to justify that little effort is to be spend on careful design, but most effort be put on technology issues. As a result, it was almost impossible to predict whether an electronic neural network would function in the way it was simulated to do. This limited the use of the first neuro-chips for further experimentation, not to mention that real-world applications called for much more synapses than could be implemented on a single chip at that time. Meanwhile matters have matured. It is recognized that isolated definition of the effort of analog multiplication, for instance, would be just as inappropriate on the part ofthe chip designer as determination of the weights by simulation, without allowing for the computing accuracy that can be achieved, on the part of the user.

In diesem Buch wird eine erste Generation von künstlichen Hirnen für das Sehen vorgestellt. Auf der ausschliessslichen Grundlage von Neuron- und Synapsenmodellen wird ein Objekterkennungssystem konstruiert, welches eine Merkmalspyramide mit 8 Orientierungen und 5 Auflösungsskalen für 1000 Objekte sowie die Netze für die Bindung von Merkmalen zu Objekten umfasst. Dieses Sehsystem kann unabhängig von der Beleuchtung, dem Gesichtausdruck, der Entfernung und einer Drehung, welche die Objektkomponenten sichtbar lässt, Objekte erkennen. Seine Realisierung erfordert 59 Chips - davon sind 4 verschieden - welche mittels 3D Technologie zu einem Quader von 8mm x 8mm x 1mm aufgeschichtet sind. Die Leistungsfähigkeit des neuronal-synaptischen Netzwerkes beruht auf der Einführung von schnell veränderlichen dynamischen Synapsen. Anders als Netze mit konstanten Synapsen können solche mit dynamischen Synapsen allgemeine Aufgaben der Mustererkennung übernehmen. Die raum-zeitliche Korrelationsstruktur von Mustern wird durch eine einzige synaptische Differentialgleichung in universeller Weise erfasst. Die Korrelation kann in Erscheinung treten als synchrone Pulstätigkeit einer Neurongruppe, wodurch das Vorliegen eines Merkmals in robuster Weise angezeigt wird, oder als Bindung von Merkmalen zu Objekten. Auch wenn die Autoren der Überzeugung sind, dass noch viele Generationen folgen müssen, um die Leistungsfähigkeit des menschlichen Gehirns zu erreichen, sehen sie doch ein neues Rechen-Zeitalter aufziehen. Es gab Zeiten, da wurden Computer mit ihrer Präzision, Zuverlässigkeit und rasanten Geschwindigkeit der feuchten Materie unseres Gehirns als so weit überlegen angesehen wie das Düsenflugzeug dem Spatzen. Dass diese Zeiten vorbei sind, ist gewiss, denn durch formale Logik inspirierte, algorithmisch gesteuerte und mit digitaler Elektronik realisierte Systeme, die heutigen Computer, stossen an ihre Komplexitätsgrenzen. Andererseitseröffnen die hier vorgestellten Ergebnisse den Weg zu einer Alternative. Ein Paradigmenwechsel liegt in der Luft: vom fremdorganisierten zum selbstorganisierten Computer.

This book presents a first generation of artificial brains, using vision as sample application. An object recognition system is built, using neurons and synapses as exclusive building elements. The system contains a feature pyramid with 8 orientations and 5 resolution levels for 1000 objects and networks for binding of features into objects. This vision system can recognize objects robustly in the presence of changes in illumination, deformation, distance and pose (as long as object components remain visible). The neuro-synaptic network owes its functional power to the introduction of rapidly modifiable dynamic synapses. These give a network greater pattern recognition capabilities than are achievable with fixed connections. The spatio-temporal correlation structure of patterns is captured by a single synaptic differential equation in a universal way. The correlation can appear as synchronous neural firing, which signals the presence of a feature in a robust way, or binds features into objects.Although in this book we can present only a first generation artificial brain and believe many more generations will have to follow to reach the full power of the human brain, we nevertheless see a new era of computation on the horizon. There were times when computers, with their precision, reliability and blinding speed, were considered to be as superior to the wet matter of our brain as a jet plane is to a sparrow. These times seem to be over, given the fact that digital systems inspired by formal logic and controlled algorithmically - today's computers - are hitting a complexity crisis. A paradigm change is in the air: from the externally organised to the self-organised computer, of which the results described in this book may give an inkling.