Introduction to Deep Learning: From Historical Context to Modern Applications

-: Was Allison wissen sollte- -: Was ist das Internet überhaupt? -: Das Internet ist ein riesiges Computernetz. -: Richtig? -: Die, die jetzt wirklich groß wird. -: Was meinst du mit "groß"? Wie kann man... Was schreiben Sie ihm wie eine Post? -: Nein. Viele Menschen nutzen es und kommunizieren. Ich denke, sie können mit den NBC-Autoren und -Produzenten kommunizieren. Allison, können Sie erklären, was Internet ist? (Spannungsgeräusch) -: Wie erstaunlich ist das? Vor etwas mehr als 20 Jahren wussten die Menschen nicht einmal, was das Internet ist. Und heute können wir uns ein Leben ohne sie gar nicht mehr vorstellen. Willkommen zum Kurs Deep Learning A bis Z. Mein Name ist Kale Romanco, und zusammen mit dem Konstrukteur Hardland de Ponteros freuen wir uns sehr, Sie an Bord zu haben. Heute wollen wir Ihnen einen kurzen Überblick darüber geben, was Deep Learning ist. Und warum es gerade jetzt wieder aufwärts geht. Fangen wir also an. Warum haben wir uns diesen Clip angeschaut? Und was ist das für ein Foto hier? Nun, dieser Clip war von 1994. Dies ist ein Foto eines Computers aus dem Jahr 1980. Der Grund, warum wir ein wenig in die Geschichte eintauchen, ist, dass es neuronale Netzwerke und Deep Learning schon seit geraumer Zeit gibt. Und sie haben erst jetzt begonnen, sich zu entwickeln und die Welt zu beeinflussen. Aber wenn man sich die 80er Jahre anschaut, wird man feststellen, dass sie zwar in den 60er und 70er Jahren erfunden wurden, aber erst in den 80er Jahren richtig im Trend lagen oder Wind davon bekamen. Die Leute fingen also an, viel über sie zu reden. In diesem Bereich wurde viel geforscht. Und jeder dachte, dass Deep Learning oder neuronale Netze diese neue Sache sind, die die Welt verändern wird, die alles verändern wird. Es wird alle Probleme der Welt lösen. Und dann starb sie im Laufe des nächsten Jahrzehnts langsam ab. Und was geschah dann? Warum haben die neuronalen Netze nicht überlebt und die Welt nicht verändert? War das der Grund dafür, dass sie einfach nicht gut genug waren? Dass sie nicht so gut darin sind, Dinge vorherzusagen und nicht so gut im Modellieren? Und im Grunde genommen einfach keine gute Erfindung? Oder gibt es einen anderen Grund? Nun, eigentlich gibt es noch einen anderen Grund. Und der Grund liegt direkt vor uns. Es ist die Tatsache, dass die Technologie damals noch nicht auf dem richtigen Stand war, um neuronale Netze zu ermöglichen. Damit neuronale Netze und Deep Learning richtig funktionieren, braucht man zwei Dinge. Sie brauchen Daten, und zwar eine Menge Daten. Und Sie brauchen Rechenleistung. Man braucht starke Computer, um diese Daten zu verarbeiten und die neuronalen Netze zu unterstützen. Werfen wir also einen Blick darauf, wie sich Daten oder die Speicherung von Daten im Laufe der Jahre entwickelt haben. Und dann werden wir uns ansehen, wie sich die Technologie entwickelt hat. Hier haben wir also drei Jahre: 1956, 1980 und 2017. Wie sah die Lagerhaltung im Jahr 1956 aus? Nun, es gibt eine Festplatte. Und die Festplatte ist nur fünf, Moment mal, Megabyte groß. Das sind fünf Megabyte auf dem Gabelstapler, so groß wie ein kleines Zimmer. Das ist eine Festplatte, die in einem Flugzeug an einen anderen Ort transportiert wird. Und so sah die Lagerung 1956 aus. Du musstest bezahlen... Ein Unternehmen musste in diesen Tagen 2500 Dollar für die Miete dieser Festplatte bezahlen. Es zu mieten, nicht zu kaufen, es für einen Monat zu mieten. Im Jahr 1980 verbesserte sich die Situation ein wenig. Hier haben wir also eine 10-Megabyte-Festplatte für 3500 Dollar. Es ist immer noch sehr teuer und nur 10 Megabyte groß. Das ist also ein einziges Foto in diesen Tagen. Und heute, im Jahr 2017, haben wir eine 256-Gigabyte-SSD-Karte für 150 Dollar, die auf Ihren Finger passt. Und wenn Sie sich dieses Video ein Jahr später, also 2019 oder 2025, ansehen, werden Sie wahrscheinlich über sich selbst lachen, weil Sie dann eine noch größere Speicherkapazität haben. Aber der Punkt bleibt trotzdem bestehen. Wenn wir diese also übergreifend vergleichen, ohne Preis und Größe zu berücksichtigen, nur die Kapazität dessen, was zu der Zeit im Trend lag. Von 1956 bis 1980 hat sich die Kapazität also etwa verdoppelt. Und dann stieg sie um das 25.600-fache. Auch die Länge des Zeitraums ist nicht so unterschiedlich. Also von 1956 bis 1980, 24 Jahre, von 1980 bis 2017, 37 Jahre. Es ist also kein großer Zeitgewinn, aber ein gewaltiger Sprung im technischen Fortschritt. Und das zeigt, dass es sich nicht um einen linearen Trend handelt. Dies ist ein exponentielles Wachstum der Technologie. Und wenn wir den Preis und die Größe berücksichtigen, wird der Anstieg in die Millionen gehen. Und hier haben wir tatsächlich ein Diagramm oder eine logarithmische Skala. Wenn wir also die Festplattenkosten pro Gigabyte aufzeichnen, dann sieht das ungefähr so aus. Wir nähern uns im Moment sehr schnell dem Nullpunkt. Sie können Speicherplatz auf Dropbox und Google Drive erhalten, was Sie nichts kostet. Cloud-Speicher. Und das wird sich fortsetzen. Und im Laufe der Jahre wird dies sogar noch weiter gehen. Schon jetzt befassen sich Wissenschaftler mit der Verwendung von DNA zur Speicherung. Und im Moment ist es ziemlich teuer. Es kostet 7.000 Dollar, zwei Megabyte Daten zu synthetisieren, und weitere 2.000 Dollar, sie zu lesen. Aber das erinnert einen irgendwie an die ganze Situation mit der Festplatte und dem Flugzeug. Sie wissen, dass dies mit dieser exponentiellen Kurve sehr, sehr schnell gemildert werden wird. In 10 oder 20 Jahren wird jeder DNA-Speicher verwenden, wenn wir diesen Weg weitergehen. Und hier noch ein paar Statistiken dazu. Sie können dies also weiter erforschen. Vielleicht sollten Sie das Video anhalten, wenn Sie mehr darüber lesen möchten. Das kommt aus der Natur. com. Und im Grunde kann man alle Daten der Welt in nur einem Kilo, einem Kilo DNA-Speicher speichern. Oder man kann etwa 1 Milliarde Terabyte an Daten in einem Gramm DNA-Speicher unterbringen. Das ist nur ein Beispiel dafür, wie schnell wir vorankommen. Und dass dies der Grund ist, warum Deep Learning jetzt an Fahrt aufnimmt, wo wir endlich genug Daten haben, um super coole, super ausgeklügelte Modelle zu trainieren. In den 80er Jahren, als es zum ersten Mal erfunden wurde, war das einfach noch nicht der Fall. Und der zweite Punkt, über den wir gesprochen haben, ist die Verarbeitungskapazität. Hier haben wir also eine Exponentialkurve. Wiederum auf einer logarithmischen Skala, die hier nicht ideal dargestellt ist, aber auf der rechten Seite können Sie sehen, dass es sich um eine logarithmische Skala handelt. Und so haben sich die Computer weiterentwickelt. Sie können also gerne eine Folie anhalten. Dies wird als Moore's Law bezeichnet. Sie haben wahrscheinlich schon davon gehört. Wie schnell sich die Verarbeitungskapazität von Computern weiterentwickelt hat. Im Moment sind wir irgendwo da drüben, wo ein durchschnittlicher Computer, den man für tausend Dollar kaufen kann, mit der Geschwindigkeit des Gehirns einer Ratte denkt. Und im Jahr 2025 wird die Geschwindigkeit eines Menschen erreicht sein, also 2023. Und bis 2050 oder 2045 wird sie dann alle Menschen zusammen unterdrücken. Wir treten also in das Zeitalter der extrem leistungsfähigen Computer ein, die Dinge viel schneller verarbeiten können, als wir es uns vorstellen können. Und das ist es, was ein tiefgreifendes Lernen ermöglicht. All dies bringt uns zu der Frage, was ist Deep Learning? Was hat es mit diesem neuronalen Netz auf sich? Was ist hier los? Worüber reden wir hier überhaupt? Und wahrscheinlich haben Sie schon einmal ein Bild von so etwas gesehen. Lassen Sie uns also eintauchen. Was ist Deep Learning? Dieser Herr hier drüben, Jeffrey Hinton, ist bekannt als der Pate des Deep Learning. Und er forschte in den 80er Jahren im Bereich Deep Learning. Und er hat eine Menge Arbeit geleistet, eine Menge Forschungsarbeiten. Er veröffentlicht gerade in Deep Learning. Er arbeitet bei Google. Vieles von dem, worüber wir sprechen werden, stammt also von Jeffrey Hinton. Und man kann eine Menge sehen, er hat eine ganze Reihe von YouTube-Videos. Er erklärt die Dinge wirklich gut. Es ist also sehr empfehlenswert, sie auszuprobieren. Die Idee hinter Deep Learning ist also, sich das menschliche Gehirn anzusehen. Und in diesen Tutorien wird es eine ganze Menge Neurowissenschaften geben. Und wir versuchen hier, die Funktionsweise des menschlichen Gehirns nachzuahmen. Und wissen Sie, so viel wissen wir nicht. Wir wissen nicht alles über das menschliche Gehirn, aber das Wenige, was wir wissen, wollen wir nachahmen und nachbilden. Und warum ist das so? Nun, weil das menschliche Gehirn eines der leistungsfähigsten Werkzeuge auf diesem Planeten zu sein scheint, um zu lernen: um zu lernen, Fähigkeiten anzupassen und sie dann anzuwenden. Und wenn Computer das kopieren könnten, dann könnten wir einfach das ausnutzen, was die natürliche Auslese bereits für uns entschieden hat. All diese Algorithmen, die sich als die besten herausgestellt haben, werden wir einfach ausnutzen. Warum wird das Fahrrad neu erfunden? Oder? Schauen wir also, wie das funktioniert. Hier haben wir einige Neuronen. Es handelt sich also um Neuronen, die auf Glas gestrichen und dann unter einem Mikroskop mit einer bestimmten Farbe betrachtet wurden. Und hier sehen Sie, wie sie aussehen. Sie haben also eine Art Körper. Sie haben diese Äste und Schwänze und so weiter. Sie können also sehen, dass sie in der Mitte einen Kern haben. Und so sieht ein Neuron im Grunde genommen aus. Im menschlichen Gehirn gibt es insgesamt etwa hundert Milliarden Neuronen. Es handelt sich also um einzelne Neuronen. Das sind eigentlich moderne Neuronen, weil sie größer sind und man sie besser sehen kann. Aber trotzdem gibt es im menschlichen Gehirn hundert Milliarden Neuronen. Und jedes Neuron ist mit bis zu tausend seiner Nachbarn verbunden. Damit Sie sich ein Bild machen können: So sieht es aus. Dies ist eine echte Sektion des menschlichen Gehirns. Und das ist das Kleinhirn, also dieser Teil des Gehirns. Hinten. Er ist verantwortlich für die Motorik, das Halten des Gleichgewichts und einige sprachliche Fähigkeiten und ähnliches. Das soll nur zeigen, wie umfangreich sie sind, wie viele Neuronen sie haben. Sie sind wie Milliarden und Abermilliarden von Neuronen, die Ihr Gehirn miteinander verbinden. Es geht hier nicht um fünf oder 500 oder tausend oder eine Million. Es gibt dort Milliarden von Neuronen. Und ja. Das werden wir also versuchen, nachzubilden. Wie können wir dies also in einem Computer nachbilden? Nun, wir schaffen eine künstliche Struktur, ein so genanntes künstliches neuronales Netz, in dem wir Knoten oder Neuronen haben. Und wir werden einige Neuronen für Eingabewerte haben. Dies sind also Werte, die Sie über eine bestimmte Situation wissen. Wenn Sie zum Beispiel etwas modellieren und vorhersagen wollen, brauchen Sie immer einen Input, etwas, von dem Sie Ihre Vorhersagen ableiten können. Und das nennt man dann die Eingabeschicht. Dann haben Sie die Ausgabe. Das ist also ein Wert, den Sie vorhersagen wollen. Ob es ein Preis ist, ob es ein... Wird jemand die Bank verlassen oder in der Bank bleiben? Handelt es sich um eine betrügerische Transaktion? Handelt es sich um eine echte Transaktion? Und so weiter. Das wird also Ihre Ausgabeschicht sein. Und dazwischen werden wir eine verborgene Ebene haben. Wie Sie in Ihrem Gehirn sehen können, haben Sie so viele Neuronen. Einige Informationen kommen also durch Ihre Augen, Ohren und Nase herein. Sie haben also im Grunde Ihre Sinne. Und dann geht es nicht gleich zur Ausgabe, wo Sie das Ergebnis haben. Sie durchläuft all diese Milliarden und Abermilliarden von Neuronen, bevor sie zum Ausgang gelangt. Und das ist das ganze Konzept, das dahinter steckt: Wir werden das Gehirn modellieren. Wir brauchen also diese versteckten Schichten, die vor der Ausgabe liegen. Die Neuronen der Eingabeschicht sind also mit den Neuronen der versteckten Schicht verbunden. Die Neuronen der versteckten Schicht sind mit dem Ausgangswert verbunden. Das ist ziemlich cool, aber was hat das alles zu bedeuten? Wo ist hier das Deep Learning? Warum nennt man es Deep Learning? Hier gibt es nichts Tiefgründiges. Nun, dies ist eine Art Option, die man als oberflächliches Lernen bezeichnen könnte. Es ist in der Tat nicht viel los. Aber warum nennt man es Deep Learning? Dann gehen wir nämlich auf die nächste Stufe. Wir trennen sie sogar noch weiter, und wir haben nicht nur eine verborgene Schicht. Wir haben viele, viele, viele verborgene Schichten. Und dann verbinden wir alles genau wie im menschlichen Gehirn. Wir verbinden alles, vernetzen alles miteinander. Und so werden die Eingabewerte durch all diese versteckten Schichten verarbeitet, genau wie im menschlichen Gehirn. Dann haben wir einen Ausgabewert. Und jetzt geht es um Deep Learning. Darum geht es also beim Deep Learning auf einer sehr abstrakten Ebene. In den weiteren Tutorials werden wir das Thema Deep Learning aufschlüsseln und in die Tiefe gehen. Und am Ende werden Sie wissen, worum es beim Deep Learning geht. Und Sie werden wissen, wie Sie sie in Ihren Projekten anwenden können. Ich bin sehr gespannt darauf. Ich kann es kaum erwarten, loszulegen und freue mich schon auf das nächste Tutorial. Bis dahin viel Spaß mit Deep Learning.