Nevrale nettverk: Slik er vår hjerne inspirasjon

Da Geoffrey Hinton for snaue 30 år siden kom med ideen om å bygge nevrale nettverk inspirert av den menneskelige hjerne, ble han forbigått nærmest i taushet. De få som responderte, mente at han var på ville veier.

Få mente det kunne være en god idé, og absolutt ingen trodde det ville la seg gjøre å bygge nevrale nettverk i en datamaskin på denne måten.

I dag viser de store fremskrittene innen dyp læring og nevrale nettverk at han var på rett spor.

Geoff Hinton, professor ved University of Toronto og seniorforsker ved Alphabet Inc.s Google Brain, var en av tre vinnere av Turing Award 2019.  Han delte prisen med Yann LeCun, sjefsforsker i Facebook , og Yoshua Bengio

Sammen er de kjent som gudfedrene innen nevrale nettverk og feltet dyp læring innen kunstig intelligens.

Alan turing kom med ideen om nevrale nettverk for 70 år siden

Selv sier Hinton tredve år senere, at det ikke var hans ide, men at den moderne datamaskinens far, Alan Turing allerede foreslo dette på 30-tallet. 

I et intervju med Nick Thompson i Wired forteller Hinton at det for han tidlig var klart at det ikke var noen annen måte dette kunne fungere på.

Et nevralt nettverk måtte kunne konstrueres på samme måten som den menneskelige hjerne.

Han mente vi måtte la oss inspirere av våre milliarder av nevroner og hvordan vi lærer gjennom forsterkning av forbindelsene mellom disse.

Vil du lage en datamaskin som skal gjøre noe intelligent, har du to alternativer: Du kan programmere, eller du må lage et system som kan lære.

Vår hjerne er ikke programmert

Siden den menneskelige hjerne definitivt ikke er programmert, så har menneskets fremgang kommet av våre evner til å lære.

Dette måtte være den riktige veien å gå, også for datamaskiner, mente han.

En nevralt nettverk er satt opp med millioner av koblinger, på samme måte som hjernens nevroner.

Hvert enkelt punkt er koblet til og får ulik vekt eller tyngde i nettverket basert på tilkoblingens erfaring, eller nærmere bestemt feedback i en loop av prøving og feiling.

Ser du etter en foredragsholder som kan snakke om hvordan kunstig intelligens påvirker våre barn og våre liv, privat og på jobb? Les mer om Jan Sollid Storehaug og foredrag jeg holder her

Summen av aktivitetene, “dette stemte” eller “dette stemte ikke” gir hver enkelt koblingspunkt ulik vekt.

Får tilkoblingspunktet eller “den digitale nevronen” stor nok vekt, sendes resultatet videre i nettverket. Er summen av erfaringen negativ, sendes det ikke noe videre.

Nevrale nettverk er milliarder av koblinger, lag på lag

Gang opp dette med milliarder av tilkoblinger, lag på lag så har du dyp læring i et nevralt nettverk.

Hvor vellykket blir det nevrale nettverket?

Det koker ned til et spørsmål om hvordan en vekter de enkelte tilkoblingspunktene.

Alan Turing hadde den samme ideen. Han mente at vi er født med en hjernen som fra start er uorganisert med milliarder av nevroner.

Du kan mer om nevrale nettverk i Wikipedias oppsummering her

Ved fødsel har disse tilfeldig vekt. Hjernen bruker forsterkende læring for å forandre forbindelsene. Slik lærer vi som mennesker, og slik kunne vi lære en maskin å gjøre det samme, hevdet han allerede på 30-tallet.

Prinsippene for nevrale nettverk har vært kjent lenge.

På 90-tallet var datasettene å teste dette ut på ganske små og datamaskinene begrenset med for liten regnekapasitet. På små datasett fungerte andre metoder – for eksempel bruk av støttevektorer, bedre.

Allerede på 80-tallet ble det utviklet systemer for forsterkning av koblingspunktene i nevrale nettverk. Forskerne trodde på den tiden at det ville løse det meste av utfordringene.

De hadde rett, men overså betydningen av skalering.

En av de store skuffelsene var at om du lagde nettverk med mange skjulte lag, kunne du ikke trene dem.

Merking av data med etiketter i datasett, eller veiledet læring var og er en mye brukt metode.

Veiledet læring og bruk av etiketter

Hinton mener å bare bruke etiketter i det hele tatt var en feil.  Siden datamaskinene blir raskere og raskere vil uovervåket læring (uten merking) gi bedre resultater, mener han.

Til tross for mye motstand og få resultater å vise til på 90-tallet, ga ikke Geoff Hinton opp forskningen. Forbindelsene i hjernen lærer på en eller annen måte, og vi må bare finne ut hvordan.

Sannsynligvis er det en rekke forskjellige måter å lære disse prinsippene.

Det som er sikkert, er at den menneskelige hjerne bruker et av disse.

Det kan muligens være andre måter å gjøre det på, men uansett vil styrking av forbindelser være et sentralt læringselement i et vellykket nevralt nettverk.

Mange løfter og flere skuffelser

Prinsippene for AI og maskinlæring har vært kjent i mange ti-år. Løftene har vært store, men skuffelsene mange.Med eksponensiell utvikling i regnekapasiteten og en eksplosjon i tilgjengelige datasett som AI kan trene på, har utviklingen skutt fart.

En utfordring er at vi ikke hverken forstår fullt ut hvordan den menneskelige hjerne fungerer.

Vi forstår ikke hvordan nevrale nettverk fungerer

Når vi kjører store tester på AI-modeller, basert på hvordan vi tror den menneskelige hjerne fungerer, vil vi også forstå bedre hvordan vår hjerne faktisk fungerer.

Kan vi omprogrammere vår egen hjerne basert på ny kunnskap?

Vil vi kunne finne en bedre tilnærming på hvordan vi selv lærer? Tenke utdanning på en ny måte? 

Les gjerne mer om fremtidens jobber og kompetansen du bør skaffe deg i denne artikkelen.

Ikke lenge før datamaskinene overgår mennesket

De fremste pionerene innen AI mener vi snart vil lage nevrale nettverk som overgår oss.

Den menneskelige hjernen er nemlig ikke nødvendigvis den mest effektive løsningen, begrenset som vi er av vår biologi. Hastigheten i vårt “nettverk” er begrenset av biologiske hindringer som ikke gjør seg gjeldende i en datamaskin.

Utfordringen fremover blir å modellere maskiner som er mer effektive enn den menneskelige hjernen.

Når datasettene er ubegrenset og regnekapasitet og hastighet ingen begrensning vil vi kunne se nevrale nettverk – eller noe helt annet – som overgår den menneskelige hjerne i vår levetid.

Skremmende perspektiver, men også fantastiske muligheter?

Se hele intervjuet Wired gjorde med Geoff Hinton her.

Er du interessert i å lese mer om pionerene innen kunstig intelligens anbefaler jeg deg å sjekke ut  Topp-10 listen med folk du bør følge om kunstig intelligens i 2019

 

Recommended Posts

Legg inn kommentar

Start typing and press Enter to search

Når AI skriver ferdig dine artikler Jan Sollid Storehaug The future of AI - what´s next

Send this to a friend