Artificiell intelligens och Dota 2

Under de senaste åren har artificiell intelligens besegrat världens bästa spelare. Vi vill därför passa på här att titta närmare på AI:s roll när det gäller gaming.

Vad är AI och hur långt är egentligen det från digitala assistenter som Siri och Alexa till tidsresande mördarrobotar med titanskelett?

Vad är AI/artificiell intelligens?

AI innebär att en dator försöker härma hjärnans sätt att tänka. Det kan t.ex. vara när Spotify rekommenderar låtar baserat på vad annars brukar lyssna på, när datorn styr dina motståndare i datorspelet eller när en självkörande bil ska identifiera objekten i den verkliga världen.

I grova drag kan AI delas in i fyra kategorier: Reactive machines, Limited memory, Theory of mind och Self-awareness. Denna uppdelning är i kronologisk ordningsföljd, så de förstnämnda är alltså den ursprungliga och enklaste typen av AI, och de två sistnämnda finns mer eller mindre bara i teorin.

Reactive machines utvecklas för specifika ändamål, till exempel för att spela schack. I detta fall är maskinen programmerad att känna till spelets regler och den analyserar sina möjligheter utifrån var pjäserna står. Den minns inte sina tidigare spel, så den utvecklar inte sig själv.

Dess efterträdare, Limited memory, är mycket mer avancerad, i så måtto att den lagrar sina erfarenheter och agerar utifrån föregående resultat. I stort sett all AI vi använder oss av idag tillhör denna kategori, även om det kan vara enorma skillnader i potentialen. En självkörande bil använder t.ex. information från det nära förflutna. Människor har (lustigt nog med hjälp av AI) programmerat dess förståelse för hur en ljussignal ser ut, att den ska stanna för rött osv. Men själva bilens AI övervakar bara de senaste sekunderna av information så att den kan analysera de andra bilarnas hastighet och riktning och undvika krock. En människa som har kört bil i åratal har alltså en slags erfarenhet som en självkörande bil saknar.

Vem utvecklar AI?

Tanken på artificiell intelligens – alltså att efterlikna människans tankemönster på mekaniskt sätt – kan spåras ända tillbaka till grekisk och egyptisk mytologi, och många stora tänkare har under årens lopp skrivit om ämnet. Bland annat luftade den franska filosofen och matematikern René Descartes idén om att djur bara var komplexa maskiner och den engelska filosofen Thomas Hobbes ses av några historiker som en av AI:s profeter på grund av hans banbrytande bok Leviathan från 1651.

Men nog om det. Vi hoppar framåt i tiden till något mer konkret. 1951 skrevs de första funktionella AI-programmen på University of Manchester. Dessa kunde spela schack och dam. Därefter gjordes stora stormsteg här och var och forskningen inom AI har många gånger tagit stora hopp bara för att följas av långa perioder av stiltje.

Vi hoppar till 2010 då företaget DeepMind Technologies grundades. Företaget hade skapat ett så kallat artificial neurological network som lärde sig själv att spela traditionella spel på datorn. 2014 förvärvades företaget av Alphabet Inc, som bl.a. äger Google, för 500 miljoner USD.

2016 fick en av DeepMinds AI, AlphaGo, mycket uppmärksamhet när en dokumentär släpptes där AlphaGo vann en BO5 (bäst av 5) över världsmästaren i Go – ett populärt kinesiskt brädspel. Dessutom har AI:n AlphaZero vunnit över de starkaste AI:erna i Go, schack och shogi (japansk schack) efter att den övat sig mot sig i ett par dagar.

AI och Dota 2

Företaget OpenAI har dock skapat de största rubrikerna inom gaming eftersom de arbetar med mycket mer komplicerade spel.

Ägaren till Tesla och SpaceX, Elon Musk, var en av de grundare som 2015 tillsammans lade 1 miljard USD i potten till OpenAI. Företaget har skapat en självlärande AI som snabbt lärde sig att förödmjuka professionella Dota 2-spelare. Senare, under 2019, investerade Microsoft också 1 miljard USD.

Dota 2-algoritmen (AI) heter OpenAI Five. I denna artikel kallas den hädanefter OA5. OA5 tränas med metoden reinforcement learning, vilket är en av många metoder som används för att träna artificiell intelligens. AI:n styrs av oberoende neurala nätverk (kallade agenter)men delar den lagrade erfarenheten. Metoden är trial-and-error, d.v.s. den provar sig fram och det är inte särskilt effektivt rent omedelbart.

Effektivitet är dock underordnat när man betänker att den övar i ett tempo som överträffar vad vår egen verklighet medger. Varje dag spelar nämligen varje agent med sig själv under en tid som motsvarar 180 år. Om man spelar mot fem agenter samtidigt spelar man alltså mot ett lag som har övat sig i nästan tusen år per dag. För att köra alla dessa simuleringar använder OA5 256 GPU och 128 000 CPU. OpenAI:s tillvägagångssätt är inte nyskapande, utan det är själva skalningen och systematiseringen som är banbrytande.

OA5 lär sig inte spelets regler, men dess ingenjörer hjälper den på traven genom att belöna den för att genomföra vissa uppgifter. Den vet alltså att dess ultimata mål är att vinna spel och för att öka sina chanser till framgång är dess delmål att få kills/assists och vinna spel – och att den försämrar sina chanser att lyckas när den själv dör.

Men hur vinner man över en AI som tolkar spelets data på ett helt annat sätt än människor? En algoritm som konstant räknar ut sannolikheter utifrån cirka 20 000 inputs och varje ögonblick fattar ett av tusen möjliga beslut.

Hur besegrar man en digital intelligens som är ojämförlig i sin exekvering (det vill säga hastighet och precision)? En algoritm som inte måste gissa sig till hur långt bort motståndaren är, hur mycket den har kvar av liv (i stället för att se en health bar och gissa) och hur stor skada den kan ge, eftersom den direkt räknar ut hur många procent motståndarens rustning minskar skadan med.

När professionella Dota 2-spelare för första gången mötte OA5 i augusti 2017, blev de helt enkelt utplånade. Formatet var förvisso inte som ett riktigt spel, det var 1 mot 1 och det var många restriktioner som människorna också accepterade. Dota 2:s toppspelare gav sig sedan i strid mot OA5 under tusentals spel, och efter en månad blev spelaren Black den första att vinna 1 mot 1 över algoritmen – en stor seger för mänskligheten.

OA5 återvände dock 2018 med 8 x beräkningskraften och kunde nu spela 5 mot 5-kamper – dock fortfarande med begränsningar i spelets regler. Surprise, surprise, även de bästa spelarna hade inte en chans ... tills de lärde sig att sätta sig in i algoritmens ”tankegång”. Team Secret vann den i augusti och paiN Gaming vann över den till The International 8 (världsmästerskapen i Dota 2).

Historien upprepade sig dock igen, och OpenAI fick återigen en markant ökning av beräkningskraften – och professionella team krossades helt. 2019 vann OA5 två gånger i rad mot OG E-sports – laget som vann The International samma år och året därpå. I slutet av 2019 kunde OpenAI berätta att de har tränat en ny agent som har vunnit över 98 % av sina spel mot den äldre iterationen.

Hur besegrade man OA5?

Trots att OA5 återvände starkt kunde vi dödliga kortvarigt fira att människan var klokare än maskinen. För att vi ska nå dit igen måste vi titta närmare på hur vi lyckades till att börja med.

OA5:s beräknade spelstil är också dess akilleshäl. På grund av spelets natur blir det svårare att göra comeback när man ligger efter, eftersom motståndarna har mer resurser att göra sig själva starkare. AI tänker inte långt fram och den har lärt sig (av sig själv) att den har störst chans att vinna spel som varar 10–20 minuter. I matcher med riktiga människor i båda lagen varar en match oftast över 30 minuter och en lång match kan vara i över en timme.

Så om människorna lyckas få övertaget tidigt är de på god väg, för AI gör helt enkelt inte de riskabla plays som krävs för att vända på slaget. Den håller sig till taktiker som rent statistiskt har varit överväldigande framgångar i dess eget arkiv. OA5 som den är idag skulle aldrig våga satsa på plays som det legendariska 6 miljoner dollar echo slam dunk, alla hängivna Dota 2-spelare känner till. Man måste dock anta att den med tiden kommer att lära sig när den måste ta större risker.

Apropå akilleshälar så är människor vana vid att slappna av en stund när de precis vunnit en skirmish (en liten kamp i den större kampen). Då straffar OpenAI dem gång på gång genom att gömma sig i närheten istället för att fly hem för att få full hälsa och mana.

AI är alltså onekligen bättre än de allra bästa spelarna när det gäller exekvering, men vi människor kan vinna med hjälp av strategi. Det är standardprocedur i MOBA-spel som Dota 2 att man väljer ut en spelare att vara carry – namngiven så för att den spelaren ska bära laget till seger. Denna rolls uppgift är att tjäna guld, få levels och undvika att dö. I extremt grova drag handlar spelet om vilket lag som bäst kan skydda sin carry och hindra motståndarlagets carry från att bli starkare, för när matchen når late game så är spelet till viss del 1 mot 1 mellan lagens respektive carry.

Vad har OpenAI lärt oss?

För många människor låter det dumt att ägna så mycket resurser åt att göra en dator bra på att spela ett datorspel, men OpenAI:s vision är faktiskt större än Dota 2. Faktum är att det aldrig riktigt har handlat om Dota 2. OpenAI har utnyttjat att spelet är ett av de mest komplicerade som finns – med över 100 olika karaktärer att välja mellan, var och en med olika egenskaper samt en mängd andra variabler som gör kombinationsmöjligheterna astronomiska.

OpenAI utforskar hur en algoritm kan lära sig fatta omedelbara beslut i oförutsägbara miljöer för att nå sitt mål på bästa sätt. Den bakomliggande tankegången är att utvecklingen av den artificiella intelligensen med tiden kan överföras till den verkliga världen där möjligheterna i stort sett är oändliga.

Detta är bara början.

Här är en kort video från OpenAI själv. Den är från och med 2018, så mycket har hänt sedan dess.