Under 7 månader har jag fått möjligheten att bedriva forskning på ett universitet i absolut världsklass. Min tid på UC Berkeley var helt fantastisk och jag kommer ha nytta av den kunskap jag fått och de kontakterna jag skapat för resten av min karriär.
University of California, Berkeley
UC Berkeley, formellt känt som University of California, Berkeley, är ett prestigefyllt offentligt forskningsuniversitet beläget i staden Berkeley som ligger precis utanför San Fransisco. UC Berkeley är framför allt väldigt framstående när det kommer till forskning inom Computer Science och AI, som är mitt forskningsområde, och Berkeley forskare ligger bakom flertalet av dem genombrott vi sett inom AI den senaste tiden.
UC Berkeley har en stark tradition gällande debatten kring social rättvisa och var födelseplatsen för Free Speech Movement på 60-talet. Engagemanget kring rättvisa, frihet och socialt ansvar satt verkligen i väggarna på Berkeley och diskussionerna kring rådande samhällsproblem och politik var lika påtagliga som diskussioner kring AI-forskning. Detta var något som jag verkligen uppskattade och som hjälpt mig att bättre se och förstå forskarens plats i samhällsdebatten.
Vägen till Berkeley.
Min resa till Berkeley började med att jag fick kontakt med Professor Terry Regier, som senare bjöd in mig till hans grupp på Berkeley, i början av 2020. Terry har en bakgrund inom AI och datorvetenskap men har ägnat den stora delen av sin karriär åt kognitionsvetenskap och lingvistik. Hans forskning fokuserar på att förstå vilka mekanismer som ligger bakom diverse språkliga och kognitiva beteenden hos människor, något som hans grupp är världsledande på. Något förenklat så är idéen att se hjärnan som en dator och sedan försöka förstå vilka beräkningar hjärnan vill utföra och vilka algoritmer den använder för att göra det. Vi fick kontakt när jag och mina handledare publicerade en artikel på CogSci, den ledande konferensen för kognitionsvetenskap, där vi försökte förklara variationer i olika mänskliga språk igenom att använda moderna AI modeller. Terry tyckte artikeln var väldigt intressant och bjöd in mig till att presentera den för hans grupp på Berkeley. Detta ledde så småningom till att vi bestämde att jag skulle besöka hans grupp så fort pandemin var över.
Just pandemin ställde till det när det väl var dags att åka till Berkeley. I efterdyningarna av pandemin hade den amerikanska ambassaden i Sverige en så stor backlog av visumansökningar att det var helt omöjligt att få en tid för intervju. Med lite tur, och mycket support av Hilda och Anna på Stiftelsen, lyckades jag få en tid i slutet av augusti i Warszawa. En vecka senare satt jag på planet på väg till Kalifornien.
Livet i Berkeley och Kalifornien
Under min tid i Berkeley var jag inneboende hos Maya, en lärare född och uppvuxen i Berkeley, som bor i ett hus 10 minuters promenad från campus.
Det här var första gången jag var i USA och det var verkligen intressant att uppleva det amerikanska samhället på nära håll och under en längre tid. Jag uppskattar verkligen amerikaners öppenhet och deras välkomnande sätt. Det gjorde det verkligen enkelt att komma in i samhället och träffa nya människor.
Berkeley blandar amerikansk småstad med ett levande studentliv, många progressiva idéer och en hippierörelse som lever kvar i staden än idag. Det fanns alltid något att göra och många intressanta platser att besöka. Jag passade bland annat på att försöka förstå mig på reglerna i amerikansk fotboll.
Tyvärr så brottas det amerikanska samhället med en hel del problem när det gäller växande klyftor, hemlöshet, utsatthet och drogberoende. Något som blev väldigt påtagligt i Berkeley och San Fransisco där man dagligen stötte på många hemlösa människor och människor med tunga drogproblem. Detta var väldigt hemskt att se men också nyttigt då det fick mig att sätta mig in i den amerikanska debatten kring hur man ska motverka problemen och hjälpa människor i utsatthet, vilket är en väldigt svår fråga. Ett resultat av situationen var att Berkeleys campus kunde kännas något otryggt på kvällarna och det var ofta rapporter om diverse våldsbrott och rån som skedde på campus, men jag var själv aldrig utsatt för något. Trots detta så skulle jag aldrig avråda någon från att åka till Berkeley, det är en helt fantastisk plats och jag hoppas kunna åka tillbaka snart.
Forskning under vistelsen.
Det är i princip omöjligt att inte komma i kontakt med världsledande forskning när man är i Berkeley. Är man inte på universitet så stöter man på nobelpristagare på löprundan eller diskuterar nya resultat inom AI med vederbörande forskare på gymmet.
Den största delen av min tid på Berkeley spenderade jag i Terry Regiers forskningsgrupp vilket var väldigt lärorikt. Ett projekt vi jobbade på handlade om att förstå vilka mekanismer som ligger bakom att olika språk delar in världen i kategorier på olika sätt. Ett klassiskt exempel är en studie från 60-talet av Berlin och Kay, båda från UC Berkeley, där dem samlade in data från 110 olika språk och visade att dessa hade väldigt olika ord när det kommer till färger. Deltagarna fick namnge varje chip i diagrammet nedan. Vad forskarna upptäckte var att mänskliga språk varierar när det gäller antalet ord för färger och deras betydelse. Vissa språk har bara tre färgord, rött/orange, svart och vitt, som kan ses nedan. En del andra språk har inte specifika ord för blått och grönt utan har slått ihop dessa till en enda färg. En stor fråga inom kognitionsvetenskap och lingvistik har sedan dess varit varför och hur dessa skillnader uppkommer.
Vad vi kunde visa var att denna variation kunde förklaras med enkla inlärningsalgoritmer som används för AI och AI-agenter kunde utveckla språk kring färger med stora likheter med mänskligt språk utan att någonsin varit i kontakt med mänskligt språk. En stor faktor som påverkade mängden ord och vilka kategorier som AI agenterna skapade var vilka typ av kommunikativa behov dem hade, något förenklat kan man säga att det beror på hur ofta dem måste prata om något. Utan att vara direkt kodade för att göra det så skapade AI-agenterna språk som balanserade komplexitet, hur många olika ord dem har, med behovet av träffsäkerhet på ett matematiskt optimalt sätt.
En av slutsatserna vi kunde dra var att AI algoritmer tycks ha ett bias som också återfinns i mänsklig inlärning och våra resultat föreslår att strukturer som finns i mänskligt språk beror på mer generella inlärnings principer som inte är specifika för oss människor. Detta arbete slutade med en vetenskaplig artikel som jag ska presentera vid en konferens nu i juli.
Min tid på Berkeley innebar också en stor möjlighet att knyta kontakter med andra forskare, något som varit svårt under pandemin. Utöver Terrys forskningsgrupp så interagerade jag med flertalet andra grupper och lärde känna dem. Framför allt deltog jag i flera workshops på Simons Institute, ofta bara kallat Simons, som ligger på campus. Simons är ett institut för datorvetenskap som varje termin bjuder in världsledande forskare till Berkeley för att stanna en hel termin och ge presentationer och arrangera workshops kring aktuella forskningsfrågor. Något turligt så var ämnet reinforcement learning, förstärkelseinlärning, i fokus på Simons när jag var där vilket är precis vad min doktorandavhandling handlar om. Detta innebar att jag inte bara fick möjlighet att lära från och interagera med forskare på Berkeley utan också forskare från Stanford, NYU, Cornell, ETH, Google och Microsoft för att nämna några få. Det här såklart väldigt lärorikt och jag har precis skickat in en artikel som påbörjades under en av dessa workshops för review och som handlar om hur man designar algoritmer som kan ta rimliga beslut vid osäkerhet.
I början av december 2022 gick NeurIPS, den mest prestigefyllda konferensen inom AI, av stapeln i New Orleans och jag passade på att flyga dit. Det här var den första konferensen jag upplevt på plats, tidigare har jag bara deltagit på konferenser via Zoom. Det var givande att kunna diskutera forskning face to face med andra forskare och se vad andra grupper jobbar på just nu. New Orleans var också en konstrast i jämförelse med Berkeley, framför allt när det gäller maten och musiken.
Nu när jag är hemma igen har jag fortsatt kontakt med Terry Regier och vi jobbar ihop på ett nytt projekt. Tanken är att jag ska åka tillbaka till Berkeley för en andra forskningsvistelse innan min doktorandtid tar slut. Jag har även en del kontakt med andra forskningsgrupper jag stött på under min tid i USA och diskuterar möjliga projektidéer.
Slutord
Jag är otroligt tacksam för att Sverige-Amerika stiftelsen gett mig chansen att åka på detta äventyr. Min tid på Berkeley har gett mig mycket och hjälpt mig växa både som forskare och som människa. Ett extra tack till Hilda och Anna för all hjälp och support när det krånglade med visumet.
Emil Carlsson
Doktorand, data- och informationsteknik, Chalmers tekniska högskola
Gästforskare
University of California, Berkeley
Berkeley, CA, USA
Forskningen handlar om hur artificiella agenter kan lära sig att kommunicera och koordinera sig på ett effektivt sätt. Besöket är hos en forskargrupp inom Cognitive Science vid UC Berkeley som forskar på hur människor kommunicerar med varandra och tanken är att vi ska kombinera idéer kring mänsklig och artificiell kommunikation.
Donator: Elof Hanssons stiftelse
