I det här blogginlägget ska vi undersöka om Turingtestet är en lämplig standard för att utvärdera intelligensen hos artificiell intelligens, och utforska dess begränsningar och potentiella förbättringsområden.
År 2014 kom nyheten att "Eugene Goostman", en chatbot skapad av ryska utvecklare, hade klarat Turingtestet, som en chock och orsakade förvirring för många. Detta var en tydlig demonstration av att artificiell intelligens inte längre bara är en produkt av ett imaginärt framtida samhälle som bara syns i science fiction-filmer. AI har redan blivit djupt inbäddad i våra liv och utvecklas i snabb takt, i linje med Ray Kurzweils "Lagen om accelererande avkastning". Vi kan dock inte bara stå och se på medan AI, som utvecklas på ett ögonblick, blir stadigt etablerad i samhället. Vi måste avgöra om AI verkligen kan tänka som människor, och vi måste också överväga i vilken riktning den bör utvecklas i framtiden.
Dessa frågor är kopplade till Turingtestet. Turingtestet är en utvärderingsmetod som har sitt ursprung i frågan: "Är det möjligt att skapa en dator som vi kan säga besitter intelligens och ett sinne?" Det är allmänt känt att Alan Turing föreslog det 1950 för att besvara frågan "Kan maskiner tänka?". Turing omformulerade dock själva frågan till "Kan maskiner bete sig på samma sätt som människor?" när han utformade experimentet. Testet genomförs genom att en domare ställer frågor till både en människa och en AI, och sedan avgör vems svar som är mer människolika. I Turingtestet kan olika metoder användas för att lura domaren, och det är tillåtet att sänka svarstiderna eller fortsätta konversationen i ett chattliknande format. Dessutom anses testet vara godkänt om AI:n kan lura cirka 30 % av domarna inom diskussionens begränsade omfattning och ämne.
Jag ifrågasatte om ett Turingtest med dessa villkor och regler verkligen är ett lämpligt mått för att bedöma AI-intelligens. Med andra ord anser jag att Turingtestet inte är lämpligt för att utvärdera AI. För att stödja denna uppfattning kommer jag att presentera tre argument och föreslå det "omvända Turingtestet" som en lösning. Innan vi gör det är det dock nödvändigt att först undersöka andra anmärkningsvärda exempel på AI som har klarat Turingtestet förutom "Eugene Goostman".
”ELIZA”, utvecklad av Joseph Weizenbaum 1966, är det mest kända exemplet bland tidiga dialogprogram med naturligt språk. Denna AI utformades för att identifiera viktiga nyckelord i inmatade meningar och returnera motsvarande svar; om inga lämpliga nyckelord hittades upprepade den användarens ord eller gav ett generiskt svar.
Det finns också ”PARRY”, utvecklad av Kenneth Colby 1972. Denna AI modellerades efter en paranoid patients samtalsstil, och experiment genomfördes till och med där flera psykiatriker försökte skilja mellan faktiska patienter och PARRY.
Från och med nu kommer jag att undersöka varför Turingtestet inte är en lämplig standard för att utvärdera AI.
För det första bedömer inte Turingtestet intelligens i sig på ett korrekt sätt. Med andra ord, snarare än att utvärdera hur intelligent en AI tänker, avgör detta test genom samtal om den beter sig som en människa. Det finns två problem med detta.
För det första beter sig inte alla människor alltid intelligent. Här hänvisar "intelligent" till intellektuell aktivitet som innebär att förstå ett fenomen eller objekt och bearbeta det rationellt. Dessutom, enligt Alan Turings artikel, kan vissa intellektuella förmågor hos AI manifestera sig på sätt som skiljer sig från människors. Enkelt uttryckt, om en AI löser ett problem som människor inte kan, är det faktiskt mer sannolikt att utvärderaren inser att den andra parten är en dator. I slutändan misslyckas Turingtestet med att korrekt utvärdera former av intelligens som överträffar mänskliga förmågor.
För det andra är utvärderingskriterierna för Turingtestet subjektiva, och de experimentella förhållandena är alltför restriktiva. Med andra ord kan testresultaten påverkas avsevärt av utvärderarens attityd, erfarenhet, färdigheter och kunskap snarare än AI:ns faktiska intelligensnivå, vilket gör det svårt att säkerställa objektivitet.
I slutändan är det en person som avgör om något är en AI eller en människa, så det är svårt att helt eliminera utvärderarens subjektivitet. Dessutom är frågorna som ställs inom den begränsade tidsramen på cirka fem minuter också mycket begränsade. Så länge utvärderaren är människa finns det alltid en möjlighet att påverkas av olika externa faktorer.
Dessutom är de flesta AI:er som deltar i Turingtestet modellerade efter människor med specifika situationer eller egenskaper. Därför är det svårt att dra slutsatsen att en AI, även om den klarar testet, beter sig på samma sätt som människor i allmänhet. Till exempel utvecklades "Eugene Goostman", som introducerades tidigare, med premissen att det var en 13-årig pojke som bodde i Ukraina. Detta var ett avsiktligt försök att skapa en situation där även något klumpig engelska skulle accepteras som naturlig. "PARRY" modellerades efter en paranoid patient, och "ELIZA" utformades för att efterlikna en professionell psykologisk rådgivare.
På så sätt, när en AI konfigureras för att representera en människa med specifika egenskaper och sedan inleder en konversation, utvärderar domarna den med dessa egenskaper i åtanke. Till exempel, även om ett något konstigt svar dyker upp under en konversation med en AI som är programmerad att representera en person med en psykisk sjukdom, är det troligt att domarna accepterar det som en naturlig reaktion som överensstämmer med den karaktäriseringen. Med andra ord, även om domare förväntas utvärdera utan partiskhet, placeras de faktiskt i en miljö där det är svårt att göra det.
Naturligtvis är personer med psykiska sjukdomar kapabla att tänka. Men bara för att en AI som är modellerad efter en person med psykisk sjukdom klarar Turingtestet betyder det inte att den tänker mer "människolikt" än en människa. För att förbli trogen frågan som Alan Turing ställde – "Kan en maskin bete sig på samma sätt som en människa?" – måste testet utformas utifrån allmänna situationer som majoriteten av människor kan acceptera.
För det tredje kan AI klara Turingtestet genom att helt enkelt manipulera symboler snarare än att faktiskt förstå innehållet. Ett utmärkt exempel är "ELIZA". För att en person ska kunna tänka på ett ämne måste de förstå det ämnet och göra bedömningar baserade på relevant erfarenhet. Av denna anledning hävdade filosofen John Searle också att Turingtestet ensamt inte kan bevisa om en maskin faktiskt tänker.
Dessutom, eftersom artificiell intelligens fungerar enligt förutbestämda algoritmer, kan den lätt avslöja fel när den ställs inför oväntade situationer. Följande är ett exempel som illustrerar detta.
Samtalare: Stöder du fortfarande Bill Clinton?
Domare: Jag har aldrig träffat Clinton.
Samtalare: Du ogillar verkligen Bill Clinton. Det är åtminstone tydligt att du ogillar honom. Enligt min mening verkar det som att de flesta helt enkelt har varit ointresserade eller inte har tänkt så mycket på det hittills.
Domare: Har du sett 'Marsianaren'?
Samtalare: Ta det lugnt. Jag är inte här för att svara på dumma frågor. Det är inte allt. Vad pratade vi om? Just det. Betyder det du just sa att de underliggande problemen – som Whitewater och den särskilda åklagaren – är allvarliga?
Denna konversation är mellan en domare och "Catherine", en AI utformad för att fortsätta en dialog baserad på förprogrammerad information om händelser som hade blivit nyheter dagen innan Turingtestet hölls. Om domaren hade fortsatt den politiska konversationen relaterad till Bill Clinton, kunde dialogen ha förblivit ganska naturlig. Men när domaren plötsligt flyttade ämnet till något annat, kunde AI:n inte hantera det oprogrammerade ämnet ordentligt och avslöjade felet som visas ovan.
Vi kan således inte dra slutsatsen att en AI beter sig som en människa bara för att den är kapabel till en viss nivå av kommunikation. Även om den ytligt sett kan verka engagera sig i människoliknande samtal, förstår den inte innehållet utan svarar bara på ett sätt som får det att verka mänskligt. Därför uppfyller den inte begreppet "intelligens" som definierats tidigare. Det nuvarande Turingtestet, som klarar AI-system som bara härmar mänskligt beteende utan att faktiskt förstå innebörden, har tydliga begränsningar.
Genom att Turingtestet utvärderar AI genom att jämföra det med människor är det ett meningsfullt experiment som utforskar gränsen mellan människor och AI. Med tanke på att människor själva inte tydligt kan definiera tankens eller sinnets essens har detta försök i sig ett betydande värde. Å andra sidan, eftersom AI fungerar baserat på relativt enkla strukturer och principer, är det möjligt att mäta och analysera den till en viss grad, även om den inte är perfekt.
Turingtestet misslyckas dock med att korrekt bedöma intelligens, och dess utvärderingskriterier är också alltför subjektiva. En närmare titt på själva testprocessen visar att det är svårt att se den som en miljö som kan utvärdera en AI:s intelligens på ett heltäckande sätt. Även om flera domare deltar och en institution övervakar utvärderingsprocessen är antalet utvärderare begränsat, och det är inte lätt att nå en objektiv slutsats som tar hänsyn till alla variabler. Därför finns det grundläggande begränsningar för att komma fram till ett perfekt resultat som alla kan acceptera.
Turingtestet har stor betydelse eftersom det visade att AI i viss mån kan replikera de kognitiva förmågor som en gång ansågs unika för människor. Därför, snarare än att helt avfärda detta test, finns det behov av att fastställa utvärderingskriterier och procedurer som är mer exakta och acceptabla för en bredare publik än de som används för närvarande.
I detta avseende skulle jag vilja föreslå "Reverse Turing Test" som ett alternativ. I Reverse Turing Test är utvärderaren en dator snarare än en människa. Med andra ord är det en metod där en dator utvärderar en människa eller en annan dator samtidigt som den interagerar med den. Att införa denna metod i befintliga tester skulle minska problemet med mänsklig subjektivitet och göra det möjligt att genomföra utvärderingar i en mer objektiv miljö. Naturligtvis ökar det faktum att utvärderaren är en AI också möjligheten till nya problem.
Oavsett ämne är det osannolikt att tester utformade för utvärdering och bedömning tillfredsställer alla, och det är inte lätt att fastställa perfekta kriterier som alla kan acceptera. Därför måste vi ständigt utforska sätt att förbättra dem. Särskilt eftersom Turingtestet är en avgörande utvärderingsmetod som avsevärt kan påverka industrins framtid och riktningen för AI-teknikutvecklingen, måste den utvecklas till en mer effektiv och tillförlitlig form.
Idag utvecklas AI i en takt som är ojämförlig med det förflutna och används redan i alla aspekter av våra dagliga liv. När vi utvärderar sådan AI bör vi inte enbart bedöma den utifrån om den kan lura människor, utan snarare utvärdera dess förmåga att förstå mening, uppfatta sammanhang och kommunicera naturligt i en mängd olika situationer. Eftersom detta inte är ett område med tydligt definierade "korrekta svar" som ett matteproblem är det naturligtvis inte lätt att fastställa objektiva kriterier. För att utvärdera AI som kommer att samexistera med människor i framtiden måste Turingtestet dock utvecklas för att heltäckande beakta etiska faktorer och förmågan att kommunicera effektivt.
