V tej objavi na blogu bomo preučili, ali je Turingov test primeren standard za ocenjevanje inteligence umetne inteligence, ter raziskali njegove omejitve in potencialna področja za izboljšave.
Leta 2014 je novica, da je »Eugene Goostman«, klepetalni robot, ki so ga ustvarili ruski razvijalci, prestal Turingov test, šokirala in mnoge zmedla. To je bil jasen dokaz, da umetna inteligenca ni več zgolj produkt namišljene prihodnje družbe, ki jo vidimo le v znanstvenofantastičnih filmih. Umetna inteligenca je že globoko vpeta v naša življenja in hitro napreduje, v skladu z Ray Kurzweilovim »zakonom pospeševanja donosov«. Vendar ne moremo kar stati križem rok in opazovati, kako se umetna inteligenca, ki se razvija v trenutku, trdno uveljavlja v družbi. Ugotoviti moramo, ali lahko umetna inteligenca resnično razmišlja kot ljudje, in upoštevati moramo tudi smer, v katero naj se razvija v prihodnosti.
Ta vprašanja so povezana s Turingovim testom. Turingov test je metoda ocenjevanja, ki izvira iz vprašanja: »Ali je mogoče ustvariti računalnik, za katerega lahko rečemo, da ima inteligenco in um?« Splošno znano je, da ga je Alan Turing predlagal leta 1950, da bi odgovoril na vprašanje: »Ali lahko stroji razmišljajo?« Vendar je Turing pri načrtovanju eksperimenta dejansko preoblikoval vprašanje v »Ali se lahko stroji obnašajo enako kot ljudje?«. Test se izvede tako, da sodnik postavlja vprašanja tako človeku kot umetni inteligenci, nato pa ugotovi, čigavi odgovori so bolj podobni človeškim. V Turingovem testu se lahko uporabijo različne metode za zavajanje sodnika, dovoljeno pa je upočasniti odzivni čas ali nadaljevati pogovor v obliki klepeta. Poleg tega se test šteje za opravljenega, če lahko umetna inteligenca v omejenem obsegu in temi razprave zavede približno 30 % sodnikov.
Dvomil sem, ali je Turingov test s temi pogoji in pravili resnično primerna mera za ocenjevanje inteligence umetne inteligence. Z drugimi besedami, menim, da Turingov test ni primeren za ocenjevanje umetne inteligence. V podporo temu stališču bom predstavil tri argumente in kot rešitev predlagal »obratni Turingov test«. Pred tem pa je treba najprej preučiti druge pomembne primere umetne inteligence, ki so poleg »Eugena Goostmana« prestali Turingov test.
»ELIZA«, ki jo je leta 1966 razvil Joseph Weizenbaum, je najbolj znan primer med zgodnjimi programi za dialog v naravnem jeziku. Ta umetna inteligenca je bila zasnovana za prepoznavanje ključnih besed v vhodnih stavkih in vračanje ustreznih odgovorov; če ni našla ustreznih ključnih besed, je ponovila uporabnikove besede ali podala generičen odgovor.
Obstaja tudi »PARRY«, ki ga je leta 1972 razvil Kenneth Colby. Ta umetna inteligenca je bila zasnovana po vzoru pogovornega sloga paranoičnega pacienta, izvedeni pa so bili celo poskusi, v katerih je več psihiatrov poskušalo razlikovati med dejanskimi pacienti in PARRY-jem.
Od tu naprej bom preučil, zakaj Turingov test ni primeren standard za ocenjevanje umetne inteligence.
Prvič, Turingov test ne ocenjuje natančno same inteligence. Z drugimi besedami, namesto da bi ocenil, kako inteligentno razmišlja umetna inteligenca, ta test s pogovorom ugotavlja, ali se obnaša kot človek. Pri tem sta dve težavi.
Prvič, vsi ljudje se ne obnašajo vedno inteligentno. Tukaj se »inteligenten« nanaša na intelektualno dejavnost, ki vključuje razumevanje pojava ali predmeta in njegovo racionalno obdelavo. Poleg tega se lahko po Turingovem članku nekatere intelektualne sposobnosti umetne inteligence kažejo drugače kot pri ljudeh. Preprosto povedano, če umetna inteligenca reši problem, ki ga ljudje ne morejo, bo ocenjevalec bolj verjetno spoznal, da je druga stranka računalnik. Navsezadnje Turingov test ne uspe pravilno oceniti oblik inteligence, ki presegajo človeške zmožnosti.
Drugič, merila za ocenjevanje Turingovega testa so subjektivna, eksperimentalni pogoji pa preveč omejujoči. Z drugimi besedami, na rezultate testa lahko bistveno vplivajo odnos, izkušnje, spretnosti in znanje ocenjevalca, ne pa dejanska raven inteligence umetne inteligence, zaradi česar je težko zagotoviti objektivnost.
Konec koncev je entiteta, ki določa, ali je nekaj umetna inteligenca ali človek, oseba, zato je težko popolnoma odpraviti subjektivnost ocenjevalca. Poleg tega so vprašanja, zastavljena v omejenem časovnem okviru približno petih minut, prav tako zelo omejena. Dokler je ocenjevalec človek, vedno obstaja možnost, da nanj vplivajo različni zunanji dejavniki.
Poleg tega je večina umetnih inteligenc, ki sodelujejo v Turingovem testu, zasnovanih po vzoru ljudi s specifičnimi situacijami ali značilnostmi. Zato je tudi, če umetna inteligenca opravi test, težko sklepati, da se obnaša enako kot ljudje na splošno. Na primer, »Eugene Goostman«, ki je bil predstavljen prej, je bil razvit s predpostavko, da gre za 13-letnega fanta, ki živi v Ukrajini. To je bil nameren poskus ustvarjanja situacije, v kateri bi bila celo nekoliko nerodna angleščina sprejeta kot naravna. »PARRY« je bil zasnovan po vzoru paranoičnega pacienta, »ELIZA« pa je bila zasnovana tako, da posnema profesionalnega psihološkega svetovalca.
Na ta način, ko je umetna inteligenca nastavljena tako, da predstavlja človeka s posebnimi značilnostmi, in se nato vključi v pogovor, jo sodniki ocenijo glede na te značilnosti. Na primer, tudi če se med pogovorom z umetno inteligenco, programirano za predstavljanje osebe z duševno boleznijo, pojavi nekoliko nenavaden odziv, ga bodo sodniki verjetno sprejeli kot naravno reakcijo, skladno s to karakterizacijo. Z drugimi besedami, čeprav naj bi sodniki ocenjevali brez pristranskosti, so dejansko postavljeni v okolje, kjer je to težko.
Seveda so ljudje z duševnimi boleznimi sposobni razmišljati. Vendar pa to, da umetna inteligenca, zasnovana po vzoru osebe z duševno boleznijo, opravi Turingov test, še ne pomeni, da razmišlja bolj "človeško" kot človek. Da bi ostali zvesti vprašanju, ki ga je postavil Alan Turing – "Ali se lahko stroj obnaša tako kot človek?" – mora biti test zasnovan na podlagi splošnih situacij, ki jih večina ljudi lahko sprejme.
Tretjič, umetna inteligenca lahko opravi Turingov test zgolj z manipuliranjem simbolov, namesto da bi dejansko razumela vsebino. Odličen primer je »ELIZA«. Da bi človek lahko razmišljal o neki temi, jo mora razumeti in sprejemati odločitve na podlagi ustreznih izkušenj. Zaradi tega je filozof John Searle trdil tudi, da Turingov test sam po sebi ne more dokazati, ali stroj dejansko razmišlja.
Poleg tega, ker umetna inteligenca deluje po vnaprej določenih algoritmih, lahko zlahka odkrije napake, ko se sooči z nepričakovanimi situacijami. Sledi primer, ki to ponazarja.
Sogovornik: Ali še vedno podpirate Billa Clintona?
Sodnik: Clintona še nisem srečal.
Sogovornik: Billa Clintona res ne marate. Vsaj jasno je, da ga ne marate. Po mojem mnenju se zdi, da večino ljudi preprosto ne zanima ali pa o tem do sedaj niso veliko razmišljali.
Sodnik: Ste že videli film 'Marsovec'?
Sogovornik: Bodimo mirni. Nisem tukaj, da bi odgovarjal na neumna vprašanja. To ni to. O čem smo se pogovarjali? Prav. Ali to, kar ste pravkar povedali, pomeni, da so temeljne težave – kot sta Whitewater in posebni tožilec – resne?
Ta pogovor poteka med sodnikom in »Catherine«, umetno inteligenco, zasnovano za nadaljevanje dialoga na podlagi vnaprej programiranih informacij o dogodkih, ki so postali novice dan pred Turingovim testom. Če bi sodnik nadaljeval politični pogovor v zvezi z Billom Clintonom, bi dialog lahko ostal precej naraven. Ko pa je sodnik nenadoma preusmeril temo na nekaj drugega, umetna inteligenca ni mogla pravilno obravnavati neprogramirane teme in je razkrila zgoraj prikazano napako.
Zato ne moremo sklepati, da se umetna inteligenca obnaša kot človek zgolj zato, ker je sposobna določene ravni komunikacije. Čeprav se na prvi pogled zdi, da se pogovarja podobno kot človek, v resnici ne razume vsebine, temveč se zgolj odziva na način, ki se zdi človeški. Zato ne dosega koncepta "inteligence", kot je bil opredeljen prej. Trenutni Turingov test, ki prejme sisteme umetne inteligence, ki zgolj posnemajo človeško vedenje, ne da bi dejansko razumeli pomen, ima jasne omejitve.
Turingov test je smiseln poskus, saj umetno inteligenco ocenjuje s primerjavo z ljudmi, zato raziskuje mejo med ljudmi in umetno inteligenco. Glede na to, da ljudje sami ne morejo jasno opredeliti bistva misli ali uma, ima ta poskus sam po sebi veliko vrednost. Po drugi strani pa jo je mogoče, ker umetna inteligenca deluje na podlagi relativno preprostih struktur in načel, do določene mere izmeriti in analizirati, četudi ne popolnoma.
Vendar Turingov test ne more natančno oceniti inteligence, njegova merila za ocenjevanje pa so tudi preveč subjektivna. Podrobnejši pogled na dejanski postopek testiranja razkrije, da ga je težko obravnavati kot okolje, ki je sposobno celovito oceniti inteligenco umetne inteligence. Tudi če sodeluje več sodnikov in institucija nadzira postopek ocenjevanja, je število ocenjevalcev omejeno in ni lahko priti do objektivnega zaključka, ki upošteva vse spremenljivke. Zato obstajajo temeljne omejitve pri pridobivanju popolnega rezultata, ki ga lahko sprejmejo vsi.
Turingov test je zelo pomemben, saj je pokazal, da lahko umetna inteligenca do določene mere ponovi kognitivne sposobnosti, ki so nekoč veljale za edinstvene za ljudi. Zato je treba namesto popolnega opuščanja tega testa vzpostaviti merila in postopke ocenjevanja, ki so natančnejši in sprejemljivejši za širše občinstvo od tistih, ki se trenutno uporabljajo.
V zvezi s tem bi rad kot alternativo predlagal »obratni Turingov test«. Pri obratnem Turingovem testu je ocenjevalec računalnik in ne človek. Z drugimi besedami, gre za metodo, pri kateri računalnik ocenjuje človeka ali drug računalnik med interakcijo z njim. Uvedba tega pristopa v obstoječe teste bi zmanjšala problem človeške subjektivnosti in omogočila izvajanje ocen v bolj objektivnem okolju. Seveda pa dejstvo, da je ocenjevalec umetna inteligenca, odpira tudi možnost novih težav.
Ne glede na temo testi, namenjeni vrednotenju in presoji, verjetno ne bodo zadovoljili vseh in ni enostavno določiti popolnih meril, ki bi jih lahko sprejeli vsi. Zato moramo nenehno iskati načine za njihovo izboljšanje. Še posebej, ker je Turingov test ključna metoda vrednotenja, ki bi lahko pomembno vplivala na prihodnost industrije in smer razvoja tehnologije umetne inteligence, se mora razviti v učinkovitejšo in zanesljivejšo obliko.
Danes umetna inteligenca napreduje s hitrostjo, ki je neprimerljiva s preteklostjo, in se že uporablja v vseh vidikih našega vsakdanjega življenja. Pri ocenjevanju takšne umetne inteligence ne smemo soditi zgolj po tem, ali lahko zavede ljudi, temveč po tem, ali lahko razume pomen, dojame kontekst in naravno komunicira v različnih situacijah. Seveda, ker to ni področje z jasno opredeljenimi "pravilnimi odgovori" kot matematični problem, ni enostavno določiti objektivnih meril. Kljub temu se mora Turingov test za oceno umetne inteligence, ki bo v prihodnosti sobivala z ljudmi, razviti tako, da bo celovito upošteval etične dejavnike in sposobnost učinkovite komunikacije.
