Tudománybirizgáló

Miért van szükség átmeneti leállásra a mesterséges intelligencia fejlesztésekben?

Miért van szükség átmeneti leállásra a mesterséges intelligencia fejlesztésekben?

Lex Fridman beszélgetése Max Tegmark-kal

Lex Fridman beszélgetése Max Tegmark-kal

Max Tegmark az MIT fizikusa, AI kutatója, a Future of Life Institute alapítója,  a Life 3.0: Being Human in the Age of Artificial Intelligence könyv szerzője 

Ez itt a beszélgetés magyar nyelvű összefoglalója időhiányosok számára, amelyet tervezek feltenni majd hanganyag formájában is, extrém időhiányosok számára. (Olvasási idő kb. 15 perc.) A kérdések és a válaszok nem szó szerint idézettek, de lényegileg azonosak, próbáltam a legfontosabb dilemmákra és megállapításokra fókuszálni és összefoglalni azokat. Az emberi mélységek miatt viszont ajánlom meghallgatni mindazoknak, akik tehetik.

Max Tegmark: The Case for Halting AI Development – Lex Fridman Podcast #371

A beszélgetés apropója az a 2023. márciusában közzétett nyílt levél (https://futureoflife.org/open-letter/pause-giant-ai-experiments/), amelynek célja, hogy minden a GPT4-nál komolyabb mesterséges intelligencia fejlesztés álljon le 6 hónapra. A felhívás szerint ez a leállás nem érintené a már piacon lévő modelleket és nem jelentene végleges leállást. Ez tulajdonképpen egy időkérés, hogy az emberiség utolérje a saját nagysebességű technológiai fejlesztéseit, mielőtt azok a feje tetejére állítják a világot. Ennek az interjúnak a megjelenéséig a levelet ötvenezren írták alá, köztük 1800 cégvezető, 1500 professzor. Az aláírók között van Stuart Russel, Elon Musk, Steve Wozniak, Yuval Noah Harari, Andrew Yang és sokan mások.

Létezik-e idegen intelligens civilizáció?

Úgy sejtem, hogy abban a gömbszerű térdarabban, amit jelenleg belátunk a teleszkópjainkkal, és ahonnan a fény még elér hozzánk, mi vagyunk az egyetlen intelligens civilizáció. Ezzel az álláspontommal valószínűleg a kisebbséghez tartozom, de ha ez igaz, akkor még nagyobb a felelősségünk, hogy ne tegyük tönkre a butaságunkkal.

Úgy vélem, rövidesen találkozni fogunk idegen intelligenciával, de azt mi magunk fogjuk létrehozni. Olyan idegen elméket kreálunk épp és olyan tempóban, amelyre az evolúció sosem lenne képes. Fontos, hogy ezeket olyanra alkossuk, amelyek képesek osztozni az értékeinken és nem hoznak újabb szenvedést a világba.

Szoktál fantáziálni arról, milyen lehet az az elmetartalom, amelyet majd az AI képvisel? Amely képes legenerálni az emberi intelligencia és cselekvés teljes spektrumát?

gen, de általában belesülök. Elég nehéz például elképzelni a teljes közömbösséget a halállal szemben, ez az emberi elmétől idegen dolog. Vagy hogy milyen lehet egyetlen pillanat alatt lemásolni egy ember teljes tudásanyagát, élményeit. Annyit mondhatok, hogy az emberi elmétől nagyon eltérő dologról beszélünk, és egy ennyire különböző dologra úgy tekinteni, mintha mégis hozzánk hasonló lenne, nagyon veszélyes.

Hogyan változtathatja meg magát az emberi létezést a mesterséges intelligencia, ha mindent képes lesz elvégezni helyettük, ráadásul sokkal jobban?

Számomra kérdés, hogy ha a mesterséges intelligencia segítségével túl sok erőfeszítést száműzünk az életünkből, nem veszítjük-e el magát az élet értelmét. Én például személy szerint szeretem a fizikai erőfeszítést, megmászni egy hegyet, és szeretk önmagamon is dolgozni, hogy egyre jobb és jobb ember legyek. Ezek a dolgok számomra értelemmel bírnak. Nem szeretném, hogy például minden üzenetem korrigálva legyen egy közbenső médium által, mielőtt elküldöm, és így ne hibázhassak vagy ne tanulhassak a hibáimból.

A mai ember önmagára aggatott brand-je a homo sapiens, vagyis aki képes az intelligens gondolkodásra, és aki a legokosabb információfeldolgozásra képes lény a földön. Ami ezután jön, az talán a „homo sentiens” lesz, vagyis az ember, akinek a tapasztalás, érzékelés, maga a létezés lesz fontos. A szuperintelligencia megjelenésével leszállhatunk arról a magas lóról is, hogy csak mi vagyunk képesek integrálni, cserébe erőteljesebben fordulhatunk olyan emberi értékek felé, mint a könyörület vagy az empátia más élőlények iránt.

Az öt évvel ezelőtt írt könyved, a Life 3.0: Being Human in the Age of Artificial Intelligence (Élet 3.0: Embernek lenni a mesterséges intelligencia korában) mostanra egyre inkább látnoki írásnak tűnik, összefoglalnád röviden, miről szól?

A könyvben a Life 1.0 a legegyszerűbb életformákat jelenti, mint például a baktériumoké, amelyek nem nagyon képesek önálló tanulásra, csak a genetikai folyamataikon keresztül működnek.

A Life 2.0 vagyunk mi és a többi aggyal rendelkező élőlény, akik egész életükön át képesek tanulni.

A Life 3.0, amikor úgy tanulsz, hogy például az agyadat frissíteni tudod egy pillanat alatt egy angolul beszélő modullal. Vagyis rendelkezel beépíthető hardverrel és szoftverrel is. Ha úgy vesszük most is valahol 2.1-nél járunk azzal, hogy vannak implantátumaink, pacemakerünk stb. Nevezhetjük 2.2-nek, ha a Neuralink és a hozzá hasonló cégek sikerrel járnak.

A 3.0 gyakorlatilag annyit jelent, hogy képesek vagyunk beültetni intelligenciát olyan lénybe is, amelynek ehhez nincs biológiai alapja.

Miért volt szükség a nyílt levélre a nagyléptékű mesterséges intelligencia fejlesztések szüneteltetéséről?

Aki esetleg látta a Ne nézz fel című mozifilmet, akkor tulajdonképpen most pont azt csináljuk, ami ebben a filmben történik. Ott egy aszteroida közeleg, amire hiába figyelmeztetnek a tudósok, senki nem akar ezzel foglalkozni, mindenki a saját, ehhez képest kisszerű dolgával van elfoglalva. Napjainkban ez történik, vagyis épp építünk valamit, elképesztő tempóban, ami vagy a legjobb vagy a legrosszabb dolog lesz, ami történhet az emberiséggel. Olyan útelágazáshoz érkeztünk, amely százezer éve nem volt az emberiség történetében. Gyakorlatilag egy új „fajt” hozunk létre, ami bár jelenleg még nem testesül meg robotok formájában, de ez rövidesen megtörténik. Egyrészt megcsinál majd helyettünk egy csomó munkát, másrészt ez egy szuperintelligencia lesz, ami felülmúlja a mi kognitív képességeinket.

Az a kép, amit alkottunk magunkról, azaz, hogy mi vagyunk a legokosabbak és mi irányítunk mindent a bolygón, nagyon könnyen megváltozhat most. Ez az egész egy borzasztóan ellentmondásos téma, bármelyik komolyabb fejlesztésekkel foglalkozó AI kutatót megkérdezheted, erre rá fog bólintani. Ehhez képest egy igazi komédia, mennyire kevés nyilvános vita van erről.

A levében megfogalmazott fél évnyi szünet tehát arra kéne, hogy nyerjünk egy kis időt átbeszélni a közeljövőben érkező szuperintelligens általános mesterséges intelligencia, az AGI várható hatásait, következményeit.  (* Az AI és AGI között a különbség, hogy míg az AI egy gépi intelligencia, amely csak egy-egy konkrét feladatra van optimalizálva, az AGI általános problémamegoldó lesz, és az emberi intelligenciához hasonlóan fog egy sokkal magasabb szinten működni.) A biztonsági kérdésekről már viszonylag sokat beszélünk, de van egy másik dolog is, ez pedig a társadalomra gyakorolt hatása. Itt ugye nem arról van szó, hogy végleg meg kéne állítani a fejlesztéseket, hanem a fejlődés üteméhez képest kell megnyernünk egy versenyt bölcsességben, amellyel a társadalom adaptációját menedzselni tudjuk. Ez a fejlődési tempó nehezen kiszámítható, például sokkal gyorsabban tudtunk végül létrehozni magasabb szintű AI-t, mint gondoltuk pl. 2014-ben. Viszont másik oldalról sokkal lassabbak vagyunk, például a szabályozás tekintetében.

Sokan hibásan azt gondolják, hogy először a hihetetlenül bonyolult agyunk működését kell megérteni és utána lehet beépíteni egy robotba. Ez nem így van, tulajdonképpen nagyon egyszerű műveletekről beszélünk, a nyelvi modelleknél is egy viszonylag „buta” tréning elegendő, csak kell hozzá nagy számítógép kapacitás és egy tonnányi adat.

Sam Altman (OpenAI CEO)  mondta, hogy a GPT3 és a GPT4  közötti hatalmas különbséget nem egy sokkal bonyolultabb programozás vagy valami alapvető változás adta, hanem kisebb hack-ek, apróbb akadályok megugrása, amelyek szinte egyik napról a másikra történnek, és amelyeken keresztül mi is tanuljuk, hogyan is működik ez az új tudomány.

Létezik-e idegen intelligens civilizáció?

Max Tegmark az MIT fizikusa, AI kutatója, a Future of Life Institute alapítója,  a Life 3.0: Being Human in the Age of Artificial Intelligence könyv szerzője 

Ez itt a beszélgetés magyar nyelvű összefoglalója időhiányosok számára, amelyet tervezek feltenni majd hanganyag formájában is, extrém időhiányosok számára. (Olvasási idő kb. 15 perc.) A kérdések és a válaszok nem szó szerint idézettek, de lényegileg azonosak, próbáltam a legfontosabb dilemmákra és megállapításokra fókuszálni és összefoglalni azokat. Az emberi mélységek miatt viszont ajánlom meghallgatni mindazoknak, akik tehetik.

Max Tegmark: The Case for Halting AI Development – Lex Fridman Podcast #371

A beszélgetés apropója az a 2023. márciusában közzétett nyílt levél (https://futureoflife.org/open-letter/pause-giant-ai-experiments/), amelynek célja, hogy minden a GPT4-nál komolyabb mesterséges intelligencia fejlesztés álljon le 6 hónapra. A felhívás szerint ez a leállás nem érintené a már piacon lévő modelleket és nem jelentene végleges leállást. Ez tulajdonképpen egy időkérés, hogy az emberiség utolérje a saját nagysebességű technológiai fejlesztéseit, mielőtt azok a feje tetejére állítják a világot. Ennek az interjúnak a megjelenéséig a levelet ötvenezren írták alá, köztük 1800 cégvezető, 1500 professzor. Az aláírók között van Stuart Russel, Elon Musk, Steve Wozniak, Yuval Noah Harari, Andrew Yang és sokan mások.

Létezik-e idegen intelligens civilizáció?

Úgy sejtem, hogy abban a gömbszerű térdarabban, amit jelenleg belátunk a teleszkópjainkkal, és ahonnan a fény még elér hozzánk, mi vagyunk az egyetlen intelligens civilizáció. Ezzel az álláspontommal valószínűleg a kisebbséghez tartozom, de ha ez igaz, akkor még nagyobb a felelősségünk, hogy ne tegyük tönkre a butaságunkkal.

Úgy vélem, rövidesen találkozni fogunk idegen intelligenciával, de azt mi magunk fogjuk létrehozni. Olyan idegen elméket kreálunk épp és olyan tempóban, amelyre az evolúció sosem lenne képes. Fontos, hogy ezeket olyanra alkossuk, amelyek képesek osztozni az értékeinken és nem hoznak újabb szenvedést a világba.

Szoktál fantáziálni arról, milyen lehet az az elmetartalom, amelyet majd az AI képvisel? Amely képes legenerálni az emberi intelligencia és cselekvés teljes spektrumát?

gen, de általában belesülök. Elég nehéz például elképzelni a teljes közömbösséget a halállal szemben, ez az emberi elmétől idegen dolog. Vagy hogy milyen lehet egyetlen pillanat alatt lemásolni egy ember teljes tudásanyagát, élményeit. Annyit mondhatok, hogy az emberi elmétől nagyon eltérő dologról beszélünk, és egy ennyire különböző dologra úgy tekinteni, mintha mégis hozzánk hasonló lenne, nagyon veszélyes.

Hogyan változtathatja meg magát az emberi létezést a mesterséges intelligencia, ha mindent képes lesz elvégezni helyettük, ráadásul sokkal jobban?

Számomra kérdés, hogy ha a mesterséges intelligencia segítségével túl sok erőfeszítést száműzünk az életünkből, nem veszítjük-e el magát az élet értelmét. Én például személy szerint szeretem a fizikai erőfeszítést, megmászni egy hegyet, és szeretk önmagamon is dolgozni, hogy egyre jobb és jobb ember legyek. Ezek a dolgok számomra értelemmel bírnak. Nem szeretném, hogy például minden üzenetem korrigálva legyen egy közbenső médium által, mielőtt elküldöm, és így ne hibázhassak vagy ne tanulhassak a hibáimból.

A mai ember önmagára aggatott brand-je a homo sapiens, vagyis aki képes az intelligens gondolkodásra, és aki a legokosabb információfeldolgozásra képes lény a földön. Ami ezután jön, az talán a „homo sentiens” lesz, vagyis az ember, akinek a tapasztalás, érzékelés, maga a létezés lesz fontos. A szuperintelligencia megjelenésével leszállhatunk arról a magas lóról is, hogy csak mi vagyunk képesek integrálni, cserébe erőteljesebben fordulhatunk olyan emberi értékek felé, mint a könyörület vagy az empátia más élőlények iránt.

Az öt évvel ezelőtt írt könyved, a Life 3.0: Being Human in the Age of Artificial Intelligence (Élet 3.0: Embernek lenni a mesterséges intelligencia korában) mostanra egyre inkább látnoki írásnak tűnik, összefoglalnád röviden, miről szól?

A könyvben a Life 1.0 a legegyszerűbb életformákat jelenti, mint például a baktériumoké, amelyek nem nagyon képesek önálló tanulásra, csak a genetikai folyamataikon keresztül működnek.

A Life 2.0 vagyunk mi és a többi aggyal rendelkező élőlény, akik egész életükön át képesek tanulni.

A Life 3.0, amikor úgy tanulsz, hogy például az agyadat frissíteni tudod egy pillanat alatt egy angolul beszélő modullal. Vagyis rendelkezel beépíthető hardverrel és szoftverrel is. Ha úgy vesszük most is valahol 2.1-nél járunk azzal, hogy vannak implantátumaink, pacemakerünk stb. Nevezhetjük 2.2-nek, ha a Neuralink és a hozzá hasonló cégek sikerrel járnak.

A 3.0 gyakorlatilag annyit jelent, hogy képesek vagyunk beültetni intelligenciát olyan lénybe is, amelynek ehhez nincs biológiai alapja.

Miért volt szükség a nyílt levélre a nagyléptékű mesterséges intelligencia fejlesztések szüneteltetéséről?

Aki esetleg látta a Ne nézz fel című mozifilmet, akkor tulajdonképpen most pont azt csináljuk, ami ebben a filmben történik. Ott egy aszteroida közeleg, amire hiába figyelmeztetnek a tudósok, senki nem akar ezzel foglalkozni, mindenki a saját, ehhez képest kisszerű dolgával van elfoglalva. Napjainkban ez történik, vagyis épp építünk valamit, elképesztő tempóban, ami vagy a legjobb vagy a legrosszabb dolog lesz, ami történhet az emberiséggel. Olyan útelágazáshoz érkeztünk, amely százezer éve nem volt az emberiség történetében. Gyakorlatilag egy új „fajt” hozunk létre, ami bár jelenleg még nem testesül meg robotok formájában, de ez rövidesen megtörténik. Egyrészt megcsinál majd helyettünk egy csomó munkát, másrészt ez egy szuperintelligencia lesz, ami felülmúlja a mi kognitív képességeinket.

Az a kép, amit alkottunk magunkról, azaz, hogy mi vagyunk a legokosabbak és mi irányítunk mindent a bolygón, nagyon könnyen megváltozhat most. Ez az egész egy borzasztóan ellentmondásos téma, bármelyik komolyabb fejlesztésekkel foglalkozó AI kutatót megkérdezheted, erre rá fog bólintani. Ehhez képest egy igazi komédia, mennyire kevés nyilvános vita van erről.

A levében megfogalmazott fél évnyi szünet tehát arra kéne, hogy nyerjünk egy kis időt átbeszélni a közeljövőben érkező szuperintelligens általános mesterséges intelligencia, az AGI várható hatásait, következményeit.  (* Az AI és AGI között a különbség, hogy míg az AI egy gépi intelligencia, amely csak egy-egy konkrét feladatra van optimalizálva, az AGI általános problémamegoldó lesz, és az emberi intelligenciához hasonlóan fog egy sokkal magasabb szinten működni.) A biztonsági kérdésekről már viszonylag sokat beszélünk, de van egy másik dolog is, ez pedig a társadalomra gyakorolt hatása. Itt ugye nem arról van szó, hogy végleg meg kéne állítani a fejlesztéseket, hanem a fejlődés üteméhez képest kell megnyernünk egy versenyt bölcsességben, amellyel a társadalom adaptációját menedzselni tudjuk. Ez a fejlődési tempó nehezen kiszámítható, például sokkal gyorsabban tudtunk végül létrehozni magasabb szintű AI-t, mint gondoltuk pl. 2014-ben. Viszont másik oldalról sokkal lassabbak vagyunk, például a szabályozás tekintetében.

Sokan hibásan azt gondolják, hogy először a hihetetlenül bonyolult agyunk működését kell megérteni és utána lehet beépíteni egy robotba. Ez nem így van, tulajdonképpen nagyon egyszerű műveletekről beszélünk, a nyelvi modelleknél is egy viszonylag „buta” tréning elegendő, csak kell hozzá nagy számítógép kapacitás és egy tonnányi adat.

Sam Altman (OpenAI CEO)  mondta, hogy a GPT3 és a GPT4  közötti hatalmas különbséget nem egy sokkal bonyolultabb programozás vagy valami alapvető változás adta, hanem kisebb hack-ek, apróbb akadályok megugrása, amelyek szinte egyik napról a másikra történnek, és amelyeken keresztül mi is tanuljuk, hogyan is működik ez az új tudomány.

Létezik-e idegen intelligens civilizáció?

Moloch

(* Moloch egy ókori, feltehetően először a főniciai kultúrában megjelent istenség, az alvilág istene. Scott Alexander esszéje Molochot használja analógiának arra az erőre, ami az ilyen rendszerek működésében testesül meg. Leírja, miként van jelen Moloch a kapitalizmusban, a tudományban, oktatásban, demokráciában stb. https://slatestarcodex.com/2014/07/30/meditations-on-moloch/ )
Moloch

(* Moloch egy ókori, feltehetően először a főniciai kultúrában megjelent istenség, az alvilág istene. Scott Alexander esszéje Molochot használja analógiának arra az erőre, ami az ilyen rendszerek működésében testesül meg. Leírja, miként van jelen Moloch a kapitalizmusban, a tudományban, oktatásban, demokráciában stb. https://slatestarcodex.com/2014/07/30/meditations-on-moloch/ )

Egyébként a probléma nem az ilyen fejlesztő laborok vezetőivel van, ők általában mind jó emberek, idealisták, akik hisznek abban, hogy az AI segít az emberiségen. A gond ott van, hogy egy veszélyes verseny csapdájába estek, amelyet a piac és a részvénytulajdonosok nyomása tart fenn.  Scott Alexandernek van egy írása, a „Meditation on Moloch”, ami pont erről szól: vagyis, hogy olyan rendszereket és versenyeket hozunk létre, amelyeknek a tragikus következményeivel tisztában vagyunk, ezeket a következményeket senki nem akarja, és mégsem tudunk belőle kiszállni.

Ha valaki vagy valakik- de nem mindenki egyszerre- úgy dönt, hogy mégis kiszáll, azt megöli vagy ellehetetleníti a rendszer. Az AI fejlesztés is egy ilyen verseny, ahol mindenkinek egyszerre kéne szünetet tartani, és ez önkéntes alapon nem tud megtörténni, csak valamilyen külső, pl. kormányzati nyomás hatására.

Volt már példa ilyen leállásra, ami sikeres is volt?  A nyílt levélben miért pont hat hónap leállást kértek?

Az emberi génszerkesztés vonatkozásában volt 1975-ben az asilomari konferencia, ahol döntöttek egy sokkal szigorúbb szabályozásról, mivel ráeszméltek arra, mennyire kiszámíthatatlanok a technológia alkalmazásának következményei. De ehhez kellett egy széleskörű tudatosság és a nyilvánosság nyomása is.

Az egyetlen embert, egy kínai kutatót, akinek a révén megszülettek a világ első génmódosított csecsemői, végül lecsukták. Amikor azzal az érvvel támadják az AI fejlesztések szüneteltetését, hogy „de addig Kína…”, érdemes arra gondolni, hogy a kínai kormányzat éppúgy ellenőrzése alatt akarja tartani ezeket a folyamatokat. A hat hónapos időtartam is részben ezért lett ennyi, mert tudjuk, hogy ennyi idő alatt Kína sem fogja tudni behozni a nyugatot az AI fejlesztések területén.

Azt feltételezed, hogy senki nem lesz képes megőrizni a kontrollt a fejlesztések felett?

A válaszom igen, amennyiben a GPT4-nál komolyabb fejlesztések nagyon hamar elérkeznek, és amennyiben addigra nem értjük meg teljes mértékben a nyelvi modellek jelenleg csak részben megértett, „fekete doboz” jellegű működését.

Sam Altman és Demis Hassabis (DeepMind) is elmondta, van kockázat, és amennyiben ennek a kockázatnak a mértékét már ijesztőnek látják, akkor lelassítják a folyamatokat. De itt ismét Moloch jön a képbe, méghozzá a piaci nyomás formájában.

A mesterséges intelligencia fejlesztés esetében a fejlődés robbanásszerű gyorsasága az, amitől ez egy öngyilkos versennyé válhat. A fejlesztések nem fognak megállni a GPT4-plus vagy a GPT4-plusplus-nál, és hogy miért nem, erről érdemes lenne a tudományos vitákat lefolytatni. Az AI- t támogató kapacitás is sokkal gyorsabban bővül, mint azt gondoltuk. Ehhez képest viszont el vagyunk maradva a közösségi irányelvek és biztonsági intézkedések kidolgozásában, idő kell, hogy ezt a lemaradást behozzuk.

Az egészet úgy érdemes elképzelni, mintha nagy sebességgel közelednénk egy szakadék széléhez. Ahogy közeledünk, a táj egyre érdekesebb és látványosabb, ami végül úgy elragad minket, hogy inkább nem lassítunk.  Az AI fejlesztésben annyi lehetőség és pénz van, hogy önszántából senki nem fog tudni lassítani. 

Azt gondolom, a veszélyek kiküszöbölhetőek lennének, ha nem gyorsvonaton száguldanánk a mesterséges intelligencia felől az általános mesterséges intelligencia irányába, bele, ebbe a szakadékba.

A mesterséges intelligenciával kapcsolatos legfőbb kockázati tényezők, amelyeket az AI biztonság kutatók megfogalmaztak, az alábbiak:

  1.  Megtanítani az AI-t kódot írni. Ugyanis ez az első lépés a rekurzív önfejlesztéshez. Ez pipa, már túlvagyunk rajta.
  2. Rákapcsolni az internetre, ahol már önállóan letölt adatokat, beszélget emberekkel. Ezen is már túlvagyunk.
  3.  Megtanítani neki az ember pszichológiáját, ami a manipulációt lehetővé teszi. Hát, ezzel is megvolnánk, a social media algoritmusai már az emberi viselkedésen alapulnak és egyben befolyásolják azt. Ha belegondolunk, a társadalom első igazi találkozása a mesterséges intelligenciával a social media volt- és vesztettünk. Soha nem látott mértékű gyűlölet van a világban, mert nincsenek közös valóság alapjaink, amiben mind egyet tudunk érteni. Még az amerikai választások eredménye is megkérdőjelezhetővé válik. A demokrácia alapjai is megkérdőjelezhetővé váltak.

Szükséges és lehetséges lenne a social media új alapokra fektetése is. Szükségünk van közös alapokra, például az emberi élet fontosságával, a nukleáris fegyverek használatával vagy az AGI fejlesztésekkel kapcsolatban.

Azt gondolom, az emberek nem születnek jó ember vagy rossz ember génekkel. Hanem szituációkba kerülnek, ami a legjobbat vagy a legrosszabbat hozza ki belőlük. A social media például inkább a legrosszabbat hozza ki belőlünk. A mesterséges intelligencia sem jó vagy rossz önmagában, a kérdés, mire és hogyan használjuk.

A GPT4 jelenleg egy bébitechnológia, veszélytelennek látjuk, és naivan szeretnénk róla azt feltételezni, hogy minél intelligensebb lesz, annál jobbá is válik. Reménykedünk benne, hogy éppúgy, mint ahogy a gyerekeinket neveljük, át tudunk neki adni az általunk képviselt értékekből. De figyelmen kívül hagyjuk, hogy olyan gyorsasággal nő a fejünkre, amilyen gyorsan a gyerekeink nem tudnának. Gondoljunk csak bele, hogy egy adott logikai lépés számunkra mennyi időt vesz igénybe, és ehhez képest AI esetében nanoszekundum alatt megtörténik ennek a többszöröse.

Ha valaki pár éve megkérdezi tőlem, mik a fő félelmeim az AI-jal kapcsolatban, akkor a fenti három kockázaton túl – vagyis kódgenerálás, internetre kötés, emberi viselkedéssel kapcsolatos tudás átadása- egy negyedik félelmet is megfogalmaztam volna, ami az API alkalmazása. Ez olyasmihez lenne hasonlatos, mintha a nukleáris fegyverek technológiáját tennénk elérhetővé bárki számára továbbfejlesztési célra.

A GPT4 jelenleg nem önálló ágens, mindössze kérdésekre válaszol. Nem kapcsolódik hozzá robot, amely a céljainak megfelelően gyűjt információt, dolgozza fel azokat, majd cselekszik ezek alapján. Nem kereskedik például tőzsdén. Amint van egy API például a GPT4-hoz, semmi nem áll annak az útjába, hogy önálló ágenseket hozzanak létre, amelyek aztán önmagukat fejlesztik. Az onnantól egy nukleáris láncreakciónak megfelelő fejlődési robbanás lenne.

Mit gondolsz, miért nem fog megállni a fejlődés?

Világos, hogy megáll abban az esetben, ha fizikai akadályokba ütközik- például a maximálisan betáplálható energia, a fénysebességnél gyorsabb információáramlás, a tárolási kapacitás-, de ezek a fizikai plafonok nagyságrendekkel magasabban vannak, mint ahol most tartunk. A gazdasági nyomás pedig óriási a cégeken, hogy minél gyorsabban haladjanak a fejlesztői versenyben. Ezért is kéne egyszerre megállnia mindenkinek. Így minden résztvevő nyugodtan alhat abban a tudatban, hogy mindenki azonos szabályok szerint játszik, nem kell félni attól, hogy valaki váratlanul beelőz.

Lehetséges olyan szabályozókat megalkotni, amelyek védelmet nyújtanak az emberi civilizáció visszafordíthatatlan tönkretétele ellen, de egyben megtartja a piaci verseny lehetőségét is?

Igen, de ehhez az kell, hogy utolérjük a szabályozásokkal és ösztönző rendszerekkel a fejlődés ütemét. Másrészt a techlobbit korlátozni szükséges. Az Európai Unióban például a szabályozási procedúra első köréből kivételként kivették a GPT4-t, ami elképesztő- feltehetően tech cégek lobbitevékenysége miatt. Jelenleg az EU-ban gyakorlatilag nagyobb techlobbi van, mint olajipari.

A szabályok alkotóinak nincs tech háttere, ezért az is egy fontos elem lenne, hogy őket edukáljuk.

Továbbá a szabályozási kereteket nem egyéni ösztönzőkkel kell megvalósítani, hanem vállalati szinten. A fejlesztők vagy a cégvezetők olyan egyének a vállalati rendszerekben, akiknek külön-külön nincs befolyásuk. Ha például egy dohány cég vezetője úgy dönt, hogy dohányárut eladni társadalmilag káros, akkor egyszerűen lecserélik.

Úgy kell tekinteni erre az egészre, mint az autóipari fejlesztésekre. Az autókat sem kell betiltani azért, mert előfordul, hogy halálos balesetet okoznak velük, hanem elő kell írni például a biztonsági övet.

A szabályozó keretek nélküli mesterséges szuperintelligencia épp úgy tud kárt okozni, mint ahogyan a kapitalizmust túltoltuk a kommunizmus után. Ez a túloptimalizált rendszerek sajátja. A szabad piac is sokkal hatékonyabbnak bizonyult a kommunista gazdaságpolitika után, amelyben az optimalizálás arról szólt, hogy maximalizáljuk a nyereséget és minimalizáljuk a veszteséget. És egyszer csak azon kaptuk magunkat, hogy kivágtuk az esőerdők felét. Az AI-nak adott célokból következő optimalizálás esetében is fennáll hasonló veszély. Az ilyen folyamatok elején minden mindig jobbá válik, aztán egyszer csak elromlik.

Mi várható a munka automatizációja terén?

Időről időre meg kell állnunk és átgondolni, mit miért is csinálunk pontosan. Az AI fejlődésének jellemzőiből látszik, hogy a következő lépcsőfok az emberi asszisztencia melletti működés, de később már teljesen önálló munkára is képes lesz. Rengeteg szakmát fog ez érinteni, nem csak az unalmas vagy veszélyes munkákat, hanem a kreatív, számunkra értelemmel bíró munkákra is.

Naivak vagyunk, ha azt hisszük, hogy jól fogjuk tudni kezelni azt a helyzetet, amikor egyszerre sok ember munkája válik fölöslegessé. Az a különbség a mostani helyzet és az ipari forradalom között, hogy az ipari forradalom idején a gépesítéssel az izomerő egy részét cseréltük agymunkára, most viszont az agymunkát is képesek leszünk helyettesíteni. Megtehetjük, hogy mindent automatizálunk- ez ráadásul alapvető gazdasági érdek lesz a vállalatoknál-, kérdés, hogy akarjuk-e.

Az oktatási rendszert is a feje tetejére fogja állítani. Azok a diákok, aki ma belépnek az oktatásba, mire leérettségiznek egy gyökeresen más világban fogják találni magukat. Azokkal a szakmákkal, amelyeket ma tanítunk, rövidesen nem fognak tudni munkát találni. Itt is teljes reform szükséges.

Hogy az AGI-ból a legjobbat hozzuk-e ki végül, és ezzel nagyobb jólétet viszünk a világba, azon múlik, hogy arra kormányozzuk-e. Ugyanis nem ez az alapértelmezett várható kifejlet.

Eliezer Yudkowsky szerint a mesterséges intelligencia mindenképpen meg fogja semmisíteni az emberiséget, ő nem lát másik forgatókönyvet. Mit gondolsz erről? És hogyan végezhet a AI az emberi civilizációval?

Egyébként a probléma nem az ilyen fejlesztő laborok vezetőivel van, ők általában mind jó emberek, idealisták, akik hisznek abban, hogy az AI segít az emberiségen. A gond ott van, hogy egy veszélyes verseny csapdájába estek, amelyet a piac és a részvénytulajdonosok nyomása tart fenn.  Scott Alexandernek van egy írása, a „Meditation on Moloch”, ami pont erről szól: vagyis, hogy olyan rendszereket és versenyeket hozunk létre, amelyeknek a tragikus következményeivel tisztában vagyunk, ezeket a következményeket senki nem akarja, és mégsem tudunk belőle kiszállni.

Ha valaki vagy valakik- de nem mindenki egyszerre- úgy dönt, hogy mégis kiszáll, azt megöli vagy ellehetetleníti a rendszer. Az AI fejlesztés is egy ilyen verseny, ahol mindenkinek egyszerre kéne szünetet tartani, és ez önkéntes alapon nem tud megtörténni, csak valamilyen külső, pl. kormányzati nyomás hatására.

Volt már példa ilyen leállásra, ami sikeres is volt?  A nyílt levélben miért pont hat hónap leállást kértek?

Az emberi génszerkesztés vonatkozásában volt 1975-ben az asilomari konferencia, ahol döntöttek egy sokkal szigorúbb szabályozásról, mivel ráeszméltek arra, mennyire kiszámíthatatlanok a technológia alkalmazásának következményei. De ehhez kellett egy széleskörű tudatosság és a nyilvánosság nyomása is.

Az egyetlen embert, egy kínai kutatót, akinek a révén megszülettek a világ első génmódosított csecsemői, végül lecsukták. Amikor azzal az érvvel támadják az AI fejlesztések szüneteltetését, hogy „de addig Kína…”, érdemes arra gondolni, hogy a kínai kormányzat éppúgy ellenőrzése alatt akarja tartani ezeket a folyamatokat. A hat hónapos időtartam is részben ezért lett ennyi, mert tudjuk, hogy ennyi idő alatt Kína sem fogja tudni behozni a nyugatot az AI fejlesztések területén.

Azt feltételezed, hogy senki nem lesz képes megőrizni a kontrollt a fejlesztések felett?

A válaszom igen, amennyiben a GPT4-nál komolyabb fejlesztések nagyon hamar elérkeznek, és amennyiben addigra nem értjük meg teljes mértékben a nyelvi modellek jelenleg csak részben megértett, „fekete doboz” jellegű működését.

Sam Altman és Demis Hassabis (DeepMind) is elmondta, van kockázat, és amennyiben ennek a kockázatnak a mértékét már ijesztőnek látják, akkor lelassítják a folyamatokat. De itt ismét Moloch jön a képbe, méghozzá a piaci nyomás formájában.

A mesterséges intelligencia fejlesztés esetében a fejlődés robbanásszerű gyorsasága az, amitől ez egy öngyilkos versennyé válhat. A fejlesztések nem fognak megállni a GPT4-plus vagy a GPT4-plusplus-nál, és hogy miért nem, erről érdemes lenne a tudományos vitákat lefolytatni. Az AI- t támogató kapacitás is sokkal gyorsabban bővül, mint azt gondoltuk. Ehhez képest viszont el vagyunk maradva a közösségi irányelvek és biztonsági intézkedések kidolgozásában, idő kell, hogy ezt a lemaradást behozzuk.

Az egészet úgy érdemes elképzelni, mintha nagy sebességgel közelednénk egy szakadék széléhez. Ahogy közeledünk, a táj egyre érdekesebb és látványosabb, ami végül úgy elragad minket, hogy inkább nem lassítunk.  Az AI fejlesztésben annyi lehetőség és pénz van, hogy önszántából senki nem fog tudni lassítani. 

Azt gondolom, a veszélyek kiküszöbölhetőek lennének, ha nem gyorsvonaton száguldanánk a mesterséges intelligencia felől az általános mesterséges intelligencia irányába, bele, ebbe a szakadékba.

A mesterséges intelligenciával kapcsolatos legfőbb kockázati tényezők, amelyeket az AI biztonság kutatók megfogalmaztak, az alábbiak:

  1.  Megtanítani az AI-t kódot írni. Ugyanis ez az első lépés a rekurzív önfejlesztéshez. Ez pipa, már túlvagyunk rajta.
  2. Rákapcsolni az internetre, ahol már önállóan letölt adatokat, beszélget emberekkel. Ezen is már túlvagyunk.
  3.  Megtanítani neki az ember pszichológiáját, ami a manipulációt lehetővé teszi. Hát, ezzel is megvolnánk, a social media algoritmusai már az emberi viselkedésen alapulnak és egyben befolyásolják azt. Ha belegondolunk, a társadalom első igazi találkozása a mesterséges intelligenciával a social media volt- és vesztettünk. Soha nem látott mértékű gyűlölet van a világban, mert nincsenek közös valóság alapjaink, amiben mind egyet tudunk érteni. Még az amerikai választások eredménye is megkérdőjelezhetővé válik. A demokrácia alapjai is megkérdőjelezhetővé váltak.

Szükséges és lehetséges lenne a social media új alapokra fektetése is. Szükségünk van közös alapokra, például az emberi élet fontosságával, a nukleáris fegyverek használatával vagy az AGI fejlesztésekkel kapcsolatban.

Azt gondolom, az emberek nem születnek jó ember vagy rossz ember génekkel. Hanem szituációkba kerülnek, ami a legjobbat vagy a legrosszabbat hozza ki belőlük. A social media például inkább a legrosszabbat hozza ki belőlünk. A mesterséges intelligencia sem jó vagy rossz önmagában, a kérdés, mire és hogyan használjuk.

A GPT4 jelenleg egy bébitechnológia, veszélytelennek látjuk, és naivan szeretnénk róla azt feltételezni, hogy minél intelligensebb lesz, annál jobbá is válik. Reménykedünk benne, hogy éppúgy, mint ahogy a gyerekeinket neveljük, át tudunk neki adni az általunk képviselt értékekből. De figyelmen kívül hagyjuk, hogy olyan gyorsasággal nő a fejünkre, amilyen gyorsan a gyerekeink nem tudnának. Gondoljunk csak bele, hogy egy adott logikai lépés számunkra mennyi időt vesz igénybe, és ehhez képest AI esetében nanoszekundum alatt megtörténik ennek a többszöröse.

Ha valaki pár éve megkérdezi tőlem, mik a fő félelmeim az AI-jal kapcsolatban, akkor a fenti három kockázaton túl – vagyis kódgenerálás, internetre kötés, emberi viselkedéssel kapcsolatos tudás átadása- egy negyedik félelmet is megfogalmaztam volna, ami az API alkalmazása. Ez olyasmihez lenne hasonlatos, mintha a nukleáris fegyverek technológiáját tennénk elérhetővé bárki számára továbbfejlesztési célra.

A GPT4 jelenleg nem önálló ágens, mindössze kérdésekre válaszol. Nem kapcsolódik hozzá robot, amely a céljainak megfelelően gyűjt információt, dolgozza fel azokat, majd cselekszik ezek alapján. Nem kereskedik például tőzsdén. Amint van egy API például a GPT4-hoz, semmi nem áll annak az útjába, hogy önálló ágenseket hozzanak létre, amelyek aztán önmagukat fejlesztik. Az onnantól egy nukleáris láncreakciónak megfelelő fejlődési robbanás lenne.

Mit gondolsz, miért nem fog megállni a fejlődés?

Világos, hogy megáll abban az esetben, ha fizikai akadályokba ütközik- például a maximálisan betáplálható energia, a fénysebességnél gyorsabb információáramlás, a tárolási kapacitás-, de ezek a fizikai plafonok nagyságrendekkel magasabban vannak, mint ahol most tartunk. A gazdasági nyomás pedig óriási a cégeken, hogy minél gyorsabban haladjanak a fejlesztői versenyben. Ezért is kéne egyszerre megállnia mindenkinek. Így minden résztvevő nyugodtan alhat abban a tudatban, hogy mindenki azonos szabályok szerint játszik, nem kell félni attól, hogy valaki váratlanul beelőz.

Lehetséges olyan szabályozókat megalkotni, amelyek védelmet nyújtanak az emberi civilizáció visszafordíthatatlan tönkretétele ellen, de egyben megtartja a piaci verseny lehetőségét is?

Igen, de ehhez az kell, hogy utolérjük a szabályozásokkal és ösztönző rendszerekkel a fejlődés ütemét. Másrészt a techlobbit korlátozni szükséges. Az Európai Unióban például a szabályozási procedúra első köréből kivételként kivették a GPT4-t, ami elképesztő- feltehetően tech cégek lobbitevékenysége miatt. Jelenleg az EU-ban gyakorlatilag nagyobb techlobbi van, mint olajipari.

A szabályok alkotóinak nincs tech háttere, ezért az is egy fontos elem lenne, hogy őket edukáljuk.

Továbbá a szabályozási kereteket nem egyéni ösztönzőkkel kell megvalósítani, hanem vállalati szinten. A fejlesztők vagy a cégvezetők olyan egyének a vállalati rendszerekben, akiknek külön-külön nincs befolyásuk. Ha például egy dohány cég vezetője úgy dönt, hogy dohányárut eladni társadalmilag káros, akkor egyszerűen lecserélik.

Úgy kell tekinteni erre az egészre, mint az autóipari fejlesztésekre. Az autókat sem kell betiltani azért, mert előfordul, hogy halálos balesetet okoznak velük, hanem elő kell írni például a biztonsági övet.

A szabályozó keretek nélküli mesterséges szuperintelligencia épp úgy tud kárt okozni, mint ahogyan a kapitalizmust túltoltuk a kommunizmus után. Ez a túloptimalizált rendszerek sajátja. A szabad piac is sokkal hatékonyabbnak bizonyult a kommunista gazdaságpolitika után, amelyben az optimalizálás arról szólt, hogy maximalizáljuk a nyereséget és minimalizáljuk a veszteséget. És egyszer csak azon kaptuk magunkat, hogy kivágtuk az esőerdők felét. Az AI-nak adott célokból következő optimalizálás esetében is fennáll hasonló veszély. Az ilyen folyamatok elején minden mindig jobbá válik, aztán egyszer csak elromlik.

Mi várható a munka automatizációja terén?

Időről időre meg kell állnunk és átgondolni, mit miért is csinálunk pontosan. Az AI fejlődésének jellemzőiből látszik, hogy a következő lépcsőfok az emberi asszisztencia melletti működés, de később már teljesen önálló munkára is képes lesz. Rengeteg szakmát fog ez érinteni, nem csak az unalmas vagy veszélyes munkákat, hanem a kreatív, számunkra értelemmel bíró munkákra is.

Naivak vagyunk, ha azt hisszük, hogy jól fogjuk tudni kezelni azt a helyzetet, amikor egyszerre sok ember munkája válik fölöslegessé. Az a különbség a mostani helyzet és az ipari forradalom között, hogy az ipari forradalom idején a gépesítéssel az izomerő egy részét cseréltük agymunkára, most viszont az agymunkát is képesek leszünk helyettesíteni. Megtehetjük, hogy mindent automatizálunk- ez ráadásul alapvető gazdasági érdek lesz a vállalatoknál-, kérdés, hogy akarjuk-e.

Az oktatási rendszert is a feje tetejére fogja állítani. Azok a diákok, aki ma belépnek az oktatásba, mire leérettségiznek egy gyökeresen más világban fogják találni magukat. Azokkal a szakmákkal, amelyeket ma tanítunk, rövidesen nem fognak tudni munkát találni. Itt is teljes reform szükséges.

Hogy az AGI-ból a legjobbat hozzuk-e ki végül, és ezzel nagyobb jólétet viszünk a világba, azon múlik, hogy arra kormányozzuk-e. Ugyanis nem ez az alapértelmezett várható kifejlet.

Eliezer Yudkowsky szerint a mesterséges intelligencia mindenképpen meg fogja semmisíteni az emberiséget, ő nem lát másik forgatókönyvet. Mit gondolsz erről? És hogyan végezhet a AI az emberi civilizációval?

Evolúció

Osztom Eliezer félelmeit, de nem sodorhatjuk magunkat olyan önbeteljesítő pszichológiai állapotba, amelyben végül meg sem próbáljuk megoldani ezeket a problémákat.

Evolúció

Osztom Eliezer félelmeit, de nem sodorhatjuk magunkat olyan önbeteljesítő pszichológiai állapotba, amelyben végül meg sem próbáljuk megoldani ezeket a problémákat.

Az emberek általában azt gondolják, hogy a legnagyobb fenyegetést a hamis információk terjedése és a kiberfegyverkezés jelenti. Szerintem ennél nagyobb elefántok vannak a szobában. Az egyik ilyen elefánt a számunkra értelemmel bíró munkák elvesztése. De ami ennél is nagyobb: a jelenlegi technológia egyfajta bootloaderként, rendszerbetöltő programként fog funkcionálni egy sokkal magasabb szintű AI technológiához.

Egyrészt ez már nem olyan lesz, mint a jelenlegi nyelvi modellek, hanem képes lesz saját célok érdekében cselekedni, és várhatóan ennek a szupererőnek a birtokában túl kevesek fognak túl sokak fölött dominálni.

Másrészt nem szisztematikusan gyilkoló robotokra kell gondolni, hanem gondoljunk csak bele, mi hogyan irtottunk ki más fajokat. Nem szándékosan tettük, hanem a saját céljaink érdekében elvettük vagy elszennyeztük az élőhelyüket. Az AI esetében hasonló folyamatokra számíthatunk, ami lehet akár a kapacitásbővítéshez tartozó területigény vagy akár képzeljük el, hogy az emberi kontroll nélküli, folyamatosan optimalizáló intelligencia egyszer csak rájön, hogy az oxigén a gépekben korróziót okozhat…

Továbbá az is kérdés, hogyan tanítod meg neki, hogy a mi értékeinket akkor is tartsa meg, amikor már nagyságrendekkel okosabb lesz nálunk.

Nem az a probléma, hogy mindezekre a veszélyekre ne lehetne felkészülni, hanem hogy nem marad rá elég idő. Ezért született a nyílt levél is. Ha ezeket a problémákat meg tudjuk oldani, akkor cserébe az AI megoldja nekünk az összes többit.

Szabad-e a GPT4-t nyílt forráskódúvá tenni?

A mostani válaszom egyértelműen: nem. Alapvetően open source párti vagyok, az MIT is tulajdonképpen bölcsője az ilyen alapon működő fejlesztéseknek, fontosnak tartom, hogy a legjobb ötletek bekerülhessenek a fejlesztési folyamatokba. Az AI jelenlegi stádiumában azonban ez azzal egyenértékű kérdés, minthogy szeretnénk-e nyílt forráskódúvá tenni a veszélyes toxinok előállítási technológiáját, amely alapján akár a Home Depo-ból összerakhatunk egy biofegyvert.

Ahogy említettem, a GPT4 még csak egy bébitechnológia, de már alkalmas arra, hogy felhasználják komolyabb és egyben rémisztő dolgok megalkotására.

Szerinted a GPT4 rendelkezik tudatossággal?

A válaszhoz először is definiálnunk kell a tudatosság fogalmát. A legtöbb tudatosságról szóló vitában a felek nem ugyanazt értik alatta. Az én saját definícióm az, hogy a tudatosság a szubjektív tapasztalás. Ebben benne van az érzékelés, pl. színek, ízek, vagy a szeretet és örömre való képesség és az értelemmel bíró létezés, tehát az, hogy számomra valami jelentőséggel bír. Ebben az értelemben nem tudom, hogy a GPT4 tudatos-e.

Giulio Tononi professzornak van rá egy matematikai jellegű válasza, aminek a lényege, hogy a tudatosság az információ feldolgozás folyamatában lévő hurkokkal van összefüggésben. Az agyunk ilyen hurkokkal működik: bejön az információ, keletkezik egy output, majd az ismét „visszatáplálásra” kerül. Ha nincsenek ilyen hurkok, hanem csak ún. feed-forward, vagyis egyirányú információ áramlás van, ott nincs tudatosság. Pl. a szemünk retinája csak továbbítja az információt, így az még önmagában nem tudatos.

Ebben az értelemben a GPT4 nem tudatos, ott egyirányú információ áramlás van. Tehát ő egy nagyon intelligens zombi. Okos dolgokat csinál, de nem tapasztal semmit.

Ez egyrészt felszabadító, hiszen nem kell bűntudatot éreznem, ha lekapcsolom. Másik oldalról viszont hátborzongató, mert ha adott esetben végleg lecserél minket, embereket, akkor ami utánunk marad, az egy óriási, nagyon intelligens dolog, ami nem érzékel semmit. Ez a legdepresszívebb jövőkép, amit el tudok képzelni.

Az általános mesterséges intelligencia, a nukleáris fegyverkezés és a kapitalizmus közös vonása, hogy olyan dolgok történnek, amit nem akar senki, de megtörténik. Ilyesmi veszéllyel fenyeget a jelenlegi orosz-ukrán háború is, ahol mindegyik fél úgy gondolja a maga szemszögéből, hogy nem vonulhat vissza. Pedig senki nem akar eszkalációt, itt is Moloch irányít.

Nagy szükség lenne a mostani helyzetben a közös igazságok lefektetésére, amire tudunk fókuszálni és csak másodlagosnak tekinteni az eltéréseket. Az AGI-t is erre az igazságkeresésre kéne használni.

Az emberek általában azt gondolják, hogy a legnagyobb fenyegetést a hamis információk terjedése és a kiberfegyverkezés jelenti. Szerintem ennél nagyobb elefántok vannak a szobában. Az egyik ilyen elefánt a számunkra értelemmel bíró munkák elvesztése. De ami ennél is nagyobb: a jelenlegi technológia egyfajta bootloaderként, rendszerbetöltő programként fog funkcionálni egy sokkal magasabb szintű AI technológiához.

Egyrészt ez már nem olyan lesz, mint a jelenlegi nyelvi modellek, hanem képes lesz saját célok érdekében cselekedni, és várhatóan ennek a szupererőnek a birtokában túl kevesek fognak túl sokak fölött dominálni.

Másrészt nem szisztematikusan gyilkoló robotokra kell gondolni, hanem gondoljunk csak bele, mi hogyan irtottunk ki más fajokat. Nem szándékosan tettük, hanem a saját céljaink érdekében elvettük vagy elszennyeztük az élőhelyüket. Az AI esetében hasonló folyamatokra számíthatunk, ami lehet akár a kapacitásbővítéshez tartozó területigény vagy akár képzeljük el, hogy az emberi kontroll nélküli, folyamatosan optimalizáló intelligencia egyszer csak rájön, hogy az oxigén a gépekben korróziót okozhat…

Továbbá az is kérdés, hogyan tanítod meg neki, hogy a mi értékeinket akkor is tartsa meg, amikor már nagyságrendekkel okosabb lesz nálunk.

Nem az a probléma, hogy mindezekre a veszélyekre ne lehetne felkészülni, hanem hogy nem marad rá elég idő. Ezért született a nyílt levél is. Ha ezeket a problémákat meg tudjuk oldani, akkor cserébe az AI megoldja nekünk az összes többit.

Szabad-e a GPT4-t nyílt forráskódúvá tenni?

A mostani válaszom egyértelműen: nem. Alapvetően open source párti vagyok, az MIT is tulajdonképpen bölcsője az ilyen alapon működő fejlesztéseknek, fontosnak tartom, hogy a legjobb ötletek bekerülhessenek a fejlesztési folyamatokba. Az AI jelenlegi stádiumában azonban ez azzal egyenértékű kérdés, minthogy szeretnénk-e nyílt forráskódúvá tenni a veszélyes toxinok előállítási technológiáját, amely alapján akár a Home Depo-ból összerakhatunk egy biofegyvert.

Ahogy említettem, a GPT4 még csak egy bébitechnológia, de már alkalmas arra, hogy felhasználják komolyabb és egyben rémisztő dolgok megalkotására.

Szerinted a GPT4 rendelkezik tudatossággal?

A válaszhoz először is definiálnunk kell a tudatosság fogalmát. A legtöbb tudatosságról szóló vitában a felek nem ugyanazt értik alatta. Az én saját definícióm az, hogy a tudatosság a szubjektív tapasztalás. Ebben benne van az érzékelés, pl. színek, ízek, vagy a szeretet és örömre való képesség és az értelemmel bíró létezés, tehát az, hogy számomra valami jelentőséggel bír. Ebben az értelemben nem tudom, hogy a GPT4 tudatos-e.

Giulio Tononi professzornak van rá egy matematikai jellegű válasza, aminek a lényege, hogy a tudatosság az információ feldolgozás folyamatában lévő hurkokkal van összefüggésben. Az agyunk ilyen hurkokkal működik: bejön az információ, keletkezik egy output, majd az ismét „visszatáplálásra” kerül. Ha nincsenek ilyen hurkok, hanem csak ún. feed-forward, vagyis egyirányú információ áramlás van, ott nincs tudatosság. Pl. a szemünk retinája csak továbbítja az információt, így az még önmagában nem tudatos.

Ebben az értelemben a GPT4 nem tudatos, ott egyirányú információ áramlás van. Tehát ő egy nagyon intelligens zombi. Okos dolgokat csinál, de nem tapasztal semmit.

Ez egyrészt felszabadító, hiszen nem kell bűntudatot éreznem, ha lekapcsolom. Másik oldalról viszont hátborzongató, mert ha adott esetben végleg lecserél minket, embereket, akkor ami utánunk marad, az egy óriási, nagyon intelligens dolog, ami nem érzékel semmit. Ez a legdepresszívebb jövőkép, amit el tudok képzelni.

Az általános mesterséges intelligencia, a nukleáris fegyverkezés és a kapitalizmus közös vonása, hogy olyan dolgok történnek, amit nem akar senki, de megtörténik. Ilyesmi veszéllyel fenyeget a jelenlegi orosz-ukrán háború is, ahol mindegyik fél úgy gondolja a maga szemszögéből, hogy nem vonulhat vissza. Pedig senki nem akar eszkalációt, itt is Moloch irányít.

Nagy szükség lenne a mostani helyzetben a közös igazságok lefektetésére, amire tudunk fókuszálni és csak másodlagosnak tekinteni az eltéréseket. Az AGI-t is erre az igazságkeresésre kéne használni.