Postoji ironija, a postoji i situacija u kojoj slupate Teslu na sustavu pune autonomne vožnje (Full Self-Driving) nakon što ste godinama vodili Uberov odjel za razvoj upravo takvih vozila. To se dogodilo Raffiju Krikorianu u njegovom Modelu X, ali njegova priča zapravo nije o jednoj prometnoj nesreći.

Umjesto toga, ona savršeno oslikava neugodnu fazu u kojoj se nalazimo s modernom automatizacijom, gdje tehnologija može obaviti veći dio posla, ali i dalje očekuje da čovjek trenutno uskoči kada nešto pođe po zlu. Iako je to realnost današnjih sustava za pomoć u vožnji, slučajevi poput ovog pokazuju koliko je ta ravnoteža zapravo krhka.

Što se točno dogodilo?

Prema njegovom eseju objavljenom u časopisu The Atlantic, Krikorian je vozio svoju djecu u urbanom okruženju kroz stambene ulice s aktiviranim Teslinim sustavom Full Self-Driving (Supervised). S vremenom mu je postalo ugodno koristiti ga i izvan autocesta, nakon mjeseci vožnje bez ijednog incidenta. A onda je automobil započeo skretanje, volan se neočekivano trznuo i u samo nekoliko sekundi, Model X se zabio u betonski zid.

Svi su izašli neozlijeđeni, ali iskustvo ga je duboko potreslo. Ne samo zbog sudara, već zbog toga koliko mu se obrazac činio poznatim. On opisuje ono što istraživačica Madeleine Clare Elish naziva "moralnom zonom odgovornosti", ideju da kada složeni automatizirani sustavi zakažu, ljudski operater apsorbira krivnju na isti način na koji zaštitna zona u automobilu apsorbira energiju sudara. Iako sustav obavlja većinu posla, vozač je i dalje zakonski odgovoran.

Odgovornost vozača je neupitna

Na temelju ovog principa Tesla je dobio brojne sudske sporove, a lako je vidjeti i zašto. Kompanija, kao i drugi proizvođači automobila, neprestano upozorava vozače da autonomne značajke nisu savršene i da moraju biti spremni preuzeti kontrolu u svakom trenutku. No, najzanimljiviji dio Krikorianovog eseja nije pravni, već psihološki i fiziološki.

S psihološke strane, poluautonomni sustavi stvaraju opasnu sivu zonu u kojoj rade toliko dobro da vozači prestaju aktivno voziti. Ali ne voze toliko dobro da bi mogli eliminirati potrebu za ljudskom intervencijom. Teslini podaci to i potvrđuju: vozila koja koriste FSD bilježe jednu nesreću na svakih 5,3 milijuna prijeđenih milja, u usporedbi s jednom nesrećom na 2,2 milijuna milja za one s ručnim upravljanjem. Paradoksalno, upravo statistička superiornost sustava potiče opuštanje.

Istraživači ovu pojavu nazivaju "padom koncentracije" (vigilance decrement). Kada ljudi nadziru sustav koji gotovo nikada ne griješi, njihova pažnja prirodno odluta. To je poznat problem koji se često zanemaruje u sjeni bombastičnih naslova o nesrećama koje uključuju bilo kakav oblik autonomije.

Kada pažnja odluta, dolazimo do drugog dijela problema: fiziologije. Čak i najspremnijim ljudima često treba nekoliko sekundi da ponovno usmjere pažnju, odluče kako djelovati, a zatim i fizički reagiraju. Isti obrazac pojavljuje se svugdje gdje ljudi nadziru automatizaciju, od pilotskih kabina do AI chatbotova. Tehnologija gradi povjerenje radeći besprijekorno većinu vremena, a zatim se oslanja na čovjeka da spasi situaciju kada se dogodi nešto neočekivano. A kada to spašavanje ne uspije, čovjek je taj kojeg se drži odgovornim, kao što potvrđuju i brojni izvještaji i sudske presude.

Najteži dio cijele situacije jest da je ova srednja faza razvoja tehnologije možda neizbježna. Tehnologija se mora koristiti u stvarnom svijetu kako bi se poboljšala, a to znači živjeti sa sustavima koji mogu obaviti većinu posla, ali i dalje trebaju čovjeka spremnog da trenutno preuzme kontrolu.

Problem je u tome što bolji ti sustavi postaju, to je lakše zaboraviti da ste vi i dalje glavni. Sve do trenutka kada vas na to podsjeti izvještaj o prometnoj nesreći.