Možete li vjerovati AI? Treba li bez pitanja prihvatiti njezine nalaze kao objektivno valjane? Problem je što čak i samo ispitivanje AI ne bi dalo jasne odgovore.
AI sustavi općenito djeluju poput crne kutije: Podaci se unose, a podaci se izlučuju, no procesi koji transformiraju te podatke su misterija. To stvara dvostruki problem. Jedan je da je nejasno koji su performansi algoritama najpouzdaniji. Drugi je da prividno objektivni rezultati mogu biti iskrivljeni vrijednostima i pristranosti ljudi koji programiraju sustave. Zbog toga postoji potreba za transparentnošću za virtualne misaone procese koje takvi sustavi koriste ili „objašnjivi AI“.
Etički imperativ postao je pravni za svakoga tko je podložan GDPR-u, što utječe ne samo na tvrtke sa sjedištem u EU-u, već i na one koji imaju posla s ljudima ili organizacijama u njemu. Sadrži niz odredaba o zaštiti podataka koje se na građane EU-a proširuju „pravo da se ne podliježe samo automatiziranom odlučivanju, osim u određenim situacijama“ i „pravo na pružanje značajnih informacija o logici u odluci „.
