P:
Zašto je „usko grlo informacija“ važna teorija dubokog učenja?
A:Ideja o „uskom grlu informacija“ u umjetnim neuronskim mrežama (ANN) djeluje na posebnom principu vezanom za širenje različitih vrsta signala. To se smatra praktičnim alatom za ispitivanje kompromisa zbog kojih se ti sustavi umjetne inteligencije samo-optimiziraju. Članak sa žičanom vezom koji opisuje koncept uskog grla informacija koji su predstavili Tishby et. dr. govori o "oslobađanju od bučnih ulaznih podataka stranih detalja kao da se provlačeći podatke kroz usko grlo" i "zadržavajući samo one značajke najrelevantnije za opće pojmove."
Kao relativno novi koncept, ideja o uskom grlu informacija može pomoći poboljšati i promijeniti način na koji koristimo ANN-ove i povezane sustave za modeliranje kognitivnih funkcija. Jedan način na koji nam ova teorija može pomoći jest pomaganje u boljem razumijevanju paradigmi koje podržavaju funkcije neuronske mreže. Na primjer, ako princip ilustrira kako sustav zadržava samo određeni skup značajki, počinjemo sagledavanje kako ta „diskriminacija podataka“ čini mrežu „majmunom“ ljudskim mozgom, a inženjeri to mogu dodati u modele neuronske mreže. Ideja je da će, s vremenom, tehnologija neuronske mreže postati više „univerzalni“ koncept, a ne samo provincija nekolicine povlaštenih. Trenutačno su kompanije u lovu na oskudni AI talent; teorije poput teorije uskog grla informacija mogu pomoći širenju znanja o neuronskim mrežama na laike i na "srednje korisnike" - one koji možda nisu "stručnjaci", ali mogu pomoći u nastanku i širenju tehnologija neuronske mreže.
Druga važna vrijednost uskog grla informacija je da inženjeri mogu započeti s osposobljavanjem sustava za rad na precizniji način. Imajući neke smjernice najviše razine za arhitekturu sustava može usmjeriti razvoj ovih vrsta tehnologija, pa je definirana ideja o principima dubokog učenja stoga vrijedna u IT svijetu.
Općenito, avangard koji radi na AI nastavit će promatrati konkretno kako djeluju neuronske mreže, uključujući ideju o „relevantnim informacijama“ i kako sustavi diskriminiraju obavljanje funkcija. Jedan primjer je obrada slike ili govora gdje sustavi moraju naučiti identificirati mnoge varijacije kao "objekte". Općenito, usko grlo informacija pokazuje poseban prikaz kako će neuronska mreža raditi s tim objektima, a posebno kako ti modeli podataka informacije o procesu.
