Koje su okolnosti dovele do porasta ekosustava velikih podataka?

P:

Koje su okolnosti dovele do porasta ekosustava velikih podataka?

Mnogo je čimbenika koji su doprinijeli nastanku današnjeg ekosustava velikih podataka, ali postoji opći konsenzus da su do velikih podataka došli zbog niza dizajna hardvera i softvera koji su jednostavno omogućili postojanje velikih podataka.

Uobičajena definicija velikih podataka je sljedeća: Skupovi podataka koji su dovoljno veliki i složeni da ne mogu lako ručno upravljanje ili ručno upravljanje. Veliki skupovi podataka često se identificiraju kao skupovi podataka koji se ne mogu uklopiti u jednostavnu mrežu baza podataka jer njihova analiza zahtijeva previše rada na poslužiteljima koji upravljaju podacima.

Imajući to u vidu, glavni dio onoga što je stvorilo velike podatke je ideja koju poznajemo kao Mooreov zakon ili udvostručavanje tranzistora u krugu svake dvije godine, stvarajući sve manje hardverskih i podataka za pohranu podataka (kao i moćnije mikroprocesore), Zajedno s Mooreovim zakonom, a vjerojatno i zbog njega, računalna sposobnost pristupačnih softverskih sustava neprestano se povećavala do te mjere da su čak i osobna računala mogla obraditi mnogo veće količine podataka, a poslovni i avangardni sustavi počeli su moći upravljati veličinama podataka nezamislivo samo nekoliko godina prije. Osobni sustavi prešli su iz kilobajta u megabajte, a potom u gigabajte, u procesu transparentnom za potrošače. Vanguardovi sustavi prešli su iz gigabajta u terabajte i petabajte, i na redoslijede veličine poput zetabajta, na način koji je prosječnom građaninu bio mnogo manje transparentan.

Sljedeći napredni značaj velikih podataka bile su promjene u načinima na koji su obrađivači obrađivali skupove podataka. Umjesto linearne obrade pomoću konvencionalnog dizajna relacijskih baza podataka, rukovatelji su počeli koristiti alate poput Apache Hadoop i srodne dijelove upravljanja hardverom kako bi uklonili uska grla u procesima podataka.

Rezultat je svijet velikih podataka u kojem živimo, gdje se ogromni setovi podataka pohranjuju i održavaju u podatkovnim centrima, a sve više im se pristupa širokim spektrom tehnologija za širok spektar upotrebe. Od trgovine do ekologije, od javnog planiranja do medicine, veliki podaci postaju sve dostupniji. U međuvremenu, vladine agencije i druge veće organizacije još uvijek pomiču granice velikih veličina podataka i implementiraju još naprednija rješenja.