Evolucija velikih podataka

Početkom 2000-ih bilo je jasno da postoji velika potreba za inovacijama u pogledu podataka. Ograničenja o tome što tvrtke mogu učiniti sa svojim podacima frustrirali su rukovoditelje i nevjerojatno smanjili učinkovitost. Mnoge su tvrtke pohranile ogromne količine informacija, ali jednostavno nisu bile u mogućnosti upravljati njima, analizirati ih ili manipulirati njima u svoju korist. Upravo ovaj rastući pritisak ustupio je granicu velikim podacima.

Godine 2003., Google je stvorio MapReduce, aplikaciju za podatke koja je tvrtki omogućila da u kratkom vremenu obrađuje i analizira informacije o svojim upitima pretraživanja na tisućama poslužitelja. Program skalabilan i prilagodljiv omogućio je Googleu da izvrši tisuće podatkovnih zadataka u samo nekoliko minuta, što poboljšava produktivnost i redefinira uočene granice o tome što se može učiniti s podacima. Gotovo 10 godina kasnije, veliki podaci postali su središte informacijske tehnologije. Njegov dalekosežni opseg i sposobnost temeljno je promijenio upravljanje podacima na radnom mjestu. Ali što je potaknulo ovu evoluciju i kako će točno veliki podaci utjecati na budućnost? Mislili smo da to nikad nećeš pitati. (Da biste pročitali velike podatke o pozadini, pogledajte krupne podatke: kako su uhvaćeni, drobljeni i koriste se za donošenje poslovnih odluka.)

Traženje odgovora na velika pitanja o podacima

Ljepota MapReduce-a bila je način na koji je pojednostavljivao vrlo složene zadatke. Komunikacijom se može upravljati na svim strojevima, mogu se otkloniti kvarovi na sustavu, a ulazni podaci mogu se organizirati automatski, proces koji mogu nadgledati osobe koje više ne trebaju visoko tehničke vještine. Čineći obradu podataka ne samo mogućom nego i pristupačnom, Google je potaknuo kulturni pomak u upravljanju podacima. Nedugo zatim tisuće velikih tvrtki koristile su MapReduce za svoje podatke.

No postojao je jedan problem: MapReduce je bio jednostavno programski model. Iako je olakšao osnove obrade podataka, on sam nije bio odgovor na postojeće nedostatke podataka; bio je to samo prijeko potreban korak u pravom smjeru. Korporacije su i dalje trebale sustav koji bi mogao odgovoriti na njihove jedinstvene podatkovne potrebe i nadići gole osnove upravljanja podacima. Ukratko, tehnologija je potrebna za razvoj.

Uđite u Hadoop

Uđite u Hadoop, open-source okvirni softver koji je stvorilo nekoliko programera, uključujući Doug Cutting. Tamo gdje je MapReduce bio bazičan i širok, Hadoop je pružio osvježavajuću specifičnost. Tvrtke su mogle osmisliti vlastite programe prilagođene potrebama korisnika koji odgovaraju potrebama podataka na način na koji nijedan drugi softver nije mogao, a općenito je bio kompatibilan s ostalim datotečnim sustavima. Tvrtka s talentiranim programerima mogla bi osmisliti datotečni sustav koji bi postigao jedinstvene zadatke s podacima koji su se prije činili nedostupnima. Možda je najbolji dio toga što su programeri međusobno dijelili aplikacije i programe koji bi se mogli objasniti i usavršiti.

Demokratizacijom tako važnog resursa, Hadoop je postao trend. Napokon, da su mnoge velike korporacije, posebno tvrtke za tražilice, osjećale da im trebaju desetljećima! Nedugo zatim divovi tražilice poput Yahoo-a najavili su implementaciju velikih Hadoop aplikacija koje generiraju podatke koji se upotrebljavaju u upitima web pretraživanja. U obliku vala, nekoliko uglednih tvrtki najavilo je prihvaćanje ove tehnologije za svoje ogromne baze podataka, uključujući Facebook, Amazon, Fox, Apple, eBay i FourSquare. Hadoop je postavio novi standard za obradu podataka.

Veliki podaci, Veliki problemi

Iako su napredak u tehnologiji podataka preinačio način na koji tvrtke postupaju s podacima, mnogi rukovoditelji ih još uvijek smatraju neoblikovanim za cijeli niz potrebnih zadataka. U srpnju 2012., Oracle je objavio istraživanje s više od 300 rukovoditelja na razini C, koji su otkrili da iako se 36 posto tvrtki oslanja na IT za upravljanje i analizu podataka, 29 posto njih smatra da njihovim sustavima nedostaje dovoljno sposobnosti da zadovolje svoje tvrtke ' potrebe. Vjerojatno najupečatljiviji nalaz studije bio je da 93 posto ispitanika vjeruje da njihova firma gubi do 14 posto prihoda tako što ne može koristiti prikupljene podatke. To je prihod koji bi se mogao potrošiti na stvaranje boljih proizvoda i zapošljavanje više radnika. U vremenu u kojem se kompanije bore za profitabilnost, potrebno je poboljšati podatke kako bi tvrtke mogle postati profitabilnije. Istraživanje pokazuje da, usprkos onima koji vjeruju da je utjecaj velikih podataka na trgovinu već prošao, mogućnosti za rast i napredak koje posjeduje tek su u potpunosti ostvarene.

Što ima budućnost za velike podatke

Dobra vijest je da su Hadoop i MapReduce nadahnuli mnoge druge alate za upravljanje podacima. Mnoge nove tvrtke stvaraju opsežne platforme podataka koje rade na Hadoopu, ali nude široku lepezu analitičkih funkcija i lakšu integraciju sustava. Čini se da su korporacije uložile mnogo resursa u rješavanje problema podataka, a to je dokaz financijskog uspjeha podataka. U 2010. godini podatkovne tvrtke ostvarile su oko 3, 2 milijarde dolara maloprodajne prodaje. Mnogi stručnjaci procjenjuju da će taj broj porasti na nevjerojatnih 17 milijardi dolara samo u 2015. godini. To je činjenica koja nije izgubljena na nekim od najvećih tehnoloških tvrtki. I IBM i Oracle potrošili su milijarde u proteklih nekoliko mjeseci kako bi nabavili tvrtke. Mnoge druge tvrtke napravit će slične poteze u narednim godinama, jer nastavljaju gledati za konkurentnim tržišnim udjelom.

Granica velikih podataka

Količina prikupljenih podataka i dalje raste eksponencijalno, što je neke uznemirilo, a druge uzbudilo. Preokret je u tome što će ljudska bića i dalje postati produktivnija i prilagodljivija dok kroz analizu podataka učimo nove stvari o našem svijetu. Loša strana je to što postoji tako velika količina podataka da se mnogi boje da smo nesposobni pravilno sve pohraniti, a još manje pravilno upravljati njime, tako da je mogu koristiti svi koji trebaju.

U skladu s tim, napredak u velikim podacima može pružiti neviđene mogućnosti za rješavanje hitnih pitanja koja se tiču ​​podataka. Na primjer, stručnjaci sugeriraju da će se, ako se veliki podaci pravilno primijene, s naglaskom na učinkovitost i kvalitetu, potencijalno uštedjeti oko 300 milijardi dolara godišnje samo na rashodima za zdravstvo; trgovci na malo mogli bi poboljšati svoje operativne marže, javni sektor mogao bi pružiti bolje usluge, a velika poduzeća uštedjela bi milijarde. I tako, čini se da rješenje naših podataka nije potrebno samo u upravnim dvoranama, već i svugdje. Što govori o dobrim stvarima o budućnosti velikih podataka - a možda i našoj.