Što je točno hadoop? cinička teorija

Sve što izgleda previše dobro da bi bilo istinito obično jest. Takav bi mogao biti slučaj s Apache Hadoop, izuzetan projekt otvorenog koda o kojem svi stalno pričaju. Dakle, što je tačno? Dobro pitanje!

Stručnjaci dvojbeno

Analitičar Mark Madsen iz Treće prirode prikovao ga je za zid na trenutak natrag u ružnom komadu na InsideAnalysis.com: "Što je Hadoop. Što Hadoop nije." Kako netko tko zna dizajnirati rješenja u stvarnom svijetu, a zatim ih zaista implementirati, njegovi se savjeti ne trebaju zanemariti.

Ali ovdje teče dublja struja i bliži se vrijeme za otkopavanje korijena ove fascinantne flore, kako bismo vidjeli ne možemo li dobiti neku perspektivu o onome što se događa na više makro razini. Uostalom, dobavljači stalno govore da je to velika stvar, a toliko je sudionika.

Zaposlite Povjerenstva! (?)

Tri tvrtke trenutno su u vlasništvu većine Hadoopovih novih tržišta: Cloudera, Hortonworks i MapR. Na nedavnom, prilično sadržajnom brifingu putem Boulder BI Brain Trust-a (#BBBT), Jim Walker iz Hortonworks-a dao je ovaj zanimljiv komentar:

"Ne možete unaprijediti tehnologiju ako ne zaposlite počinitelje!"

Dođi opet?

Ne zvuči li to kao što bi senator Palpatine mogao reći u filmu "Ratovi zvijezda"?

Senator Palpatine: "Zaposlite počinitelje!"

Minion u blizini: "Ali, ali, gospodine! Mislite na djecu!"

Za laika koji samo pokušavaju dovršiti stvari, počinitelji su ljudi koji su posvećeni određenom projektu otvorenog koda. Zaklada Apache ima stroge protokole po kojima se njihovi projekti kreću naprijed, što je često dobra stvar.

U skladu s tim, Walker-ov komentar opravdava ispitivanje. Jedno istaknuto pitanje (uz rizik da dočarate dane na igralištu) glasi: Je li to obećanje ili prijetnja? Kaže li da bi Hortonworks mogao samo uzeti loptu i otići kući?

Suradnja ili konkurencija?

Zanimljiv, paradoksalni, čini se da je navodno većina članova Hadoopove ekipe (nekih 30-tak ukupno) iz Hortonworks-a i Cloudere-a koji su konkurenti. Ovo je vrlo znatiželjan slučaj konkurencije.

Pa, o čemu se radi? Evo educiranog pretpostavka: Hadoop uvelike duguje slavi pametnom planu koji je osmislila grupa rizičnih kapitalista i inženjera Silicijske doline koji u biti pokušavaju zaštititi svoje oklade protiv Oraclea.

Općenita ideja je zasaditi tržište temeljem koda koji se može poboljšati i poduprijeti krpa flota programera koji će idealno s vremenom stvoriti sve vrste alata za upravljanje podacima, uključujući proizvode baze podataka. VC-ovi mogu uložiti i unovčiti neki dan. No, u igri su neki ozbiljni izazovi.

Kao i sva monolitna poduzeća, Oracle se često nađe u križanju mnogih manjih igrača. A tko ne bi želio samo djelić svog umornog prihoda? Samo u posljednjem tromjesečju Oracle je rezervirao ~ 9 milijardi USD. Ali izazov Velikog Crvenog i njihovo prebijanje dvije su vrlo različite stvarnosti.

Besplatni webcast: Što je Hadoop i kamo ide? Pridružite se Ericu Kavanaghu, Robinu Blooru i Techopedia kako biste razgovarali o tome kako se Hadoop uvelike razlikuje od Linuxa ili SOA-e i zašto njegova budućnost ostaje u velikoj mjeri nepisana.

Problemi s pakiranjem

Ono što je Hadoop, samo po sebi, jest da to nije pakirano rješenje ni na koji način. Umjesto toga, to je složena kolekcija modula koji omogućuju programerima visoke kvalitete da iskoriste ogromne algoritme paralelne obrade da rade vrlo specifične stvari. No, nema fancy korisničkog sučelja, a priručnici su brutalni.

Dodajte tom izazovu ovu kritičnu prepreku: potrebni su vam i poslovni ljudi koji imaju barem opće razumijevanje o tome što mogu raditi. Ti ljudi moraju biti u stanju dočarati ideje o tome kako se može koristiti, a zatim komunicirati programerima, koji će nakon toga morati proizvoditi, testirati, implementirati i podržati aplikacije.

Orkestriranje ovog plesa čini način na koji Cloudera i Hortonworks zarađuju velik dio svog novca. Problem je u tome što je većina rješenja stvorenih ovom metodom jedinstvena i obično se usredotočuju na operativne sustave, za razliku od analitičkih. Prijevod? Takve stvari zapravo ne mogu biti u paketu s softverskim proizvodima.

Profitabilnost pakiranja!

Što nas vraća u Oracle. Larry Ellison i dečki zarađuju svoje sijeno prodajejući bazu podataka, hardver, usluge i (pričekajte …) upakirani softver. Cloudera je to očito shvatio, otuda i njihova usredotočenost na Impala. Ali Hortonworks?

Čini se da njihov model više podsjeća na RedHat, ljude koji su preko Linux operativnog sustava izgradili posao vrijedan milijardu dolara. Nary, glavni dobavljač u poslovnoj industriji softvera, ne piše za Linux, OS u kojem je IBM predvodio Microsoft. Ali Hadoop nije Linux, ne tako dugo.

Dr. Geoffrey Malafsky, bivši nanotehnolog američke mornarice, a sada znanstvenik podataka Phasic Systems i Instituta PSIKORS, destilira Hadoop vrijednost ovako:

"Hadoop je sjajan za pretraživanje, vrlo velika analiza trendova za stohastičke rezultate i vjerovatno neka vrlo jeftina pametna paralelna obrada stvari kao što je radila moja bivša supruga: kvantno mehaničko valovanje funkcije čvrstog stanja i kemijskih reakcija. Ova stvarna znanost se oslanja na superračunalima i pomalo su prešli u paralelnu obradu, ali to je ozbiljna promjena programskog pristupa. Mladi, pametni, energični diplomirani studenti bit će ti koji će to ostvariti. Sumnjam da stipendije za istraživanje počinju ići u ovom smjeru za neke moćne računske račune aplikacije „.

Primijetit ćete da ne zvuči poput skladištenja podataka, poslovne inteligencije, integracije podataka ili čak velikih podataka. Zvuči poput superračunanja. Iz nekog zanimljivog razloga, svjetovi računarstva visokih performansi i poslovne inteligencije nikada se nisu sudarali ili spojili na bilo koji smisleni način.

Pred nama su dugačke ceste za Hortonworks i Cloudera

I evo zaista loših vijesti za Hortonworks i možda za Clouderu. Veliki dobavljači poput IBM-a i SAP-a, Oracle-a i Teradata - blago rečeno i citirajući Dire Straits: "Oni dečki nisu glupi!" Prije tri i više godina svi su razvili ozbiljne Hadoop strategije.

Središnji su u tim planovima stvari koje poslovni korisnici očekuju: grafička korisnička sučelja, funkcionalnost povlačenja i ispuštanja, alati za modeliranje i otkrivanje, tijek rada, upravljanje, sigurnost; ukratko, svi komadi i dijelovi koji čine korporativni softver upotrebljivim. I naravno, ovi veliki dobavljači imaju masivne baze za ugradnju.

Da budemo sigurni, Cloudera i Hortonworks obojica su dobro poslovali, ali samo je mali dio onoga što ti glavni igrači dobivaju svake godine. Napravite matematiku o tome koliko izazivači naplaćuju svojim kupcima, u usporedbi s njihovom pretpostavkom, a slika nije tako ružičasta. Odobreno, to je u skladu s tečajem s problemima softvera u ranoj fazi, ali ipak …

Budućnost Hadoopa?

Dakle, možemo li vidjeti klasični val akvizicija, kakav smo imali kod aunija, kad je IBM kupio Cognos, Oracle dobio Hyperion, a SAP našao BusinessObjects? Možda, ali nova djeca na ovom bloku nemaju Hadoop; oni to samo posuđuju. I kao što bi mogao biti obećavajući YARN i Tez, čini se da ciklusi puštanja zaostaju za onim što teže proizvode.

Baš neki dan jedan je insajer iz industrije prokomentirao da politika u Apacheu može biti ozbiljno grlo. Ovo nije strašno iznenađujuće, pogotovo ako uzmete u obzir dolare - inovatori su velika motivacija da ih obogate. I je li netko primijetio kako je Chrome u posljednje vrijeme nadmašio Firefox u svojoj funkcionalnosti i operativnosti? Zatvoreni izvor, bilo tko?

Jedno je sigurno: ova će se igra odigravati na zanimljive načine. Da, sisavci (čitaj: mali dobavljači) često mogu nadvladati dinosauruse; ali još uvijek postoje aligatori i krokodili diljem svijeta; i ako naiđete na jednoga nenadano, možda samo otkrijete kako ti zubi mogu biti oštri. Nekoliko kroševa zajedno moglo bi donijeti slona ili dva.