Pripadnici Techopedia, 24. veljače 2016
Odvojka: Domaćinica Rebecca Jozwiak razgovara o analitičkoj struji s vrhunskim stručnjacima u industriji.
Trenutno niste prijavljeni. Prijavite se ili prijavite da biste pogledali videozapis.
Rebecca Jozwiak: Dame i gospodo, zdravo i dobrodošli u Hot Technologies 2016! Današnji je naslov: „Korišćenje krijesnica: dobivanje poslovne vrijednosti od strujanja analitike.“ Ovo je Rebecca Jozwiak. Ja sam drugi zapovjednik domaćina internetske emisije kad god naš dragi Eric Kavanagh ne može biti ovdje, pa je lijepo vidjeti toliko vas danas vani.
Ova se epizoda malo razlikuje od naše druge. Nekako smo razgovarali o tome što je vruće i naravno ove je godine vruće. Posljednjih nekoliko godina bilo je vruće. Uvijek izlaze nove stvari. Danas govorimo o analitičkoj struji. Stream analitika je nekako nova. Naravno streaming, središnji podaci, RFID podaci, oni nisu nužno novi. Ali u kontekstu arhitekture podataka, već smo desetljećima toliko fokusirani na podatke u mirovanju. Baze podataka, datotečni sustavi, skladišta podataka - sve u većini slučajeva skupne obrade. Ali sada s pomakom u stvaranju vrijednosti od strujanja podataka, podatkovnih emocija, neki to nazivaju živim tokovima, oni stvarno trebaju strukturu temeljenu na struji, a ne podatke u mirovanju arhitekture na koje smo navikli i za koje treba biti sposobna rukovanje brzim ingestijom, u stvarnom vremenu ili blizu obrade u stvarnom vremenu. Mora se moći brinuti ne samo za Internet stvari, već i za Internet svega.
Naravno, u idealnom slučaju bilo bi lijepo da dvije arhitekture žive jedna pored druge, jedna ruka pere drugu, da tako kažem. Iako su podaci o danima, podaci o tjednima, podaci o godinama još uvijek važni, povijesna analitika, analiza trendova, to su živi podaci koji pokreću inteligenciju uživo ovih dana i zato je streaming analitike postao toliko važan.
Danas više govorim o tome. Imamo našeg znanstvenika, Dez Blanchfield, koji dolazi iz Australije. Za njega je rano jutro. Imamo našeg glavnog analitičara, dr. Robina Bloor-a. Pridružio nam se Anand Venugopal, voditelj proizvoda za StreamAnalytix u Impetus Technologies. Oni su doista fokusirani na analitički aspekt struje u ovom prostoru.
S tim, idem naprijed i proslijedim ga Dezu.
Dez Blanchfield: Hvala. Moram zgrabiti kontrolu nad zaslonom ovdje i skočiti naprijed.
Rebecca Jozwiak: Evo.
Dez Blanchfield: Dok mi hvatamo slajdove gore, dopustite mi da samo obradim temeljnu temu.
Podržati ću je na visokoj razini i držat ću je otprilike 10 minuta. Ovo je vrlo velika tema. Sudjelovao sam u događaju u kojem smo proveli dva do tri dana zaronivši se u detalje što je obrada tokova i trenutni okviri koje razvijamo i što bi trebalo značiti raditi analitiku u tim velikim količinama.
Upravo ćemo pojasniti što mislimo strujiranjem analitike, a zatim ćemo istražiti može li se dobiti poslovna vrijednost jer to tvrtke stvarno traže. Traže da im ljudi objasne vrlo brzo i sažeto, odakle mogu dobiti vrijednost primjenom nekog oblika analitike na naše tokovne podatke?
Što je strujna analitika?
Streaming analitika pruža organizacijama način da izvuku vrijednost iz podataka velike i velike brzine koje dođu kroz posao u različitim oblicima u pokretu. Bitna razlika ovdje je u tome što smo imali dugu povijest razvoja analitike i objektiva i pogleda na podatke koje smo desetljećima obrađivali u mirovanju otkad je izumljen mainframe. Ogroman pomak paradigme koji smo vidjeli u posljednje tri do pet godina na onome što nazivamo "internetska vaga" upada u tokove podataka koji nam dolaze u stvarnom vremenu ili skoro u stvarnom vremenu, a ne samo obrađuje i traži korelaciju događaja ili pokretače događaja, ali vršeći zaista detaljnu, detaljnu analizu na tim tokovima. Značajan je pomak u onome što smo radili prije, bilo prikupljanje podataka, stavljanje u nekakvo spremište, sada već tradicionalno velike baze podataka, veliki okviri velikih podataka kao što je Hadoop platforma i obavljanje batch načina obrade na tome i dobivanje neka vrsta uvida.
To smo vrlo brzo radili i isprobavali puno teškog željeza na tim stvarima, ali još uvijek stvarno bilježimo podatke, pohranjujemo ih, a zatim gledamo i dobivamo nekakvu spoznaju ili analitiku o tome. Prelazak na obavljanje te analitike dok podaci prenose bio je vrlo novo i uzbudljivo područje rasta za vrste stvari koje se događaju oko velikih podataka. Potreban je potpuno drugačiji pristup samo snimanju, pohranjivanju i obradi i izvođenju analitičkih podataka.
Jedan od glavnih pokretača promjene i fokusiranja na izvršavanje analitike u struji je taj što možete dobiti značajnu poslovnu vrijednost dobivanjem tih uvida brže i spremnije kako podaci dolaze do vas, jer se informacije daju na raspolaganje tvrtki. Ideja o izradi obrade na kraju dana više nije relevantna u određenim industrijama. Želimo biti u mogućnosti raditi analitiku u letu. Na kraju dana već znamo što se dogodilo kao što se dogodilo, a ne da dođemo do kraja dana i radimo 24-satni skupni posao i dobijemo te spoznaje.
Analitika struje odnosi se upravo na tok u tom toku, dok su tokovi podataka obično višestruki protoci vrlo velikog volumena podataka i podataka koji nam dolaze u pokretu vrlo, vrlo brzo i dobivaju uvide ili analitiku u tim strujama, jer oni dolaze k nama do omogućavanja da to izađe u mirovanju i obavljanja analitike na njima.
Kao što sam napomenuo, imali smo desetljeća i desetljeća da radimo ono što nazivam skupnom analitikom. Stavio sam ovdje stvarno super sliku. Ovo je slika gospodina koji stoji ispred iskrivljenog računala koje je prije cijelog života stvorila RAND Corporation, a ovo je ono kako su gledali na računalu u kući. Zanimljivo je da su čak i tada imali ovaj koncept svih tih malih biranja i ti su birali predstavljali informacije koje dolaze iz kuće i obrađuju se u stvarnom vremenu i govore vam što se događa. Jednostavan primjer je skup barometrijskog tlaka i temperature koji možemo vidjeti gdje vidimo u stvarnom vremenu. Ali pretpostavljam da su još tada, kad je RAND Corporation sastavila taj mali model, zapravo već razmišljali o obradi podataka i izvršavanju analitičkih podataka dok su u pitanju u stream formatu. Nisam baš siguran zašto su stavili upravljač na računalo, ali to je prilično cool.
Od izuma pisača, imali smo pogled na snimanje podataka i provođenje grupne analize na njima. Kao što već rekoh s velikim pomakom i to smo vidjeli po sviračima igrača na web skali koje svi znamo, sve su to kućni brandovi poput Twittera, Facebooka i LinkedIna, interaktivnog ponašanja koje imamo s tim društvenim platforme ne zahtijevaju samo snimanje, pohranjivanje i obradu u batch načinu rada, već zapravo snimanje i pokretanje analitičkih podataka u pokretu iz protoka podataka koji prolaze. Kad nešto kliknem, ne samo da ih moraju kasnije snimiti i pohraniti, a moraju ga i odmah vratiti na moj tok i podijeliti s drugim ljudima koji me prate. To je model serijske obrade.
Zašto bismo se spustili ovom rutom? Zašto bi organizacije uložile vrijeme, trud i novac čak i razmatrajući izazov nastojanja na putu analitike strujanja? Organizacije imaju ogromnu želju za postizanjem poboljšanja performansi u odnosu na konkurente u industrijama u kojima se nalaze i taj se učinak može brzo implementirati jednostavnom analitikom strujanja i to može započeti jednostavnim praćenjem podataka u stvarnom vremenu koje smo već upoznati sa. Imam malu snimku zaslona na usluzi Google Analytics. To je vjerojatno jedan od prvih slučajeva kada smo zaista dobili praktičnu analitiku prema potrošačima. Dakle, kako su ljudi posjećivali vašu web stranicu i dobivali brojeći hitova, s malenim komadom JavaScripta na dnu vaše web stranice u HTML-u ugrađenom u vašu web stranicu, ti se mali kodovi pravili Googleu u stvarnom vremenu i bili su vršeći analizu na onim tokovima podataka koji stižu sa svake stranice na vašoj web stranici, svakog predmeta na vašoj web stranici u stvarnom vremenu i vraćaju vam ih na ovoj jako slatkoj maloj web stranici na nadzornoj ploči grafikona u stvarnom vremenu, slatkim malim histogramima i linijski graf koji prikazuje X broj ljudi koji su povijesno pogodili vašu stranicu, ali evo koliko ih je trenutno.
Kao što možete vidjeti na snimku zaslona, trenutno piše 25. To je 25 ljudi koji su u trenutku snimanja zaslona bili na toj stranici. To je prva stvarna šansa koju smo igrali na alatu za analizu prema potrošačima. Mislim da ga je jako puno ljudi shvatilo. Oni su samo shvatili snagu saznanja o čemu se radi i kako mogu odgovoriti na to. Kad pomislimo na razmjere avionike, zrakoplove koji lete unaokolo, samo u SAD-u ima 18.700 domaćih letova. Pročitao sam članak prije nekog vremena - bilo je to prije otprilike šest ili sedam godina - da je količina podataka koje su proizveli ti zrakoplovi iznosila oko 200 do 300 megabajta po starom inženjerskom modelu. U današnjem dizajnu zrakoplova ti zrakoplovi proizvode oko 500 gigabajta podataka ili oko pola terabajta podataka po letu.
Kad matematiku vrlo brzo odvojite od vrha glave, samo 18.700 domaćih letova svaka 24 sata u zračnom prostoru SAD-a, ako sve moderne letjelice proizvode oko pola terabajta, to je 43 do 44 petabajta podataka koji prolaze kroz događa se dok su avioni u zraku. Događa se kad slete i rade deponije podataka. Tada ulaze u dućan i odlaze inženjerski timovi s punim podacima kako bi vidjeli što se događa s ležajevima, kotačima i motorima. Neki od tih podataka moraju se obraditi u stvarnom vremenu kako bi se mogli donositi odluke o stvarnim problemima dok je avion bio u zraku ili dok je na zemlji. To jednostavno ne možete učiniti u batch načinu rada. U drugim industrijama koje vidimo tamo oko financija, zdravstva, proizvodnje i inženjerstva, oni također gledaju kako mogu dobiti ovaj novi uvid u ono što se događa u stvarnom vremenu, za razliku od onoga što se samo pohranjuje u baze podataka na termin.
Tu je i pojam posla s podacima kao što nazivam pokvarljivim dobrima ili brzo pokvarljivim robom - da mnogo podataka s vremenom gubi na vrijednosti. To se sve češće događa s aplikacijama za mobilnost i alatima za društvene mreže jer ono što ljudi žele reći i što je sada u trendu je ono na što želite odgovoriti. Kad razmišljate o ostalim dijelovima našeg života s logistikom i isporukom hrane oko sebe, razumijemo koncept pokvarljive robe u tom smislu. Ali razmislite o podacima koji prolaze kroz vašu organizaciju i vrijednosti koju ona ima. Ako netko trenutno posluje s vama i možete komunicirati s njima u stvarnom vremenu, ne želite čekati sat vremena da bi se podaci mogli snimiti i staviti u sustav poput Hadoopa, a zatim pritisnite ovaj gumb, neće se moći odmah nositi s tim, a vi to želite odmah na zahtjev klijenta. Sada će se pojaviti izraz koji će se pojaviti u kojem se puno govori o tome kako ovaj tok podataka u stvarnom vremenu može dati personalizaciju i prilagođavanje u sustavu koji koristite prema vašem osobnom iskustvu. Kada, primjerice, pogodite alat poput alata Google Search, ako ja upitam, a vi učinite isti upit, nepromjenljivo, ne dobivamo potpuno iste podatke. U osnovi dobivamo ono što nazivam slavnim iskustvom. Liječim se jednokratno. Dobijam svoju osobnu verziju onoga što se događa u tim sustavima na temelju profila i podataka koje su prikupili o meni i uspio sam u stvarnom vremenu raditi tok analitike.
Ova ideja da su podaci pokvarljiva roba za sada je stvarna stvar, a vrijednost podataka koja se smanjuje s vremenom nešto je s čime se danas moramo baviti. To nije stvar jučer. Obožavam ovu sliku medvjeda kako grabi lososa kako skače iz rijeke, jer zaista slika točno ono što ja vidim analitički. Ova ogromna rijeka podataka dolazi k nama, vatreni oružje, ako hoćete, a medvjed sjedi usred potoka. Izvršit će analizu u stvarnom vremenu na onome što se događa oko nje, tako da zapravo može osmisliti sposobnost hvatanja te ribe u zraku. Nije to samo uranjanje u potok i hvatanje jednog. Ta stvar skače u zraku i mora biti na pravom mjestu u pravo vrijeme da bi ulovila tu ribu. Inače, ne dobiva doručak ili ručak.
Organizacija želi isto učiniti sa svojim podacima. Žele izvući vrijednost iz sadašnjih ogromnih količina podataka u pokretu. Žele obaviti analitiku tih podataka i podataka o velikoj brzini, tako da nije samo količina podataka koja nam dolazi, već brzina kojom to dolaze. Na primjer, u sigurnosti su svi vaši usmjerivači, sklopke, serveri, vatrozidi i svi događaji koji dolaze s tih i nekoliko desetaka tisuća ako ne i stotine tisuća uređaja, u nekim slučajevima podaci koji su brzo pokvarljivi. Kada razmišljamo o Internetu stvari i industrijskom Internetu, govorimo o milijunima, ako ne i milijardama senzora, a kako podaci dolaze putem kojih se vrši analitika, sada gledamo na obradbu složenih događaja redoslijedom veličine i brzine kakve još nikad nismo vidjeli i danas ćemo se morati suočiti s tim. Moramo izgraditi alate i sustave oko toga. To je pravi izazov za organizacije, jer s jedne strane, imamo jako velike marke koje rade DIY, ispecite ih sami, kada imaju kapacitet za to i postavite vještine i inženjering. Ali za prosječnu organizaciju to nije slučaj. Nemaju skupove vještina. Nemaju ni kapaciteta ni vremena, pa čak ni novca da ulažu u to. Svi ciljaju na ovaj koncept donošenja odluka u stvarnom vremenu.
Upotrijebite slučajeve na koje sam naišao i oni su u svakom širokom spektru svakog sektora koji možete zamisliti, ljudi sjede i obraćaju pažnju i govore: kako primjenjujemo neke analitike na naše podatke o streamu? Govorimo o internetskim uslugama na mreži. Postoje tradicionalne platforme za društvene mreže i mrežne e-poruke i maloprodaja, na primjer, aplikacije. Svi nam pokušavaju pružiti ovo slavno iskustvo u stvarnom vremenu. No, kada se upuštamo u više usluga tehnološkog skupa, telefonskih usluga, glasa i videa, vidim ljude kako šetaju radeći FaceTime na telefonima. Samo eksplodira. Smeta mi što ljudi drže telefon ispred sebe i razgovaraju s video streamom prijatelja, za razliku od toga da ga više drže za uho. Ali znaju da to mogu i prilagodili su se i svidjelo im se to iskustvo. Razvoj ovih aplikacija i platforma koje ih isporučuju trebati vršiti analitiku u stvarnom vremenu na tom prometu i na profilima prometa kako bi mogli raditi jednostavne stvari poput usmjeravanja tog videa savršeno tako da kvaliteta glasa u videozapis koji dobivate je dovoljan za dobro iskustvo. Ne možete skupnu obradu takvih podataka. To ne bi učinilo video stream u stvarnom vremenu funkcionalnom uslugom.
Izazov upravljanja je u financijskim transakcijama. Nije u redu doći do kraja dana i saznati da ste prekršili zakon premještajući privatne podatke po tom mjestu. U Australiji imamo vrlo zanimljiv izazov gdje ne premještamo podatke vezane uz privatnost u more. PID, moje privatne osobne podatke ne možete preuzeti u inozemstvo. U Australiji postoje zakoni koji sprečavaju da se to događa. Pružatelji financijskih usluga, posebno državne službe i agencije, oni moraju raditi analitiku u stvarnom vremenu sa svojim tokovima podataka i uputa kako bi bili sigurni da ono što mi pružaju ne napušta obale. Sve stvari moraju ostati lokalno. Moraju to učiniti u stvarnom vremenu. Ne mogu prekršiti zakon i zatražiti oproštenje kasnije. Otkrivanje prijevara - prilično je očito ono što slušamo o transakcijama s kreditnim karticama. No kako se vrste transakcija koje obavljamo u financijskim uslugama mijenjaju vrlo, vrlo brzo, postoje razne stvari koje PayPal prvo radi u otkrivanju prevare u stvarnom vremenu u kojem se novac ne kreće s jedne na drugu stvar, već je financijska transakcija između sustava. Platforme za licitiranje na eBayu i otkrivanje prijevara moraju se provoditi u stvarnom vremenu u streaming uredu.
Sada se kreće trend izvođenja aktivnosti ekstrakcije i transformacije opterećenja u potocima, tako da ne želimo zabilježiti ništa što dolazi do struje. Ne možemo to stvarno učiniti. Ljudi su naučili da se podaci vole vrlo brzo razbiti ako snimimo sve. Trik je sada u tome obaviti analitiku na tim tokovima i napraviti ETL na njemu i samo snimiti ono što vam je potrebno, potencijalno metapodaci, a zatim voziti prediktivnu analitiku tamo gdje mi zapravo možemo reći što će se dogoditi malo dalje niz staze o onome što upravo sam vidio u toku na temelju analitike koju smo obavili na tom pitanju.
Opskrbljivači energije i komunalije doživljavaju ovu ogromnu želju potrošača da cijene potražnju. Mogao bih odlučiti da želim kupiti zelenu struju u određeno doba dana jer sam samo doma i ne koristim puno uređaja. Ali ako imam večeru, možda bih htio da svi uređaji budu uključeni, a ne želim kupovati jeftinu struju i čekati isporuku, ali voljan sam platiti više troškova da bih je dobio. Ova potražnja, posebno u komunalnim i energetskim prostorima, već se dogodila. Na primjer, Uber je klasičan primjer stvari koje možete raditi svaki dan i sve je vođeno cijenama potražnje. Postoje neki klasični primjeri kako ljudi u Australiji uzimaju cijene prijevoza od 10 000 američkih dolara zbog velike potražnje u novogodišnjoj noći. Siguran sam da su se bavili tim problemom, ali analitika se vrši u stvarnom vremenu dok ste u automobilu govoreći vam koliko bih trebao platiti.
Internet stvari i senzorski tokovi - samo smo ogrebali površinu po ovome i zapravo smo se samo razgovarali o tome, ali vidjet ćemo zanimljiv pomak u tome kako tehnologija rješava to, jer kada ne govorite otprilike tisuće ili desetke tisuća, ali stotine tisuća i potencijalno milijarde uređaja koji dolaze na vas, gotovo nijedan tehnološki niz koji sada imamo nije dizajniran da se nosi s tim.
Nekoliko je stvarno vrućih tema koje ćemo vidjeti oko nas, poput sigurnosti i cyber rizika. Oni su za nas vrlo stvarni izazovi. Na internetu postoji stvarno uredan alat nazvan Sjever, gdje možete sjediti i gledati na web stranici razne cyber napade u stvarnom vremenu. Kad ga pogledate, mislite da je "oh to lijepa mala simpatična web stranica", ali nakon otprilike pet minuta unutra, shvatili ste količinu podataka koje sustav radi na svim različitim tokovima svih različitih uređaja širom svijeta. koje se u njih uvlače. Počinje vam zamarati um kako ih u biti izveštavaju na rubu snimke i pruža vam jednostavan mali zaslon koji vam govori što ili nešto drugo napadate u stvarnom vremenu i koje vrste napada. Ali to je stvarno uredan mali način da samo steknete ukus onoga što analitika struje potencijalno može učiniti za vas u stvarnom vremenu samo gledanjem ove stranice i dobivanjem smisla za volumen i izazov preuzimanja strujanja, obrade analitičkih upita na njih i predstavljajući to u stvarnom vremenu.
Mislim da će razgovor koji vodim do kraja sesije rješavati sve te vrste sa jednim zanimljivim pogledom, i to je moj izazov, to je sam izazov, ispecite sami, odgovara nekom od klasični jednorozi koji su si u mogućnosti priuštiti izgradnju tih vrsta stvari. Imaju milijarde dolara za izgradnju ovih inženjerskih timova i za izgradnju njihovih podatkovnih centara. No, za 99, 9% tamošnjih organizacija koje žele povećati vrijednost u svom poslu strujne analitike, trebaju dobiti izvanrednu uslugu. Moraju kupiti proizvod izvan okvira i obično trebaju konzultantsku i profesionalnu uslugu kako bi im pomogli da ga implementiraju te tu vrijednost dobiju natrag u poslu i prodaju ga kao radno rješenje.
S tim ću vam se načinom obratiti, Rebecca, jer vjerujem da ćemo to sad detaljno opisati.
Rebecca Jozwiak: Izvrsno. Puno ti hvala, Dez. To je sjajna prezentacija.
Sad ću loptu predati Robinu. Odnesi to.
Robin Bloor: Dobro. Budući da je Dez upao u gnojnu mrlju potoka, činilo mi se da nema smisla ponovo to pokrivati. Samo ću zauzeti potpuno strateški pogled. Gledajući gotovo s vrlo visoke razine prema onome što se dovraga događa i pozicionirati ga jer mislim da bi to moglo pomoći ljudima, posebno nama ljudima koji prije nisu utaboreni u tokove koji obrađuju velike dubine.
Obrada strujanja dugo je trajala. Nekada smo ga zvali CEP. Prije toga postojali su sustavi u stvarnom vremenu. Izvorni sustavi za kontrolu procesa zapravo su obrađivali tokove informacija - naravno da ništa nije išlo tako daleko kao danas. Ova grafika koju ovdje vidite na dijapozitivu; zapravo pokazuje mnogo stvari, ali to ukazuje iznad i izvan svega ostalog - na činjenicu da ovdje postoji spektar latencija koje se pojavljuju u različitim bojama. Ono što se zapravo dogodilo nakon izuma računarstva ili komercijalnog računanja koji je stigao točno oko 1960. godine jest da je sve teklo sve brže i brže. Nekada smo mogli ovisiti o načinu na koji to zapravo izlazi ako želite u valovima, jer tako to izgleda. To zapravo ovisi o tome. Jer sve je upravljalo Mooreovim zakonom i Mooreov zakon dao bi nam faktor desetostruke brzine u razdoblju od oko šest godina. Tada smo se, kad smo stigli do otprilike 2013. godine, sve pokvarilo i odjednom smo počeli ubrzavati brzinom kojom nikad nismo, što je neobično bez presedana. Dobivali smo faktor od oko deset u smislu povećanja brzine, a time i smanjenja kašnjenja otprilike svakih šest godina. U šest godina od otprilike 2010. imamo množinu od najmanje tisuću. Tri veličine više nego jedan.
To je ono što se događa i zato se čini da se industrija na ovaj ili onaj način kreće fantastičnom brzinom - jer jest. Samo prolazeći kroz značenje ove grafike, vremena odziva zapravo su u algoritmičkoj ljestvici niz vertikalnu os. Realno vrijeme je brzina računala, brža od ljudskih bića. Interaktivna vremena su narančasta. U trenutku kada komunicirate s računalom, tamo stvarno želite od desetine do otprilike jedne sekunde kašnjenja. Iznad, postoji transakcija u kojoj mi zapravo razmišljamo o tome što radite na računalu, ali ako to nestane za petnaest sekundi, postaje nepodnošljivo. Ljudi zapravo samo neće čekati računalo. Sve se radilo u šarži. Mnogo stvari koje su učinjene u paketu sada se spuštaju pravo u transakcijski prostor, pravo u interaktivni prostor ili čak u prostor u stvarnom vremenu. Dok smo prije, talas s vrlo malim količinama podataka mogli nešto učiniti, sada možemo učiniti s vrlo velikim količinama podataka, koristeći ogromno smanjeno okruženje.
U osnovi, sve ovo govori da je stvarno vrijeme transakcije i interakcije ljudi. Strašno puno onoga što se trenutno radi s strujama je informiranje ljudi o stvarima. Neke od njih idu brže od toga i dobro informišu stvari tako da je u stvarnom vremenu. Tada uzimamo dozvolu da samo padnemo poput kamena, čineći trenutnu analizu izvedivom i usput sasvim pristupačnom. Nije se samo smanjila brzina, već se i vrh srušio. Vjerojatno najveći utjecaj na sve ove među svim raznim aplikacijama, možete napraviti sve ove prediktivne analize. Reći ću ti zašto za minutu.
Ovo je samo trgovina hardvera. Imate paralelni softver. Govorimo o 2004. godini. Arhitektura skaliranja, multicore čipovi, povećanje memorije, konfigurirajući CPU. SSD diskovi sada idu mnogo brže od okretanja diska. Možete poprilično reći zbogom. SSD diskovi su također u više jezgara, pa opet sve brži i brži. Uskoro ćemo se pojaviti od HP-a. 3D XPoint imamo od Intela i Microna. Obećanje onih jest da će ionako sve ići brže i brže. Kad zapravo razmišljate o dvije nove memorijske tehnologije, od kojih će obje činiti cjelokupni osnovni mali komad, pojedinačna pločica ide brže, još nismo vidjeli kraj tome.
Streams tehnologija, koja je zaista sljedeća poruka, ostaje da ostane. Morat će postojati nova arhitektura. Mislim, Dez je to već spomenuo u nekoliko točaka u svom izlaganju. Desetljećima smo arhitekturu promatrali kao kombinaciju skupova podataka i cjevovoda podataka. Skloni smo obradi gomile i težili smo slanje podataka između nakupina. Sada se temeljno krećemo prema onome što nazivamo Lambda arhitektura podataka koja kombinira obradu protoka podataka s grupama podataka. Kad zapravo obrađujete niz događaja koji dolaze protiv povijesnih podataka kao protok podataka ili gomila podataka, to mislim na Lambda arhitekturu. Ovo je u povojima. To je samo dio slike. Ako smatrate nešto složenim poput Interneta svega što je Dez također spomenuo, zapravo ćete shvatiti da postoje različite vrste problema s podacima o lokaciji - odluke o tome što biste trebali obraditi u streamu.
Ono što ovdje stvarno kažem je da smo, kada smo obrađivali u seriju, zapravo obrađivali struje. Jednostavno to nismo mogli jedan po jedan. Samo čekamo dok se ne nađe velika hrpa stvari i onda sve obradimo odjednom. Prelazimo u situaciju u kojoj zapravo možemo obraditi stvari u streamu. Ako možemo obraditi stvari u streamu, tada će kopije podataka koje držimo biti statični podaci koje trebamo navesti da bismo obradili podatke u streamu.
To nas vodi do ove posebne stvari. To sam već spomenuo u nekom izlaganju s biološkom analogijom. Način na koji bih te volio razmisliti jest u trenutku kad smo ljudi. Imamo tri različite mreže za prediktivnu obradu u stvarnom vremenu. Nazivaju ih somatskim, autonomnim i enteričkim. Enterijer je vaš želudac. Autonomni živčani sustav pazi na borbu i letove. Zapravo se brine o brzim reakcijama na okoliš. Somatička koja pazi na pomicanje tijela. To su sustavi u stvarnom vremenu. Zanimljivost u vezi s tim - ili mislim da je nekako zanimljiva - je mnogo toga što je prediktivnije nego što biste ikada zamislili. Kao da zapravo gledate ekran oko 18 centimetara od vašeg lica. Sve što možete jasno vidjeti, sve što vaše tijelo može jasno vidjeti, zapravo je o pravokutniku veličine 8 × 10. Sve što je izvan toga zapravo je zamagljeno što se tiče vašeg tijela, ali vaš se um zapravo popunjava u praznine i čini da ne bude mutno. Uopće ne vidite zamućenje. To jasno vidite. Vaš um zapravo radi prediktivnu metodu protoka podataka da biste vidjeli tu jasnoću. To je nešto zanimljivo, ali zapravo možete pogledati način na koji djeluje živčani sustav i način na koji uspijevamo zaobići i ponašati se razumno - barem neki od nas - razumno zdravo i ne nailazimo na stvari čitavo vrijeme.
Ovdje je sve napravljeno nizom ljestvica neuronske analitike. Ono što će se dogoditi je da će organizacije imati istu vrstu stvari i da će graditi istu vrstu stvari, a to će biti obrada potoka, uključujući i unutarnje tokove organizacije - stvari koje se događaju unutar ono, stvari koje se događaju izvan njega, trenutni odgovori koje zapravo treba donijeti su, naravno, hranjenje ljudskog bića za donošenje odluka, da bi se sve to dogodilo. Tamo idemo, koliko vidim.
Jedna od stvari koja je posljedica toga je da razina aplikacije za strujanje ide dobro. Bit će puno više nego što sada vidimo. U ovom trenutku smo ubiranje nisko uvijenog voća da radimo stvari koje su očite.
Dakle, svejedno je ovdje zaključak. Streaming analitika nekada je niša, ali postaje glavna i uskoro će se usvojiti općenito.
S tim, vratit ću ga Rebecki.
Rebecca Jozwiak: Puno ti hvala, Robin. Izvrsna prezentacija kao i obično.
Anand, ti si sljedeći. Pod je tvoj.
Anand Venugopal: Fantastično. Hvala vam.
Moje ime je Anand Venugopal i voditelj sam proizvoda za StreamAnalytix. To je proizvod koji nudi tvrtka Impetus Technologies, izvan Los Gatosa u Kaliforniji.
Impetus je zapravo imao sjajnu povijest kao davatelj velikih rješenja podataka za velika poduzeća. Dakle, napravili smo brojne implementacije strujne analitike kao uslužna tvrtka i naučili smo puno lekcija. Također smo se prebacili u tvrtku koja se bavi proizvodima i tvrtka koja se bazira na rješenjima u posljednjih nekoliko godina, a analitika strujanja usmjerena je na preobrazbu Impetusa u kompaniju koja je u velikoj mjeri usmjerena na proizvod. Postoje neke kritične, vrlo, vrlo ključne imovine koje je Impetus očistio zahvaljujući izloženosti poduzeća, a StreamAnalytix je jedno od njih.
Poslujemo 20 godina u poslu i odlična je kombinacija proizvoda i usluga što nam čini ogromnu prednost. A StreamAnalytix je nastao iz svih naučenih lekcija iz naših prvih pet ili šest implementacija streaminga.
Dotaknut ću se nekoliko stvari, ali analitičari, Dez i Robin, uradili su fantastičan posao u pokrivanju ukupnog prostora, tako da ću preskočiti puno sadržaja koji se preklapaju. Vjerojatno ću brzo ići. Osim istinskih slučajeva streaminga, vidimo i velik broj samo ubrzanih šaržiranja gdje postoje doslovno vrlo, vrlo važni skupni procesi u poduzećima. Kao što vidite, cijeli ovaj ciklus osjetivanja događaja i njegove analize i djelovanja zapravo bi mogao potrajati tjednima u velikim poduzećima, a svi ga pokušavaju smanjiti na nekoliko minuta, a ponekad i sekundi i milisekundi. Dakle, sve brže od svih ovih skupa procesa kandidati su za poslovno stjecanje, a to je vrlo dobro rečeno da se vrijednost podataka dramatično smanjuje s godinama, tako da je veća vrijednost u početnom dijelu u sekundi u kojoj se upravo to dogodilo. U idealnom slučaju, ako biste mogli predvidjeti što će se dogoditi, to je najveća vrijednost. To ipak ovisi o točnosti. Sljedeća najveća vrijednost je kad se ona tamo nalazi, kad se događa, možete je analizirati i odgovoriti. Dakako, vrijednost se dramatično smanjuje nakon toga, glavnog restriktivnog BI-a u kojem se nalazimo.
Zanimljivo je. Možete očekivati dramatično znanstveni odgovor na pitanje zašto struji analitiku. S mnogim slučajevima ono što viđamo je da je to sada moguće i zato što svi znaju da je serija stara, šarža je dosadna i nije super. Dosta je bilo obrazovanja koji su svi imali sada o činjenici da je moguće strujanje i svi imaju Hadoop sada. Sad Hadoop distribucije imaju ugrađenu strujnu tehnologiju, bilo da je to Storm ili Spark streaming i naravno redovi poruka, poput Kafke, itd.
Poduzeća koja vidimo skaču u to i počinju eksperimentirati s tim slučajevima te vidimo dvije široke kategorije. Jedno ima veze sa analitikom korisnika i iskustvom korisnika, a drugo operativnom inteligencijom. Nekoliko detalja o tome doznat ću malo kasnije. Cjelokupna korisnička služba i korisničko iskustvo, kao i mi u Impetus StreamAnalytix-u to smo radili na mnogo različitih načina, zapravo je sve uistinu, istinski hvatanje višekanalnog angažmana potrošača u stvarnom vremenu i pružanje im vrlo, vrlo kontekstualno osjetljivih iskustava koji danas nisu uobičajeni. Ako pregledavate web, web stranicu Bank of America i istraživali ste neke proizvode i jednostavno nazovite pozivni centar. Da li bi rekli: "Hej Joe, znam da ste istraživali neke bankarske proizvode, želite li da vas ispunim?" Ne očekujete to danas, ali to je vrsta iskustva koja je zaista moguća s strujnim analitikama. U mnogim slučajevima to čini veliku razliku, pogotovo ako je kupac započeo s vama istražiti načine kako izaći iz svog ugovora tako što ćete pogledati klauzule o prijevremenom raskidu ili odredbe i odredbe o prijevremenom raskidu na vašoj web stranici, a zatim se javite i u mogućnosti ste izravno im se suočiti s tim, ali samo neizravno dati ponudu o nekoj vrsti prve promocije, jer sustav zna da ta osoba gleda na prijevremeni raskid, a vi dajete tu ponudu u tom trenutku, vrlo dobro biste mogli zaštititi tog kupca koji brani i zaštititi to sredstvo,
To bi bio jedan primjer, plus puno korisničkih usluga svi su vrlo dobri primjeri. Danas implementiramo smanjuje troškove u call centru kao i dramatično ugodno iskustvo korisnika. Dez je obavio sjajan posao u sažetku nekih slučajeva uporabe. Nekoliko minuta možete zuriti u ovaj grafikon. Klasificirao sam je kao vertikale, vodoravne i kombinirane oblasti, IoT, mobilne aplikacije i pozivni centar. Sve su vertikalne i horizontalne. Ovisi kako na to gledate. Dno crta, vidimo dosta horizontalnih namjena koje su prilično česte u vertikali industrije i postoje slučajevi vertikalne posebne upotrebe, uključujući financijske usluge, zdravstvo, telekom, proizvodnju itd. Ako se zaista postavljate sebi pitanje ili sami sebi kažete da, „oh, ne znam koji su slučajevi uporabe. Nisam siguran postoji li zaista poslovna vrijednost u strujanju analitike za moju tvrtku ili za naše poduzeće ", dobro razmislite, razmislite dva puta. Razgovarajte s više ljudi jer postoje slučajevi upotrebe koji su u vašoj tvrtki danas relevantni. Uvidjet ću u poslovnu vrijednost o tome kako se točno izvodi poslovna vrijednost.
Na dnu piramide ovdje imate predvidljivo održavanje, sigurnost, zaštitu od čipiranja itd. Takvi slučajevi upotrebe predstavljaju zaštitu prihoda i imovine. Da je Target zaštitio njihovo kršenje sigurnosti koje se događalo satima i tjednima, CIO bi mogao spasiti njegov posao. To bi moglo uštedjeti desetine ili stotine milijuna dolara, itd. Analitika u stvarnom vremenu stvarno pomaže u zaštiti te imovine i zaštiti gubitaka. To je izravna poslovna dodana vrijednost upravo tamo.
Sljedeća kategorija postaje profitabilnija, smanjuje troškove i ostvaruje više prihoda od tekućeg poslovanja. To je učinkovitost postojećeg poduzeća. Sve su to oni slučajevi upotrebe koje nazivamo operativnom inteligencijom u stvarnom vremenu gdje dobivate dubok uvid u to kako se mreža ponaša, kako se ponašaju vaši kupci, kako se ponaša vaš poslovni proces i u mogućnosti ste prilagoditi se a sve to u stvarnom vremenu jer dobivate povratne informacije, dobijate obavijesti. Dobijate odstupanja, odstupanja u stvarnom vremenu i možete brzo djelovati i odvajati proces koji se izmiče.
Mogli biste također uštedjeti mnogo novca na skupoj nadogradnji kapitala i stvarima koje smatrate potrebnima, a što možda neće biti potrebno ako ste optimizirali mrežnu uslugu. Čuli smo za slučaj u kojem je glavni telco odgodio nadogradnju svoje mreže u iznosu od 40 milijuna dolara jer su otkrili da imaju dovoljno kapaciteta za upravljanje svojim trenutnim prometom, što je optimiziranjem i boljim obavljanjem inteligentnog usmjeravanja svog prometa i sličnih stvari. Sve su to moguće samo uz pomoć analitike i mehanizma djelovanja u stvarnom vremenu koji djeluju na te uvide u stvarnom vremenu.
Sljedeća razina dodane vrijednosti je up-sell, cross-sell gdje postoje mogućnosti za ostvarivanje više prihoda i profita od trenutne ponude. Ovo je klasičan primjer koji mnogi od nas znaju o tome gdje su doživjeli, razmišljate o svom životu gdje ste danas zapravo spremni kupiti proizvod koji vam se ne nudi. U mnogim, mnogim slučajevima se to zapravo i događa. Imate na umu stvari koje volite kupiti, a znate da želite kupiti, da imate popis obaveza ili nešto slično, što vam je rekla supruga ili ako nemate ženu, ali ste stvarno željeli kupiti i idete li ili kupujete na web mjestu ili komunicirate u trgovini, prodavaonica jednostavno nema kontekst, nema inteligenciju za izračunavanje onoga što bi vam moglo trebati. Dakle, posao ne mogu dobiti na sigurnom. Ako bi se analitika za strujanje mogla primijeniti za stvarno precizno predviđanje i koja je stvarno moguća na onome što bi najviše odgovaralo ovom konkretnom kontekstu, ovaj kupac trenutno se nalazi na ovoj lokaciji, postoji puno toga što se može prodati i cross-sell, a to opet dolazi od strujna analitika - mogućnost donošenja odluke o sklonosti onome što će ovaj kupac vjerovatno kupiti ili odgovoriti u tom trenutku istine kad za to postoji prilika. Zato volim onu sliku koju je Dez pokazao medvjedu upravo da pojede tu ribu. To je prilično.
Također mislimo da postoji velika kategorija dramatičnih, transformacijskih promjena u poduzeću koja nudi potpuno nove proizvode i usluge jednostavno zasnovane na promatranju ponašanja kupaca, a sve se temelji na promatranju ponašanja drugog poduzeća. Ako, recimo, telco ili kablovska tvrtka stvarno promatraju obrasce korištenja kupaca u kojem segmentu tržišta on gleda, koji program u koje vrijeme itd., Zapravo završavaju stvaranjem proizvoda i usluga o kojima se gotovo moli jer na neki način. Dakle, cjelokupni koncept ponašanja na više zaslona upravo sada kada ga gotovo shvaćamo kako možemo vidjeti TV ili kablovske sadržaje na našim mobilnim aplikacijama. Neki od tih primjera potječu od novih proizvoda i usluga koji nam se nude.
Ući ću u, „Koja su arhitektonska svojstva strujne analitike?“ To je na kraju ono što pokušavamo učiniti. Ovo je Lambda arhitektura gdje spajate povijesne podatke i uvide u stvarnom vremenu i istovremeno ih vidite. To omogućuje Sigma. Svi danas imamo serijsku arhitekturu i sliku poduzeća. Gledamo u neku vrstu BI stola i upotrebnog snopa i dodana je Lambda arhitektura. Kako se sloj brzine ili potreba i Lambda sastoji u spajanju tih dvaju uvida i gledanju toga na kombinirani način, na bogat način koji kombinira oba uvida.
Postoji još jedna paradigma koja se zove arhitektura Kappa koja se predlaže u pretpostavci da je sloj brzine jedini ulazni mehanizam koji će postojati u dužem roku. Sve će proći kroz ovaj sloj brzine. Ne postoji čak ni vanjski ETL mehanizam. Sve ETL će se dogoditi. Čišćenje, čišćenje podataka, kvalitetan ETL - sve to će se dogoditi na mreži, imajte na umu da su svi podaci rođeni u stvarnom vremenu. U nekom je trenutku bilo stvarno vrijeme. Toliko smo se navikli postavljati ovo na jezera, na rijeke i oceane, a zatim to čineći statičkom analizom da smo zaboravili da su podaci nastali u nekom trenutku u stvarnom vremenu. Svi se podaci zapravo rađaju kao događaj u stvarnom vremenu koji se dogodio u točnom vremenu i većina današnjih podataka na jezeru upravo je stavljena u bazu podataka za kasniju analizu, a sada imamo prednost u Lambda i Kappa arhitekturi vidjevši ga, analizirajući ga, unaprijed ga obrađujući i reagirajući na njega dok stigne. To je ono što omogućuju ove tehnologije. Kad na to gledate kao na cjelokupnu sliku, izgleda nekako ovako gdje je Hadoop unutra, postoje MPP-ovi i skladišta podataka koja već imate.
To smo postavili jer je važno ne govoriti samo o novim tehnologijama na otoku. Moraju se integrirati. Oni moraju imati smisla u trenutnom kontekstu poduzeća i kao pružatelji rješenja koji opslužuju poduzeća, na to smo vrlo osjetljivi. Pomažemo tvrtkama da integriraju cijelu stvar. Na lijevoj strani postoje izvori podataka koji se hrane i u Hadoop i slojeve skladišta podataka, kao i u realnom vremenu sloj na vrhu. Svaki od tih entiteta su računala s zalihama kao što možete vidjeti, a sloj potrošnje podataka je s desne strane strana. Neprestani napori su da se pomakne većina usklađenosti, upravljanja, sigurnosti, upravljanja životnim ciklusom itd. Koje su danas dostupne, a sve su dosad prikupljene u ovu novu tehnologiju.
Jedna od stvari koju analitika strujanja pokušava učiniti, ako danas pogledate krajolik, puno se stvari događa u krajoliku tehnologije strujanja i sa stajališta klijenta, toliko je toga za razumjeti. Toliko je toga za pratiti. Na lijevoj strani postoje mehanizmi za prikupljanje podataka - NiFi, Logstash, Flume, Sqoop. Očito sam stavio izjavu o odricanju odgovornosti rekavši da nije iscrpna. Ulaze u redove poruka, a zatim dolaze u open-source streaming motore - Oluja, Spark Streaming, Samza, Flink, Apex, Heron. Heron još uvijek nije otvoreni izvor. Nisam siguran je li to s Twittera. Ti motori za strujanje dovode u ili podržavaju aplikacijsku analitičku komponentu postavljanja kao što su složena obrada događaja, strojno učenje, prediktivna analitika, modul upozorenja, strujanje ETL-a, filtri za statistiku obogaćivanja. To su sve ono što sada nazivamo operaterima. Skup onih operatora kada se povezuju zajedno, potencijalno bi također bio uobičajen uobičajeni zaključak, ako je potrebno, aplikacija za strujanje koja se pokreće na streaming motoru.
Kao dio tog lanca komponenti također morate pohraniti i indeksirati podatke u svoju omiljenu bazu podataka, svoj omiljeni indeks. Možda ćete morati distribuirati i predmemoriju koja vodi u sloj za vizualizaciju podataka s desne strane u gornjem dijelu, na komercijalne proizvode ili proizvode otvorenog koda, ali u konačnici vam je potreban nekakav proizvod da biste te podatke vizualizirali u stvarnom vremenu. Također, ponekad morate smisliti i druge aplikacije. Svi smo vidjeli da vrijednosti dobivene samo djelovanjem koje preuzmete na uvid, da će akcija biti okidač od analitičkog skupa u drugi snop aplikacija koji se možda promijenio, to je nešto na strani IVR-a ili pokreće pozivni centar odlazni poziv ili nešto slično. Moramo integrirati te sustave i neki mehanizam da vaš streaming klaster pokrene ostale aplikacije za slanje podataka nizvodno.
To je ukupna hrpa od lijeve udesno. Zatim imate servisne slojeve, srednji nadzor, sloj opće usluge sigurnosti, itd. Dolazite do proizvoda koji se nalaze u poslovnom prostoru koji kupci vide kao Hadoop distribucije, a sve ima strujanje kao što sam rekao i postoje komercijalne ili pojedinačne -vendor rješenja koja su očito kod naših konkurenata. U pejzažu je mnogo više koje ovdje možda nismo spomenuli.
Ono što tamo vidite uglavnom je i korporativni korisnik. Kao što vidite, složeni i brzo razvijajući se krajolik tehnologije za obradu strujanja. Moramo pojednostaviti izbor i njihovo korisničko iskustvo. Ono što mislimo da je poduzećima doista potrebno jest funkcionalna apstrakcija svega onoga u sveobuhvatnom i jednostavnom sučelju koje objedinjuje sve te tehnologije koje ga čine vrlo jednostavnim za upotrebu i ne otkrivaju sve pokretne dijelove i pitanja degradacije, i uspješnosti poduzeća, i problemi održavanja životnog ciklusa u poduzeću.
Apstrakcija funkcionalnosti je jedna. Drugi dio je struja motora apstrakcije. Motori struje i domene otvorenog koda pojavljuju se jednom u tri, četiri ili šest mjeseci. Dugo je to bila Oluja. Samza se pojavio i sada je to Spark Streaming. Flink podiže glavu, počinje privlačiti pažnju. Čak i plan putanja Spark Streaming, stvaraju način da potencijalno koriste drugačiji motor za čistu obradu događaja, jer oni također shvaćaju da je Spark dizajniran za seriju i stvaraju put u svojoj arhitektonskoj viziji i svom planu za potencijalno drugačiji pristup motor za obradu struje uz trenutni mikrobatch u Spark Streaming.
To je stvarnost s kojom se morate boriti protiv toga da će biti puno evolucije. Stvarno se morate zaštititi od tog protoka tehnologije. Jer prema zadanim postavkama morat ćete odabrati jedan i potom živjeti s njim, što nije optimalno. Ako gledate na drugi način, borite se između, "u redu, moram kupiti vlasničku platformu na kojoj nema zaključavanja, nema utjecaja otvorenog koda, može biti vrlo visok trošak i ograničen fleksibilnost naspram svih ovih skupina s otvorenim kodom gdje to morate učiniti sami. "Ponovo, kao što rekoh, puno je troškova i kašnjenja u pristupu tržištu. StreamAnalytix je jedan od primjera sjajne platforme koja objedinjuje poslovnu klasu, pouzdan, pojedinačni dobavljač, podržanu profesionalnu uslugu - sve ono što vam kao poduzeće doista treba i snagu fleksibilnosti ekosustava otvorenog koda gdje ih povezuje jedna platforma - Ingest, CEP, analitika, vizualizacija i sve to.
To također čini vrlo, vrlo jedinstvenu stvar, koja okuplja mnogo različitih tehnoloških motora ispod jednog korisničkog iskustva. Doista mislimo da je budućnost u mogućnosti koristiti više streaming motora jer različiti slučajevi upotrebe zaista zahtijevaju različite strukturne arhitekture. Kao što je Robin rekao, postoji čitav spektar kašnjenja. Ako stvarno govorite o razini kašnjenja milisekundi, desecima ili čak stotinama milisekundi, zaista vam je potrebna Oluja u ovom trenutku dok se ne pojavi još jedan jednako zreli proizvod za manje popustljivosti ili blaži vremenski okvir i latencije možda za par sekundi, tri, četiri, pet sekundi, to je raspon, tada možete koristiti iskrenje. Potencijalno postoje drugi motori koji mogu raditi i jedno i drugo. Dno crta, u velikom poduzeću, koristit će se sve vrste slučajeva. Zaista želite da pristup i općenitost imaju više motora s jednim korisničkim iskustvom i to je ono što pokušavamo graditi u StreamAnalytixu.
Samo kratki pregled arhitekture. Ovo ćemo malo preraditi, ali u osnovi, na lijevoj strani dolazi više izvora podataka - Kafka, RabbitMQ, Kinesis, ActiveMQ, svi ti izvori podataka i redovi poruka dolaze na platformu za obradu tokova gdje morate sastaviti aplikaciju, gdje morate povlačiti i ispuštati od operatora poput ETL-ova, sve stvari o kojima smo razgovarali. Ispod se nalazi više motora. Trenutno imamo Oluju i iskrenje kao jedinstvenu industrijsku platformu i prvu platformu za strujanje koja ima višestruku podršku motora. To je vrlo jedinstvena, fleksibilnost koju nudimo pored svih ostalih fleksibilnosti nadzornih ploča u stvarnom vremenu. Ugrađen je CET motor. Imamo besprijekornu integraciju s Hadoop i NoSQL indeksima, Solr i Apache indeksima. Možete sletjeti u svoju omiljenu bazu podataka bez obzira o čemu se radi i izrađivati aplikacije zaista brzo i brzo doći na tržište i ostati dokaz budućnosti. To je cijela naša mantra u StreamAnalytixu.
S tim mislim da ću zaključiti svoje primjedbe. Slobodno nam se obratite za više pitanja. Želio bih održati pod otvorenim pitanjima i pitanjima i raspravama.
Rebecca, na tebe.
Rebecca Jozwiak: Sjajno, dobro. Puno ti hvala. Dez i Robin, imaš li nekih pitanja prije nego što to predamo publici Pitanja i odgovori?
Robin Bloor: Imam pitanje. Stavit ću slušalice da me čujete. Jedna od zanimljivih stvari, ako mi to možete ljubazno reći, puno onoga što sam vidio u otvorenom prostoru izgleda ono što bih rekao nezrelo za mene. U određenom smislu, da, možete učiniti razne stvari. No čini se da u stvarnosti promatramo softver u njegovom prvom ili drugom izdanju i samo sam se pitao s vašim iskustvom kao organizacije, koliko smatrate nezrelost Hadoop okruženja problematičnom ili je to nešto što ne ' ne biste stvorili previše problema?
Anand Venugopal: To je stvarnost, Robin. Ti si potpuno u pravu. Nezrelost nije nužno u području samo funkcionalne stabilnosti i stvari, ali možda su takvi slučajevi također. Ali nezrelost je više u spremnosti korištenja. Otvoreni proizvodi dok izlaze, pa čak i ako ih nudi distribucija Hadoop, svi su oni puno različitih sposobnih proizvoda, komponenti koje se jednostavno udružuju. Oni ne rade besprijekorno i nisu dizajnirani za glatko i jednostavno korisničko iskustvo koje ćemo dobiti poput Bank of America ili Verizon ili AT&T, za implementaciju aplikacije za analitiku za strujanje u roku od nekoliko tjedana. Nisu sigurno dizajnirani za to. To je razlog zbog čega mi ulazimo. To spajamo i olakšavamo razumijevanje, raspoređivanje itd.
Funkcionalna zrelost toga, mislim da u velikoj mjeri postoji, postoji. Mnoga velika poduzeća danas koriste, na primjer, Oluju. Mnoga velika poduzeća danas se igraju sa Spark Streamingom. Svaki od ovih motora ima svoja ograničenja u onome što mogu raditi, zato je važno znati što možete, a što ne možete sa svakim motorom i nema smisla razbijati glavu o zid i govoriti: "Gledaj ja odabrao je Spark Streaming i to mi ne djeluje u ovoj određenoj industriji. "Neće uspjeti. Primjeravat će se slučajevi u kojima će iskrenje biti najbolja opcija, a postoje slučajevi u kojima iskrenje možda uopće neće raditi za vas. Zato vam stvarno treba više opcija.
Robin Bloor: Pa, za većinu toga trebate imati stručne timove. Mislim, ni sam ne znam odakle bih započeo s tim. Razumna suradnja kvalificiranih pojedinaca. Zanima me kako se angažman uključuje i kako se to događa. Da li je to zbog toga što se određena tvrtka nalazi nakon određene aplikacije ili vidite neku vrstu onoga što bih nazvao strateškim usvajanjem tamo gdje žele da čitava platforma učini puno stvari.
Anand Venugopal: Roba vidimo primjere i jednog i drugog. Neki od prvih deset brendova za koje svi znaju da su radili na vrlo strateški način. Znaju da će imati razne slučajeve upotrebe, pa ocjenjuju platforme koje će odgovarati toj potrebi, a to je mnoštvo različitih slučajeva korištenja na više stanarskih načina koji će se rasporediti u neko poduzeće. Postoje i slučajevi za jednokratnu upotrebu koji se počinju. Postoji jedan poseban slučaj upotrebe praćenja poslovne aktivnosti u hipotekarnoj tvrtki na kojoj radimo, a koju ne biste zamislili kao slučaj prve upotrebe, ali to je poslovno rješenje ili slučaj upotrebe koji su smislili, a zatim smo točkice povezali u streaming, Rekli smo: "Znate što? Ovo je sjajan slučaj za strujanje analitike i to je način na koji je možemo provesti. "Tako je to i počelo. Zatim se u tom procesu educiraju i kažu: "Oh wow, ako to možemo učiniti i ako je ovo generička platforma, onda možemo razdvojiti aplikaciju, staviti ih u platformu i izgraditi puno različitih aplikacija na ovom" platforma."
Robin Bloor: Dez, imaš li kakvih pitanja?
Anand Venugopal: Dez je vjerojatno na nemi.
Dez Blanchfield: Isprike, nijem. Samo sam dobro obavio razgovor. Samo slijedeći originalno opažanje Robina, u potpunosti ste u pravu. Mislim da je izazov sada da preduzeća imaju ekosustav i kulturno i bihevioralno okruženje gdje je besplatni i open-source softver nešto što im je poznato i oni mogu koristiti alate poput Firefoxa kao preglednik, a imali su pristojno vijeka dok ne postane stabilna i sigurna. No, neke od tih vrlo velikih platformi koje koriste su vlasničke platforme poduzeća. Dakle, usvajanje onoga što smatram platformama otvorenog koda nije uvijek nešto što im je lako da se kulturološki ili emocionalno prebrode. To sam vidio tek usvajanjem malih programa koji su lokalni projekti, koji bi se jednostavno igrali s velikim podacima i analitikom kao temeljnim konceptom. Mislim da je jedan od ključnih izazova, siguran sam da ste ih sada vidjeli u svim organizacijama, njihova želja da dobiju ishod, ali istovremeno imaju i jednu nogu zaglavljenu u staru limenku u kojoj su mogli ovo samo kupiti "Umetnite veliku marku" Oracle, IBM i Microsoft. Ovi novi i poznati brendovi dolaze s Hadoop platformama i još više. Dolaze uzbudljiviji brendovi preko kojih ima vrhunsku tehnologiju poput stream.
Koje ste vrste razgovora vodili ili prošli kroz to? Znam da jutros imamo masovno prisustvo i jedna je stvar za koju sam siguran da svakome pada na pamet: „Kako da prebacim taj cijeli izazovni sloj od daske do razine upravljanja, oh, to je previše open source i previše krvavi rub? "Kako prolaze razgovori s klijentima i kako to da pređete na to mjesto gdje nekako ublažite te vrste strahova da razmislite o usvajanju simpatija StreamAnalytixa?
Anand Venugopal: Zapravo nam je prilično jednostavno prodati prijedlog vrijednosti jer kupci prirodno kreću prema otvorenom izvoru kao preferiranoj opciji. Oni se jednostavno ne odriču i govore: „U redu, sad idem na otvoreni kod.“ Oni zapravo prolaze kroz vrlo predanu procjenu velikog proizvoda, recimo da je to IBM ili tipičan proizvod, jer oni imaju ti odnosi dobavljača. Ne bi postupali s nama ni s otvorenim kodom prema tom proizvodu. Proći će kroz šest do osam do dvanaest tjedana evaluacije. Uvjerit će se da postoji stupanj performansi i stabilnosti koji želim, a onda se odluče: "Jao, znate što, ja to zapravo mogu učiniti."
Danas, na primjer, imamo glavni telco jedan nivo koji ima analitiku struje koja se pokreće u proizvodnji povrh velikog broja gomila i to ocjenjuju u odnosu na drugog vrlo, vrlo velikog poznatog dobavljača, a u to su se uvjerili tek nakon što smo dokazali sve performanse, stabilnost i sve te stvari. Ne uzimaju zdravo za gotovo. Otkrili su da je open source kompetentan kroz njihove procjene i shvaćaju da, u najgorem slučaju, „Možda postoje ta dva slučaja upotrebe koja možda ne mogu učiniti, ali većina mojih slučajeva upotrebe ubrzanja danas je izuzetno moguća sa otvorenim kodom hrpa. "I omogućavamo njegovo korištenje. Dakle, to je veliko slatko mjesto tamo. Željeli su open source. Oni stvarno žele izaći iz prodajnog ulaza u trgovini na koje su navikli mnogo, mnogo godina. Tada dolazimo i kažemo, "Znate što, za vas ćemo učiniti mnogo otvoreniji izvor mnogo jednostavnijim i prijateljskijim."
Dez Blanchfield: Mislim da je drugi izazov za koji tvrtke nailaze kada dovedu tradicionalnu dužnost i često su generacija koja stoji iza nekih krvavih ruba uzbudljivih stvari o kojima ovdje govorimo, i ne mislim to kao negativna lagana. Samo što je stvarnost oni imaju generaciju i put koji treba proći da bi oslobodili ono što oni smatraju stabilnim platformama za prolazak, razvoj starih škola i integracijski ciklusi UATN-a, testiranja i dokumentacije, marketinga i prodaje. Dok u tipu koji radiš, mislim da je ono što me zanima trebalo da razmislite o tome da pogledate neka posljednja izdanja sinoć radeći nekakav istraživački rad, sada ste dobili ovaj spoj tamo gdje ste dobili kompetencije s gledišta naprednih savjetovanja i implementacije, ali ste također dobili hrpu u koju se možete prijaviti. Mislim da će se tu dužnosnici boriti neko vrijeme. Mnogo smo ih vidjeli kao i ja na tržištu. Oni se često nalaze u onome što nazivam dohvatnim čvorovima, dok iz onoga što nam govorite kad vodite te razgovore i provodite vani.
Možete li nam dati par primjera nekih graničnih vertikala koje ste vidjeli usvajanje? Na primjer, stvarno postoji nišno okruženje poput raketne znanosti i postavljanja satelita u svemir te prikupljanje podataka s Marsa. Na planeti to radi samo nekolicina ljudi. Ali postoje velike vertikale poput zdravlja, na primjer, u zrakoplovstvu, brodarstvu, logistici, proizvodnji i inženjerstvu, koji su par primjera iz većih i širokih sektora industrije koje ste dosad vidjeli da ste vidjeli zaista dobro posvojenje u?
Anand Venugopal: Telco je veliki primjer.
Samo ću brzo popraviti svoje slajdove ovdje. Možete li vidjeti slajd ovdje, studija slučaja 4?
Ovo je slučaj s velikim telco-om koji guta podatke s top-box uređaja i radi s njim više stvari. Oni gledaju što kupci stvarno rade u stvarnom vremenu. Oni gledaju gdje se događaju pogreške u stvarnom vremenu u set-top boxovima. Oni pokušavaju obavijestiti pozivni centar da, ako taj kupac odmah pozove, informacije o vezi sa kodom s tog kupca-set-top boxa, informacije o ulaznicama za održavanje brzo koreliraju da li ovaj klijentski set-top box ima problema ili ne prije kupac izgovara riječ. Svaka kablovska kompanija, svaki veći telco pokušava to učiniti. Oni gutaju podatke set-top boxa, vrše analizu u stvarnom vremenu, rade analitičke kampanje kako bi mogli postavljati svoje oglase. Postoji ogroman slučaj upotrebe.
Kao što rekoh, postoji hipotekarna tvrtka koja je opet generički obrazac u kojem veliki sustavi sudjeluju u obradi podataka. Podaci koji teku kroz sustav A u sustav B u sustav C i to su regulirani poslovi kojih sve treba biti dosljedno. Sustavi se međusobno sinkroniziraju, jedan sustav kaže: "Obrađujem stotinu zajmova ukupne vrijednosti 10 milijuna dolara." Sustav kaže: "Ne, obrađujem 110 zajmova nekih drugih različit broj. "To moraju riješiti brzo, jer oni u stvari obrađuju iste podatke i obavljaju različita tumačenja.
Bilo da se radi o kreditnoj kartici, obradi zajma, poslovnom procesu ili je riječ o hipotekarnom poslovnom procesu ili nečem drugom, pomažemo im da u stvarnom vremenu rade na korelaciji i usklađivanju kako bi se osiguralo da ti poslovni procesi ostanu usklađeni. To je još jedan zanimljiv slučaj upotrebe. Postoji glavni američki ugovaratelj koji promatra DNS promet radi otkrivanja anomalija. Izgrađen je model za obuku izvan mreže i oni rade ocjenjivanje na temelju tog modela na prometu u stvarnom vremenu. Neki od onih zanimljivih slučajeva upotrebe. Postoji glavna zrakoplovna kompanija koja gleda u sigurnosne redove i pokušava vam dati tu informaciju da: "Hej, vrata su ti zrakoplovom za tvoj let. Red čestica TSA-e danas je oko 45 minuta u odnosu na dva sata u odnosu na nešto drugo. ”To ažuriranje dobivate unaprijed. Još rade na tome. Zanimljiv slučaj upotrebe IoT-a, ali izvrstan slučaj analitike u strujanju prema kupcu.
Rebecca Jozwiak: Ovo je Rebecca. Dok ste na temu slučajeva upotrebe, postavlja se veliko pitanje člana publike koji se pita: „Jesu li ovo studije slučaja, vode li se ove inicijative s analitičke strane kuće ili se više vode od njih? posao koji ima na umu konkretna pitanja ili potrebe? "
Anand Venugopal: Mislim da vidimo oko 60 posto ili otprilike, 50 do 55 posto, uglavnom vrlo proaktivne, entuzijastične tehnološke inicijative za koje se zna da su, koji su prilično pametni i razumiju određene poslovne zahtjeve, pa vjerojatno imaju jednog sponzora kojeg identificirani, ali to su tehnološki timovi koji se spremaju za napad slučajeva poslovne uporabe koji dolaze i onda kad jednom izgrade sposobnost, znaju da to mogu učiniti i onda krenu u posao i agresivno to prodaju. U 30 posto do 40 posto slučajeva vidimo kako poslovanje već ima poseban slučaj upotrebe koji moli za sposobnost analitičke struje.
Rebecca Jozwiak: To ima smisla. Imam još jedno malo tehničko pitanje od publike. Pita se da li ti sustavi podržavaju i strukturirane i nestrukturirane tokove podataka, poput sedimenata Twitter streama ili Facebook postova u stvarnom vremenu ili ga treba u početku filtrirati?
Anand Venugopal: Proizvodi i tehnologije o kojima govorimo vrlo brzo podržavaju i strukturirane i nestrukturirane podatke. Mogu se konfigurirati. Svi podaci imaju nekakvu strukturu bilo da se radi o tekstu ili XML-u ili uopće. Postoji neka struktura u smislu postojanja feeda vremenske oznake. Možda postoji još jedna mrlja koju je potrebno raščlaniti da biste mogli umetnuti raščlambe u tok da biste analizirali strukture podataka. Ako je strukturiran, tada jednostavno kažemo sustavu: "U redu, ako postoje vrijednosti odvojene zarezima, a prva je niz, a drugi je datum." Dakle, tu inteligenciju za raščlanjivanje možemo ubaciti u slojeve gornjeg zaslona i lako obrađivati i strukturirane i nestrukturirane podatke.
Rebecca Jozwiak: Imam još jedno pitanje publike. Znam da smo malo prošli kraj vrha sata. Ovaj sudionik želi znati, čini se kao da se aplikacije za streaming u stvarnom vremenu mogu razvijati i kao potreba i prilika za integriranje natrag u transakcijske sustave, primjerice u sustave za sprečavanje prijevara. Treba li, u tom slučaju, transakcijske sustave prilagoditi da bi se to s tim uklapalo?
Anand Venugopal: To je spajanje, zar ne? To je spajanje transakcijskih sustava. Oni ponekad postaju izvor podataka gdje analiziramo transakcije u stvarnom vremenu i u mnogim slučajevima gdje recimo da postoji protok aplikacija, a ovdje pokušavam pokazati web mjesto za pretraživanje statičkih podataka i onda u našem slučaju gdje neka vrsta struje unutra i tražite statičku bazu podataka kao što je HBase ili RDBMS kako biste obogatili streaming podataka i statičke podatke kako biste zajedno donijeli odluku ili analitički uvid.
Postoji još jedan veliki trend u industriji - konvergencija OLAP-a i OLTP-a - i zato imate baze podataka poput Kudu i baze podataka u memoriji koje podržavaju i transakcije i analitičku obradu u isto vrijeme. Sloj za obradu tokova bio bi u potpunosti u sjećanju i gledat ćemo ili povezati se s nekim od ovih transakcijskih baza podataka.
Rebecca Jozwiak: Mješovita radna snaga bila je jedna od posljednjih prepreka za skok, mislim. Dez, Robin, imaš li vas još dvojica pitanja?
Dez Blanchfield: Uključit ću se u posljednje pitanje i zaključiti to ako vam ne smeta. Prvi izazov s kojim su se organizacije s kojima sam se bavila u posljednjem desetljeću ili na taj način doveo do ovog uzbudljivog izazova analitike strujanja, prvo što imaju tendenciju da se vrate na stol kada smo započeli razgovor oko cijelog ovog izazova, gdje su dobivamo skup vještina? Kako ćemo prekvalificirati set vještina i kako to sposobnost da dobijemo interno? Ulazak i nagovor Impetus nas drži kroz putovanje, a zatim implementaciju kao prvi prvi korak i to ima puno smisla.
Ali za srednje do velike organizacije, kakve sve stvari vidite u ovom trenutku da se pripremite za to, da izgradite tu sposobnost interno, da dobijete bilo što od samo osnovnog vokabulara oko sebe i kakve poruke mogu raditi s njima organizacija oko prelaska na ovakav okvir i preuređivanje postojećeg tehničkog osoblja od IT-a od CEO-a kako bi oni sami mogli to pokrenuti kad ga izgradite i implementirate? Samo ukratko, kakvi su izazovi i kako ih rješavaju, kupci s kojima se suočavate, vrste izazova koje su pronašli i kako prolaze kroz rješavanje tog prekvalifikacije i povratiti iskustvo i znanje kako bi se pripremili za to i bili u stanju da operativno obilazim?
Anand Venugopal: Često je mali skup ljudi koji pokušavaju izaći i kupiti platformu za analitičku struju već razumno pametan jer su svjesni Hadoopa, već su stekli svoje vještine Hadoop MapReduce i zato što blisko surađuju s Hadoopom dobavljač distribucije, ili su poznati. Sve dobiva, na primjer, Kafka. Oni nešto rade s tim i Storm ili Spark streaming su u njihovoj domeni otvorenog koda. Definitivno su ga ljudi upoznali ili grade vještine oko toga. Ali započinje s malim skupom ljudi koji su dovoljno vješti i dovoljno pametni. Oni sudjeluju na konferencijama. Uče i dobavljačima postavljaju inteligentna pitanja, a u nekim slučajevima uče i s dobavljačima. Dok prodavači dolaze i predstavljaju se na prvom sastanku, oni možda ne znaju stvari, ali ih ponovno čitaju i tada se počinju igrati s njim.
Ta mala skupina ljudi je jezgro i tada ona počinje rasti i svi sada shvaćaju da se prvi slučaj poslovne upotrebe operacionalizira. Započinje val i vidjeli smo se na summitu Spark prošlog tjedna gdje je veliko poduzeće poput Capital One bilo vani i u punoj snazi. Odlučivali su se za Spark. Govorili su o tome. U Sparku obrazuju puno svojih ljudi jer tome doprinose i u mnogim slučajevima kao korisnik. To vidimo kod mnogih, mnogih velikih poduzeća. Sve započinje s nekoliko malih skupina vrlo pametnih ljudi, a zatim započinje val sveukupnog obrazovanja i ljudi znaju da se jednom viši potpredsjednik ili jedan viši direktor poravnaju i žele se kladiti u tu stvar, a riječ se svodi na svi počnu pokupiti ove vještine.
Dez Blanchfield: Siguran sam da ste fantastično proveli i izgradnju tih prvaka.
Anand Venugopal: Da. Puno se edukujemo dok radimo s početnim prvacima i držimo tečajeve treninga i mnogo, mnogi za naše velike kupce vratili smo se i imali valove i valove treninga, kako bismo uveli puno korisnika u fazu uobičajene uporabe, posebno na web mjestu Hadoop MapReduce. Otkrili smo da smo u velikoj kompaniji za kreditne kartice koja je naš klijent isporučili barem možda pet do osam različitih programa obuke. Imamo i besplatna izdanja u zajednici za sve te proizvode, uključujući naš, sandbox koji ljudi mogu preuzeti, naviknuti se i tako se educirati.
Dez Blanchfield: To je sve što imam jutros za tebe. Hvala vam puno. Nevjerojatno mi je zanimljivo vidjeti vrste modela i slučajeve korištenja koje danas imate za nas. Hvala vam.
Anand Venugopal: Sjajno. Puno vam hvala.
Rebecca Jozwiak: Hvala svima što ste nam se pridružili u ovim mrežnim emisijama Hot Technologies. Bilo je fascinantno čuti od Deza Blanchfielda, dr. Robina Bloora i Anande Venugopal iz Impetus Technologies. Hvala vam prezentatori. Hvala govornicima i hvala publici. Imamo sljedeći mjesec Hot Technologies, pa potražite to. Uvijek možete pronaći naš arhivirani arhiv na Insideanalysis.com. Također postavljamo puno sadržaja na SlideShare te nekoliko zanimljivih bitova i na YouTubeu.
To je sve narode. Hvala još jednom i dobar dan. Doviđenja.
