Osoblje Techopedia, 11. svibnja 2016
Odlazak: Domaćin Rebecca Jozwiak razgovara o napretku u arhitekturi i pohrani baze podataka s Dez Blanchfield, Robin Bloor i Brianom Bulkowskijem.
Trenutno niste prijavljeni. Prijavite se ili prijavite da biste pogledali videozapis.
Rebecca Jozwiak: Dame i gospodo, pozdravljeni i dobrodošli u Hot Technologies 2016. Danas smo, „Izložimo diferencijaciju: stiže nova era skalabilne infrastrukture.“ Danas ulazim u Eric Kavanagh. Ja sam Rebecca Jozwiak, vaša skromna domaćinica iz odbora, dok Eric odlazi na Jamajku. Dobro za njega.
Dakle, kao što je već desetljećima, i ove je godine vruća, iako se sigurno tehnologija kreće brzinom koja nadilazi Mooreov zakon, a što organizacije rade kako bi održale taj korak? Oni traže sve što je brzo, i tvrdio bih, vjerojatno je jedna od najvažnijih stvari kada razmišljamo o bazama podataka. I naravno da imamo mogućnosti uobičajenog relacijskog, sada imamo svoj NoSQL, imamo našu trgovinu stupaca, imamo naše baze podataka s grafikonima, naše RDF baze podataka, ali stvarno, ono što tvrtke traže je razmjera, paralelizam je i brz,
Sada su se tradicionalne arhitekture nekako temeljile na tom relacijskom modelu. Ali ako pogledate većinu internetskih poslova koji su se pojavili u posljednje tri, pet, deset godina, to nisu modeli koje koriste za svoju infrastrukturu. Oni koriste drugačiju, paralelnu arhitekturu, skaliraju i brzo rade, i to je način na koji se danas puno ljudi okreće.
U našoj liniji, Dez Blanchfield, on je znanstvenik iz Bloor Grupe. Imamo doktora Robina Bloora, našeg glavnog analitičara iz grupe Bloor, i Briana Bulkowskog, CTO-a i osnivača u Aerospikeu. Dakle, momci s tim, prebacit ću ga u Dez.
Dez Blanchfield: Hvala i hvala što ste me ovdje doveli . Pokušat ću postaviti scenu za to kako smo nekako vrlo brzo stigli do mjesta na kojem se nalazimo, a mi ćemo zaroniti u puno više tehničkih detalja dok prolazimo kroz današnje teme. Samo ću ovdje dobiti kontrolu nad ekranom.
Tako veći, bolji i brži. Kad razmišljam o tome gdje se nalazimo, slika koja meni osobno pada na pamet je upravo ta slika koju imam na svom naslovnom dijapozitivu, a to je širenje svemira. Tehnologiju smo razvijali i razvijali već desetljećima, zapravo od kraja pedesetih kada je mainframe postao prava stvar. Tehnologija je nastavila rasti u mnogim slučajevima gore ili veće od linearne krivulje, ovisno o tome na kojem dijelu krivulje se nalazite, koliko ide softver ili hardver.
Vaga je postajala sve veća i veća, sve brža i brža, što se tiče onoga što pokušavamo isporučiti, i sve manjih i manjih na razini proizvodnje i poluvodiča. A u sredini su softver i aplikacije i sustavi koji podržavaju taj softver, a oni imaju naravi sve manje i manje, a vidjeli smo i stvari poput kontejnerskih aplikacija i mikro poslužitelja, to je opet stvar. To smo činili u prošlosti, desetljećima prije, ali kao rezultat toga da tamo idemo sve manji i manji, postajemo sve veći i veći u razmjeru koji sada možemo pokrenuti stvari, poput aplikacija i određenih baza podataka, i logike te baze podataka.
Imam ovo gledište gdje smo se skalirali vrlo vodoravno, u osnovi X osi; skale smo vertikalno u osi Y. Nalazimo se sada na mjestu gdje trebamo ići negdje drugačije, i po mom mišljenju to je mentalno zamišljeno kao Z os, a to je da moramo duboko ući u tehnologiju i pogledati kako možemo stvari se razlikuju od onoga što smo radili do sada, da dobijemo taj dodatni komadić brzine. Dakle, vizualiziram čitavo širenje svemira, gdje se dogodila eksplozija, i postoje neke tehnologije, a to je bolji linearni rast i potražnja. Morali smo pronaći različite načine da postignemo taj veći, bolji, brži rezultat.
Samo da brzo pokrijemo vrstu gdje se trenutno nalazimo u nekoliko hardverskih okruženja. Vidjeli smo kako padajući troškovi gigabajta prostora na disku donose nekoliko prilično velikih prijelaza i tehnologije te pristupa većem, boljem i bržem pitanju razmjera. Ovo su dva odvojena grafikona koja pokrivaju otprilike desetljeće po komadu, nešto više od desetljeća od svake cijene pada jednog gigabajta prostora na tvrdom disku.
To je klasična J krivulja ili hokejaški štap kako ih često nazivamo, jer ste prije nekog vremena mogli potrošiti doslovno stotine tisuća dolara za kupnju gigabajta prostora na disku prije nepuna dva desetljeća, dok danas to postaje dolar i na kraju sam siguran da će to završiti, ono što nazivamo trkom do nule, postat će centi. To je dovelo do zanimljive promjene u vrsti stvari koje tvrtke mogu raditi. I to smatram poremećajem podataka ili posebno velikih podataka, a time mislim na to da smo vidjeli tehnologije, poput toga kako postati stvar na kojoj možemo pohraniti vrlo vodoravno u skladištu i vrstu izračuna se može primijeniti na tu pohranu i kako otvara zanimljivu tehnologiju jer nam omogućava da napravimo vrlo veliku, suvišnu paralelnu pohranu na najbržoj razini, a Hadoop dijelove u sebi, izvorno sposobni kopirati podatke u zapisu jednom pročitani više puta, i samo skalirajte stvar u gotovo linearnoj ocjeni.
I sve se takve tvrtke događaju da se poremete koristeći velike podatke. Imamo kompanije poput Ubera koje su najveća svjetska taksi kompanija. Oni zapravo ne posjeduju nikakve taksije, a ovdje je dugačak popis. Airbnb je najveći pružatelj smještaja, zapravo nema nekretninu. Jedan od mojih favorita je Facebook, na primjer na ovom popisu, gdje oni zapravo ne stvaraju sadržaj, mi ga stvaramo za njih, ali oni su zapravo najveći vlasnik medija na planeti. Imamo zanimljive poput banaka koje se najbrže rastu, a zapravo nemaju novca. To su platne platforme i banke s ravnopravnim potraživanjima, a posebno u Australiji rastuća slava pod nazivom SocietyOne. A neke od glavnih banaka koje moraju imati novac ulažu u tu određenu banku (peer-to-peer). I prolazimo kroz ovaj popis čak do Netflixa; oni zapravo nemaju nikakva kina, a ipak su zapravo najveća kino kuća na planeti.
Tako smo, po mom mišljenju, došli do mjesta gdje su bili, primjenom pametnih tehnologija na razini podataka, jer smo mogli napraviti veću i širu pohranu po nižim troškovima zbog pada cijene gigabajta prostora na tvrdom disku, a mogli smo i primijeniti neke inteligentne računske i distribuirati računski model preko toga. Te su tvrtke imale mogućnost stvaranja konkurentske prednosti i poremećaja kao rezultat padajućih troškova prostora na disku.
Vidjeli smo kako se slično događa u trošku sjećanja. Prije nekoliko desetljeća, ako ste imali šest milijuna dolara okolo, mogli ste kupiti gigabajt RAM-a, a imali smo vrlo sličnu J krivulju ili hokejski štap, koji će se dogoditi u smanjenju troškova ili padajuće cijene RADNA MEMORIJA. I to je stvorilo zanimljivosti, a po mom mišljenju, jedan od najvećih poremećaja u tom prostoru je količina memorije koja se može ugraditi u uređaje, poput mobilnih uređaja, poput telefona i tableta, pa čak i prijenosnih računala. Računala ovih dana, količina memorije koja ulazi u prosječni laptop u nekim je slučajevima prilično smiješna. U nekim slučajevima moj trenutni laptop ima više memorije u odnosu na neke od poslužitelja koji su bili davno korišteni.
To je donijelo značajne promjene same po sebi, na sličan način na koji RAM-u misli, dozvolio nam je brzo skaliranje i skaliranje. I sada smo se pojavili tehnologijom koju nazivamo flash, a to je tehnologija koja izvorno proizlazi iz nečega što je sjelo za hardver u obliku EEPROM-a, malog čipa koji je dizajniran tako da može biti dostupan, i pišite, a onda kad bi nestala struja, sve što ste napisali tom čipu zadržat će kao trajno spremište. Bilo je sporo, prkosno i u one dane, mislim da je to bilo u vremenu 1980-1981, nekako je postala stvar. Do 1984. godine, Toshiba za koju vjerujem da je izumio tehnologiju, učinio ju je komercijalnom stvari koju bismo mogli koristiti.
Ali prije dugog vremena, ljudi su shvatili da zapravo mogu uzeti kombinaciju komponenti koje su korištene za stvaranje ovog koncepta EEPROM-a, memorije koja je samo za čitanje, nakon što ga je izbrisala i napisala u njega i zapravo su mu mogli pisati redovito i koristite ga malo više poput prostora na disku i malo više poput RAM-a. S vremenom se razvio. Ova tehnologija za pohranu bljeskalica bila je spajanje tradicionalnog prostora za pohranu diskova, bilo da se radi o predenjenom disku ili u nekim slučajevima hibridnom disku memorije, i RAM-a. A ključna stvar je sustav između jer možete čitati i pisati na njega, a zatim isključite napajanje i on će zadržati ono što ste mu napisali. Dakle, prostor na disku, očito ga napišete, isključujete napajanje, a predenje vreteno i snažno modificirano, u želji za boljim opisom, zadržavaju nule i one koje ste napisali na njemu.
U memoriji sa slučajnim pristupom napišete nešto u memoriju u RAM-u, isključite računalo i sve se obriše jer nema više elektrona koji bi ga mogli napuniti i zadržati podatke koje ste mu napisali. Osim toga nalazi se u sredini i izuzetno je brz, brži od diska, tad sporiji od RAM-a. Ali možete mu pisati i čitati s njega, a kad isključite napajanje, ono će i dalje postojati. To je donijelo nevjerojatne tehnologije, a posebno smo razvili mobilne uređaje i prijenosna računala koji su stvarno, jako brzi i sposobni učiniti mnogo toga, a sada je premješten u infrastrukturni prostor oko skladištenja i računanja, a to je donijelo značajno promjene u onome što možemo ponuditi u razmjeru. Ovdje sam vjerovao da se osi Z u mojim mislima pojavljuje sada.
To je skoro pravo vrijeme na mnogo načina, jer smo sada vidjeli poremećaj kroz ono što ja nazivam potražnjom, a to je da potrošači imaju, bez obzira na to što se događa u infrastrukturi i tehnološkom prostoru, te sposobnost brže vožnje i brže računanje i rad na infrastrukturnoj razini, potrošači zahtijevaju ovo ometanje u obliku onoga što se spominje sada, iskustva slavnih. Svi žele da svaki sustav, svaka aplikacija, svaka web stranica znaju tko su i što vole, te da im mogu pružiti personalizirano jedno-na-jedno iskustvo. Više nije dovoljno samo otići na web stranicu na kojoj kupujem karte za kino. Želim da znam što sam kupio prije, zašto sam ga kupio i potencijalno ono što ljudi poput mene kupuju i preporučuju stvari.
Neizbježno je da vidimo ono što ja spominjem bočni redoslijed društvenog, a to je da želim iskustvo slavnih, ali želim i družiti tu ideju, želim je podijeliti sa svim svojim prijateljima i reći im što Radim, a također želim znati što moji prijatelji rade. A to je rezultat eksplozivne potražnje za dodatnim računanjem i skladištenjem, te brzog preokreta stvari. Vidjeli smo Fitbit generaciju, kako ja zovem uvijek praćenje. Sve što radim prati se i zapisuje, a negdje se snima. U stvarnom smo vremenu vidjeli sve: bankarstvo, licitiranje, preporuke, mogućnost da se mogu nositi sa stvarnim stvarima koje osobno radim kao potrošač.
I tada vidimo vrlo velik utjecaj, poput sigurnosnih rizika oko cyber sigurnosti. Nekada smo imali pojedinačne hakere, onda smo se kriminalne bande primijenile na to, sada imamo čitave nacije koje će ratovati preko interneta, što se stvarno i zapravo događa. Obratite pažnju na to, sjednite i pogledajte to, jer u tome postoji stvarni utjecaj, a neki od naših pre-show sloga bili su oko razgovora o riziku prodora vašeg računala ili barem vaše mreže.
Vidjeli smo ovaj koncept ekstrakcije entiteta. Izvlačenje entiteta je kada moramo pronaći stvari koje su zanimljive unutar vrlo velikih skupova podataka, posebno oko prijevara, ilegalnih i hakerskih aktivnosti. Ali češće nego ne, vidjet ćemo da izvlačenje entiteta postaje žarište dobrih stvari i stvari koje su nam vrijedne, za razliku od traženja stvari koje nas napadaju.
Vidjeli smo i eksploziju, koja se naziva i geoprostornim podacima. Ovo su podaci koji zapravo znaju odakle potječu ili odakle su drugi podaci. Možete zamisliti da stojite na ulici i želite pronaći najbližu parking stanicu ili najbliži restoran, aplikacije koje mogu primijeniti geoprostorno računanje i podatke, računanje na podatke, koji znaju gdje se nalazi u prostoru, vrlo je važno jer morate biti u stanju znati gdje su drugi objekti i entiteti i to brzo.
Vidjeli smo trajno povezan mobitel. Čak i kada noću odlazimo spavati, naši mobiteli još uvijek otkucavaju, ažuriramo e-poštu, provjeravamo naše kalendare, gledamo u kakvom je vremenu i smišljamo hoće li biti dostupno ono što bismo željeli za doručak. Tamo se događa puno buke i to stvara masivan utjecaj na ono što trebamo raditi na stražnjem kraju i koliko brzo to radimo.
Općenito, čista razina i utjecaj onoga što se naziva Internetom stvari ili, češće nego ne, povezanost stroj-stroj, gdje uređaji razgovaraju s uređajima, a sve do motora prikovanih za strana zrakoplova koja govori samom zrakoplovu ili sustavu upravljanja avionom, da je zbog opterećenja motora broj četiri došlo do prekomjernog trošenja i topline, te ga treba zamijeniti kada slećemo, a zatim komunicira s drugim strojem, i tako treba postaviti narudžbe, a čarobno se inženjer pojavi na letu u zračnoj luci i spreman je zamijeniti tijekom točenja goriva.
I razmjer je toliko velik i tako velik da smo morali ući u ono na što se ja pozivam, kroz pristup da bismo se nekako nosili s njim. Jer novi svijet i dobrodošli u novi svijet, novi svijet svega što koristimo je povezano; nekad su to bili sateliti i mrežni uređaji, sada su to mobilni uređaji i naša prijenosna računala i tableti i telefoni, pa čak i moj potpuno novi Audi ima ugrađen znak i stalno izvještava o svom zdravlju, ali se i ažurira, i zna gdje se nalazi i koje su karte primjenjive, pa mi čak kaže i kada da idem drugom rutom ako je promet na putu ispred.
Sve što sada gradimo, sve što sada razgovaramo s vama, stvoreno je za povezivanje i povezivanje s drugim stvarima, ne samo od mene do sustava, nego od sustava do sustava, i da bismo se mogli nositi s tim mi moramo primijeniti vrlo različita razmišljanja na razini infrastrukture, kako na hardveru, tako i u softveru, posebno slojevima baza podataka koje sustavi trebaju to poduprijeti, a na mnogo načina baza podataka je postala motor, a aplikacije su stvarno samo mali botovi koji rade stvari.
Završit ću se brzo ovdje s ovim pomalo šaljivim pogledom o vrsti gdje idemo s tim stvarima, a što ja nazivam "IoT pritiskom na gumb". Stvoren je novi gadget koji se zove Amazon Dash tipka, a ovo je mala naprava veličine palca. Zapravo na mnogo načina to je isto kao i moj USB palac. Kada kupite ovu stvar, ona iznosi oko 4, 99 američkih dolara putem interneta iz Amazona, ona vam se isporučuje, konfigurirate je mobilnim telefonom i doslovno je samo priključite na jedan od svojih uređaja, kao što je frižider ili perilica rublja ili bilo što drugo. U primjeru vaše perilice, ako vam na kraju ponestane praha za pranje rublja, možete pritisnuti taj gumb i on će nazvati dom i automatski naručiti više za vas, a čarobno će vam više biti isporučeno putem naših dobrih prijatelja u Amazonu.
Za mene me to plaši, jer će se dogoditi eksplozija niza stvari koje su spojene na mrežu i pokušavaju stvoriti povezanost i stvarati potražnju. Ako možete zamisliti, jedna ili dvije od tih stvari možda nisu tako zastrašujuće, ali prošli put kad sam pogledao bilo je preko 110 takvih marki na marki, tako da će gotovo svaka marka na planeti pokušati dobiti svoj vlastiti mali push- gumb IoT, da idete kući i pritisnete gumb i na njemu piše: "Naručite mi pizzu." Pritisnete drugi gumb i on sutra naredi unaprijed pripremljen ručak za vašu djecu.
To pokreće tako ogromnu potražnju za transformacijom u stražnjem kraju, na razini aplikacije, posebno na razini baze podataka, mislim da smo upravo vidjeli vrh ledenog brijega vrste transformacije performansi koju trebamo vidjeti, Uz to, dat ću ga liječniku Robinu Blooru i njegov uvid u vrstu gdje smo i mi.
Rebecca Jozwiak: Dobro Robin, prenio sam ti loptu.
Robin Bloor: Nije li to dobro? U redu, evo me. Vidio sam Dezovu prezentaciju prije nego što sam došao do ovog, pa bih rekao stvari koje su besplatne, a ne samo ponavljanje nekih stvari koje je Dez rekao. Mislio sam razgovarati o evoluciji baze podataka u smislu onoga što se zapravo dogodilo s arhitekturom, i tako dalje, i tako dalje, baze podataka iz povijesne perspektive.
Temeljni problem koji ima bilo koji dobavljač baze podataka je održavanje fleksibilne arhitekture koja mjeri i ide u korak s razvojem hardvera. Razgovarat ću o tome, ali kad se zapravo osvrnete i vidite način na koji su nekada izgrađene baze podataka i način na koji su izgrađene, zapravo se značajno razlikuju od onoga što bih nazvao razinom arhitektonskog dizajna., Vrijedi samo pregledati zašto je to tako, ili barem mislim da je to tako. Hardverski čimbenici, a Dez nam je pružio posebno dobro obnavljanje donjih slojeva u pogledu memorije i diska. Ono što sada imamo, a to je budućnost koja dolazi, Intel je sljedeći, CP koji će imati FPGA na njemu. Što će ljudi s tim učiniti, nemam pojma. AMD spaja CPU i GPU i koja će razlika to napraviti? To su vrste promjena koje će donijeti značajnu bazu podataka, a sumnjam da je Aerospike između ostalog i zato što Aerospike pokreće performanse, vjerojatno je već pogledao to i radio tamo gdje misli da će zapravo ići s načinom na koji proizvod djeluje.
Imamo sustav na čipu koji se još nije skinuo. SSD-ovi o kojima znamo, ali poanta treba naglasiti da se zapravo povećavaju brzina, otprilike stopa Mooreova zakona, faktor 10 na svakih šest godina. No, Intel će izbaciti 3D cross point, za koji tvrdi da može ići više od sto puta brže od SSD-ova, zapravo vrsta kaplje u mješavinu, a to će promijeniti brzinu kojom proizvodi poput Aerospike-a zapravo mogu ići.
Zatim imamo paralelne hardverske arhitekture, drugim riječima način na koji smo izgradili hardver u smislu - u početku je to bio samo CPU koji sjedi nad memorijom, koji sjedi preko diska, ali postaje mnogo složeniji od toga. Ideja sustava na čipu je da zapravo možete imati paralelizam da se čip čip i da sve ide izvanrednom brzinom, a mi nemamo pojma koji će od tih proizvoda zapravo dominirati.
To je samo pogled u budućnost, ali na hardverskoj razini performanse se ubrzavaju i troškovi i dalje opadaju, nekako onako kako je Dez opisao. Vaši CPU-ovi ne moraju nužno jeftinije, jednostavno dobivaju brži i tako dalje.
Iz poslovne perspektive, u nekim situacijama, a to su tržišne situacije, biti prva vrijednost je poslovna vrijednost. Ako posebno - ako ste apsolutno uvjereni da će određena dionica pasti u cijeni, prva osoba koja dobije nalog za prodaju dobije najbolju cijenu. Doista je tako jednostavno. Stoga, postoji tehnološka utrka koja se nastavlja na automatizirano trgovanje u bankama kako bi se te situacije zapravo pokušale i pobjediti. Što se dogodilo nakon toga? Što se događa nakon što banke učine sve sa tim? Iznenada počinjete vidjeti druga područja koja se zaraze istom vrstom potreba za brzinom.
Doista, što se događa, jesu li ljudska bića uklonjena iz jednadžbe, a to se dogodilo s internetskim oglašavanjem vrlo brzo. Ali stvar je bila u tome da to nije specifična transakcija, provođenje metoda, ovo je čitav poslovni proces, činjenica je da je web stranica tek odbačena i treba donijeti odluku koja može biti prilično složena odluka, o tome koji će se oglas zapravo staviti na tu web stranicu, od onoga tko je korisnik preglednika, što je najprikladniji oglas za postavljanje, i tako dalje, i tako dalje. To je postala vrlo složena stvar, i to ću još jednom spomenuti.
No poanta je da performanse i skalabilnost poslovnog procesa nije isti problem kao performanse i skalabilnost mogućnosti upita, a to je nešto što sam dobro svjestan, zbog nedavnog sastanka za informiranje koji smo napravili s Aerospikeom da su također su svjesni. Još jedna stvar, kada zapravo radite ovim brzinama, svojstva imovine važna su za transakciju, bilo koju obradu događaja. Oni su stvarno, stvarno važni. Tako da jako puno onoga što rade neke baze podataka, a to je gubitak slova ili dva od imovine, može djelovati razumno u kontekstu - to će uspjeti u kontekstu o kojem govorimo. Iskreno, nije prihvatljivo.
Iz tehnološke perspektive, vi zapravo gledate - znam da postoje dvije vrste utjecaja kako bi se stvorile takve arhitekture koje su zapravo potrebne da daju brzinu kojom se, poput Aerospike-a, može obaviti milijun transakcija po sekundi. Morate biti vrlo precizni u pogledu razvoja softvera. Ne možeš ih jednostavno spriječiti. Trebate biti zabrinuti zbog duljine staze kodova. Morate se izvrsno koristiti u memoriji i zapravo optimizirate cijele transakcije. Potreban vam je inteligentni paralelizam i također vam je potreban paralelni pad. Vi trebate povećati, a ne skalirati, jer čim mrežu uključite u bilo što, ona postaje najvjerojatniji pokazivač na koji ćete udariti kašnjenje i započet će snositi transakcije.
Morate doći što je više moguće na bilo koji poznati mrežu prije nego što stvarno razmjestite mrežu, a stvarno ne želite brzo skalirati, zapravo ne želite mnogo procesa. Želite mrežu koju ne koristi niko drugi. I želite imati nevjerojatno brzu mrežu.
Ubrzani SSD prostor za pohranu je nešto - mislim da se većina toga odnosi na ono što Aerospike radi. Jedna od zanimljivosti je da je to NoSQL baza podataka. Vjerovalo se - ne znam, prije nekoliko godina - nekada se vjerovalo da je relacijska baza podataka jedina baza podataka i dominirala je u svemu, a to su bile samo ove čudne male nišne situacije u kojima vam nije trebalo ići relacijski. Sad je nekako okrenuta glava. To su brze baze podataka koje se nalaze u tim SQL bazama podataka, a jedan od razloga za to je glavni razlog toga je što izbjegavaju pridruživanje podataka, oni pohranjuju podatke poprilično objektno. Kad završite s objektom, jednostavno ga spremite, a zatim povučete cijeli predmet natrag, to nije spajanje stvari kako bi ih stvarno obradili. Ovo je brzina. Ovakve tehnike koje stvaraju brzinu u kontekstu baze podataka.
Ovo je trag suza, to se dogodilo s bazom podataka. Priča ili pripovijedanje relacijskih baza podataka, kraj baze podataka, zapravo nije bila istinita. Čak i kad su počeli dolaziti do prevlasti, to je ipak bilo potrebno. Objektne baze podataka radile su prethodne transakcije tih dana, jer ih relacijske baze podataka zapravo nisu mogle, a onda se ispostavilo da relacijske baze podataka koje koriste redovne prodavaonice, nisu mogle obavljati ni brze upite, potrebne su vam trgovine stupaca. I tada smo otkrili da, ako zapravo želite raditi grafičke upite na podacima, niti trgovina stupaca niti relacijska baza podataka ne bi bila korisna, a zapravo biste trebali imati posebno izrađenu bazu podataka koja je svjesna grafika. Tada su se pojavile RDF baze podataka i čim ste zapravo počeli razmatrati značenje semantike i dobili smo NoSQL baze podataka vrlo, vrlo konkretno za brzinu. Nazvati ih NoSQL gotovo je kao da markirate sve te baze podataka kao da su iste, zapravo se radikalno razlikuju u onome što se nalazi ispod. Jedini razlog što oni nose ime NoSQL je taj što se ne proklinju oko SQL-a jer je preskup. Latencije transakcije koje su im potrebne.
IoT - za koji sam mislio da ću završiti u istoj točki na kojoj ga je završio i Dez - nije gotovo, sve ove situacije u pogledu brzine i zahtjeva za kašnjenjem nisu završene sve dok debela dama ne počne uništiti ove podatke, a to još nije započelo. Mnogo će tih podataka htjeti imati latencije koje sam svojevrsno naznačio, tako da mislim da je to sve što moram reći. Predajmo ga Aerospikeu i Brianu Bulkowskom.
Brian Bulkowski: Bok, hvala puno što sam se pridružio grupi Bloor i ja na današnjoj prezentaciji. Razmišljajući o onome što su Dez i Robin upravo razgovarali, želio bih vam malo reći o tragu koji je Aerospike iskoristio u pružanju nove tehnologije baza podataka i tehnologije NoSQL baza podataka za brojne industrije. Bio je to sjajan put. Aerospike smo započeli 2008. godine vidjevši dosta trendova koje su Dez i Robin spomenuli. Konkretno o bazama podataka u memoriji koje mogu iskoristiti bljesak, kao i vrsti oblačnih sustava razmjera razmjera i vrstama razmjera potrebnih za personalizaciju, analizu ponašanja i vrstu VIP iskustva o slavnim osobama o kojima se razgovaralo.
Kad smo pristupili problemu baze podataka koja je bila napredna operativna baza podataka koja je bila sposobna pružiti podloge aplikacijama koje bi se mogle napisati da bi se ovo riješilo, započeli smo s problemom kako da u osnovi napravimo distribuiranu hash tablicu, memoriju -dijeljeni hash tablica koja je bila iznenađujuće brza i sposobna za stvari poput milijuna transakcija u sekundi, ali po razumnoj cijeni. Kad smo završili svoj prototip, shvatili smo da bismo tada morali shvatiti kome će možda trebati ovakva brzina. Budući da je tvrtka iz Silicijske doline, brzo smo otkrili da je to zaista reklamna industrija koja je sposobna konzumirati ove vrste informacija i zanimala ih je, pa bih želio provesti sekundu razgovarajući o licitiranju u stvarnom vremenu i kako ovo tržište djeluje.
Robin je spomenuo kako djeluje financijsko trgovanje, što je prva transakcija koja je često dobitna transakcija, a u osnovi je vrijeme za tržište latencije i vrijednosti kašnjenja. Oglašivačka industrija je malo drugačija, na zanimljiv način, jer cilj oglašavanja je poseban - ono što se naziva dojam, mogućnost isporuke oglasa - aukcija i aukcija traje između deset milisekundi do pedeset milisekundi. Naziv igre, a često stotine tvrtki koje sada u stvarnom vremenu licitiraju za svaki oglas koji se postavi na Internet, jest dobiti najviše količine podataka i donijeti najbolje algoritme koji se podnose u tih deset do pedeset milisekundi tijekom najveća količina podataka.
Ova promjena i pomak događali su se u reklamnoj industriji, u svakoj od tih malih milisekundi, vremenski ograničena komplikacija najboljih algoritama u najvećoj količini podataka, a za to spajate puno malih komada podaci. Najnovije informacije o IP adresi, nedavne informacije o određenoj kategoriji uređaja, nedavne informacije o ponašanju web stranice, nedavni pojmovi za pretraživanje sve bi to ušlo u tajni umak algoritama određene tvrtke kako bi se utvrdila cijena i ponuda.
Ovo je bilo fascinantno tržište kojem treba biti dio. Prvo smo implementirali Aerospike 2010. godine kod nekih prvih tvrtki koje ozbiljno rade u ekonomiji licitiranja u stvarnom vremenu, a zatim smo postigli, u osnovi to skladište podataka o ponašanju, za većinu tvrtki u toj tvrtki prostor. Ono što smo od tada pronašli, a to je posebna arhitektura koju ću detaljno objasniti tijekom ove prezentacije, jest da se sve to događalo u 2010., 2011., 2013. i nastavlja se razvijati. Oglašavanje je vrlo dinamično tržište.
Ali takav VIP doživljaj, možete zamisliti kao postavljanje pravog oglasa, ne stavljanje oglasa za recimo dječje proizvode, jer ja slučajno nemam djecu, tako da neću imati učinkovit oglas ako je ako se radi o brzim automobilima, to je vrsta oglasa za Briana. To je stvarno vrsta VIP iskustva u ponudama, bilo da popusti ili ne, ako ste na maloprodajnom mjestu, čak i pri otkrivanju prijevara. Je li to uobičajen obrazac za određenu osobu ili određenu kreditnu karticu? Sav taj oblik tehnologije analitike u stvarnom vremenu, predviđanja ponašanja, prediktivne analitike sada proviruje iz reklamne industrije, koja to radi već nekoliko godina radi zabave i profita, i stvarno ulazi u maloprodaju i bankarstvo, otkrivanje prijevara itd. kroz određenu arhitekturu. Dakle, Aerospike je imao privilegiju biti dio većeg broja tih slučajeva.
Arhitektura za koju vidimo da djeluje i koja je praktična za to je ona gdje umjesto stvaranja skupa upita s aplikacijskog poslužitelja, umjesto da više svog računanja premjestimo na sam poslužitelj aplikacija, a zatim pomoću baze podataka u osnovi pohranimo motor za vrste predmeta o kojima je Robin govorio. U ovom slučaju, ove arhitekture, prije svega, ne miješaju to s vašom stvarnom analitikom ovdje. Na desnoj strani ovog slajda vidite da još uvijek postoji analitika ovdje za dobivanje uvida. To su poslovi koji često rade preko petabajta, desetaka petabajta podataka, čak i pretjerano troši u slučajevima nekih naših velikih kupaca, koristeći razne tehnologije. Trebate imati tim s velikim podacima, analitički tim, kvantitativni tim koji će shvatiti što su, recimo, geoprostorne koordinate važne, koji modeli funkcioniraju u smislu pronalaženja tih odnosa i stvaranja VIP iskustva. To je čitav problem, a nije problem u kojem je Aerospike izravno sudjelovao, a tu je i hrpa sjajne tehnologije kada se bavite takvim sustavom.
Ono što smo bili uzbuđeni i radimo s industrijom je da nakon što steknete te spoznaje, kako se uključiti u vrstu transakcije stroj-stroj ili brz stroj-čovjek, gdje uzimate te uvide i donosite stvarni su za svaku osobu, trenutak po trenutak? Arhitektura koju smo vidjeli koristeći je ona na kojoj je napisan poslužitelj aplikacija koji radi svu tu matematiku i gleda kroz modele koje ste stvorili i gledajući nedavna ponašanja i to rade u osnovi ključne paradigme ili barem vrlo lagan upitni sustav.
Kad se bavite vrstama podataka o kojima govorimo, vrstama tokova o kojima pričamo, s milijunima pisanja u sekundi, milijunima čitanja u sekundi, milijunima i stotinama i tisućama odluka po drugo, izgradnja složenih indeksa, višedimenzionalnih indeksa, jednostavno ne djeluje dobro, nije skalabilno. Način da se postigne ovakav oblik razmjera je provoditi puno paralelizma. Malo ćemo razgovarati o tome kako ćemo to učiniti kasnije. No, dio toga je poslužitelj aplikacija bez državljanstva napisan na vašem jeziku.
Ono što često vidimo je određeni projekt koji podrazumijeva novi aplikacijski okvir zasnovan na ljudima koji rade tamo, tehnologiji koju koriste i problemu kojem pristupaju. Vidjeli smo ljude koji koriste Python, puno ljudi koristi Java, još uvijek vidimo C programere, jer mnogo toga je i dalje visokih performansi, možda čak i koristeći stvari poput starih MATLAB knjižnica. I moraju dotaknuti tisuće i tisuće podataka u sekundi kako bi donijeli učinkovitu odluku.
Jedno pitanje koje sam si ponekad postavljao je: "Pa, Brian, ako si sposoban za milijunske transakcije u sekundi, kome je to potrebno?" Ako pogledate, na primjer, obradu plaćanja u Sjevernoj Americi, a Aerospike je uključen u rješenja koja otkrivaju prevare unutar tog sustava i podržavaju programere aplikacija koji rade neke vrlo inovativne stvari u otkrivanju prijevara, samo nekoliko tisuća platnih transakcija u sekundi prolazi čak i kroz najveće platne procesore. Pa ipak, kada nam je prva tvrtka došla i rekla da gledaju koristeći NoSQL i htjela je vidjeti kako će izgledati naše rješenje na kojem se temelji njihova aplikacija, rekli su da žele dodirnuti 5000 komada podataka u prozoru veličine 750 milisekundi. Pa odjednom imate nekoliko stotina poslovnih transakcija i nekoliko tisuća podataka koji treba uzeti u obzir u svakom računanju, a sada ste u području kada trebate milijune transakcija u sekundi.
Slučaj - odustajanje od oglašavanja na trenutak, slučaj prevare je fascinantan jer tamo gdje ima novca, postoji prevara i sprečavanje prijevare u stvarnom vremenu, za razliku od pokušaja analitičkog rješavanja nakon što se dogodila prijevara, zaista je bilo da dovedete do interneta što je moguće više podataka, a to možete smatrati odrazom tog VIP iskustva. Ponaša li se ta osoba na način na koji se obično ne ponaša? Stoga se povećavaju šanse da je riječ o prijevarnom sustavu, a zapravo ne o ovoj osobi. Običava li ta osoba obično putem određenog uređaja ili skupa uređaja, s određenim skupom razlučivosti zaslona? Obično li pokazuju određeni obrazac shopping ponašanja? Možda tijekom procesa same transakcije možemo prevariti prijevaru u pupoljku. To bi vas trebalo jako podsjećati na vrstu stvari koja se događa unutar transakcije u reklamnom sustavu.
Vrste sustava koje rješavamo su oni u kojima svaki pojedinačni procesor plaćanja ima veliki tim podataka, imaju puno povijesnih podataka, stvaraju nove modele, ne dijele s nama na Aerospikeu sve modele, jer oni stvarno sam tajni umak. Ako ste pretplatnik na Gartner i čuli ste Gartner kako govori o ekonomiji algoritama, ovo je jedan algoritam i jedna tvrtka koja se bori protiv glave kako bi smanjila prevaru i povećala broj uspješnih transakcija, jer također ne ne želite blokirati transakcije. To su takvi projekti koje tražimo u Aerospikeu na ovim razinama razmjera.
Drugi slučaj na kojem radimo s tvrtkama za financijske usluge je ono što se naziva Intraday sustav evidencije. U ovom slučaju, ono što se događa je vrsta bogatijeg iskustva, čak i u sustavu trgovine na malo, ono gdje želim moći pogledati svoj određeni položaj i želim to učiniti vrlo precizno. Ne želim uhvatiti ispred svog DB2 sustava. Umjesto toga, želim pogledati točne podatke i između mobilnih, ali i stvari poput ponovnog izračuna rizika, rekalkulacije rizika sada bi se trebale provoditi iz minute u minutu, želite biti u mogućnosti ponovno izračunati svačiji rizik, kao i globalni rizik, sistemski rizik za cijelu tvrtku u roku od nekoliko minuta.
I opet, to je isti problem. Svaki pojedinačni račun koji je određen, smatrajte to ključnim pronalaskom vrijednosti određenog objekta, tada se to može raditi paralelno, i što je najvažnije, ova paradigma vam omogućuje pisanje koda i algoritama na jeziku visoke razine, što je lakše uklanjanje pogrešaka i brže vrijeme za tržište. U ovom ekonomičnom algoritmu, moram biti u mogućnosti pokrenuti svoje algoritme na mreži sada. Ovo je vrlo različit problem za modeliranje i poslovni odnos, u čemu su relacijski sustavi sjajni. Kada imate tablicu dijelova, a ti su dijelovi povezani s narudžbama, a ti su nalozi povezani s ljudima, imate poslovni proces koji se može strogo modelirati i vjerojatno se neće mijenjati tijekom životnog vijeka vašeg poslovanja. Međutim, novi algoritam za pronalaženje novog obrasca prijevare mora biti napisan točno i brzo, a on se mora povezati putem interneta, donositi poslovne odluke u roku od nekoliko dana, ako ne i brže. Rješenje NoSQL za ovakav sustav zapisa zaista je nevjerojatan sustav za ove momke, jer im omogućuje da brzo gutaju podatke, kao i da grade nove algoritme, tako da nije samo novo korisničko iskustvo u adresiranju mobilnih, već stvarno izgradnja širokog spektra novih aplikacija.
Ono što u Aerospikeu vidimo dugoročno jest činjenica da svaka vrsta baze podataka, svaki fizički izgled podataka na disku imaju svoje komponente, a u Aerospikeu smo stvarno usredotočeni na tu ključnu vrijednost ili sustav koji je orijentiran na ulogu, kako je rekao Robin, s velikom transakcijskom dosljednošću i stvarno dopuštaju ljudima poput trgovina stupaca i jezgara s velikim količinama podataka, kao i hardcore transakcijskih sustava koji su imali ograničenja u izvještavanju. Vidimo da se svi trebaju uključiti u mnoštvo različitih upita. Vidimo neke motore upita JSON. Vidimo stvari poput elastičnog pretraživanja, vidimo Spark, za sve potrebe različitih sorti u različitim vremenima, poput trgovina stupaca, kao i trgovina sa redovima, u čemu se Aerospike ističe.
Doista vidimo da će ove različite vrste i industrija dolaziti do točke kad će biti potrebno odabrati sve vrste pasmine svake od njih. Nažalost, zbog stvarnosti dugoročne analitike i skupa radnih stihova analitike i operativnih ograničenja, vjerojatno nećemo doći do točke da imamo jedinstvenu, jedna veličina odgovara svima, ali doći ćemo do mogućnosti da da se jasno odaberu neki od osnovnih rasporeda podataka.
Razgovarajmo na trenutak o inovaciji bljeskalice. I dalje se postavljam pitanje, iako je, kako je ranije bilo komentirano, bljesak već dugo s nama. Kad smo pokrenuli Aerospike 2009. godine, bila je godina, vjerujem, možda, da, 2009. godina kada je Intel izašao s X25, koji je zapravo bio prvi SATA fleš pogon s masovnim tržištem, a prije toga bilo je nekoliko flash sustava, ali stvarno je to bio onaj koji je provalio u svijest mnogih tehnologija. Fusion-io je nakon toga stvarno donio bljesak na širem tržištu poduzeća.
Sada se događa sustav koji se zove NVMe. NVMe je standard sličan SATA ili SAS ili čak SCSI koji omogućuje različitim dobavljačima kartica interakciju s upravljačkim programima unutar operativnog sustava uz visoku razinu učinkovitosti. Dakle, stvara veću razinu performansi, prije svega zato što se NVMe temelji na PCIE kao njegovom osnovnom prijevozu, koji je mnogo brži od SATA, SAS ili bilo čega drugog, ali isto tako omogućava vozačima najbolje rase.
Na primjer, unutar Linuxa postoji ovaj tip Jens, a Jens je vodič za upravljačke programe NVMe, Jens expo, i on radi bolji posao nego što bi to svaki pojedinačni vozač Intel ili Fusion-io mogao napraviti sa svojim pojedinačnim pokretačem, sa svim svojim resursima. Kada imate moć samog operativnog sustava da bude u stanju izgraditi najbolje pokretačke programe, vidimo neke zaista zadivljujuće razine performansi. To sve podupire ideju da bljesak zaista može pružiti puno male latencije RAM-a.
Aerospike je i dalje sjajna baza podataka RAM-a zbog svog modela klastera. Međutim, otkrili smo da jednom kada radite mrežni skok, za koji trebate imati pohranu veličine, već trošite najmanje pet do 50 mikrosekundi, dodatnih 70 mikrosekundi NAND-a obično ne predstavlja prepreku i mogli biste koristiti bljeskalicu s obzirom na NAND bljesak s obzirom da je mreža već uključena u to. Mnogi se ljudi tada pitaju kako - ovo sve zvuči sjajno ako kupujete vlastiti hardver, kako to rade javni oblaci? Mislim da ćete odmah pronaći, bez obzira na javni oblak koji koristite, ti javni oblaci imaju vrlo jaku flash ponudu. To se malo razlikuje od pružatelja usluga oblaka do pružatelja usluga oblaka. Amazon ima svoje I2 slučajeve koji su nestali, mislim da su godinu, dvije godine doista bili vrlo kvalitetni uređaji za bljeskalicu, a Aerospike na sebi ima obrazac implementacije.
Želio bih posebno pozvati Google Compute, Google Compute Engine, Google Cloud, jer po našem iskustvu oni do sada imaju neke uređaje s najvišim performansama i neke od najfleksibilnijih u pogledu obrazaca implementacije. Ali također vidite i nove obrasce implementacije poput Pivotal-a, koji je vrsta javne / privatne, tako da možete ispravno raditi Pivotal aplikacije na oba mjesta koja podržavaju flash i podržavaju različite uređaje za pohranu, kao i Docker obrasce. Dakle, ovo je trenutak u povijesti u kojem vam blic nije dostupan samo za kupnju i stavljanje u vaše podatkovne centre, već je doista potonuo kod svih pružatelja usluga infrastrukture, jer je to zaista najbolji način da nabavite visoko-IOPS sustave na vrlo razumna kašnjenja.
Samo trenutak o Aerospikeu - Aerospike je distribuirana baza klastera, što ga čini vrlo pogodnim za raspoređivanje u oblaku kao i za podatkovne centre. Otkrivamo kako je fleksibilnost mogućnosti dodavanja više podataka i veće performanse apsolutno neophodna u ovakvim novim mrežnim aplikacijama jer pokrećete projekt, a ne znate treba li vam pedeset tisuća transakcija u sekundi, sto tisuća, milijun, dva milijuna, pa si želite osigurati prostor da biste mogli dodavati poslužitelje. Pa ipak, želite da povećate područje tako da svaki poslužitelj može biti brz sam. Zapravo ne želite završiti s pet stotina ili tisuću poslužitelja koji su spori serveri baza podataka. Scale out nije jedina igra u gradu, njegova razmjera se povećava i povećava se, kao što je Dez ranije govorio, tu je i nova Z osovina.
Nadam se da vam daje neke nove ideje o tome kako se brzina i razmjera bave novim tržištima i možda postoje projekti na kojima radite gdje ćete moći razmotriti doista izrađujući bogatije aplikacije i koristeći aplikacijski okvir s više ključa vrijednost ili NoSQL baza podataka ispod njega. U Aerospikeu sam sigurno vidio puno naših kupaca i puno naših korisnika otvorenog koda uspio je s tim obrascem, te se radujem što će ga industrija u većoj mjeri usvojiti.
Rebecca Jozwiak: Puno hvala Brian, i sigurna sam da Dez i Robin imaju dobra pitanja za tebe. Robin?
Dez Blanchfield: Sretan sam što sam skočio. Robin, imaš li pitanje? Inače imam jedan brzi koji mogu započeti.
Robin Bloor: Oprosti, bio sam u nijemi. Zaronio sam unutra, ali niko me nije čuo. Odmah mi je postalo pitanje jer je ovo vrlo sofisticiran skup tehnoloških mogućnosti. Što se tiče postojećih kupaca koje ste dobili, kakva je stopa eskalacije ili brzina transakcije u vezi s tim oglasima? Nastavlja li se stopa transakcije? I ako je tako, kojom stopom?
Brian Bulkowski: Zanimljivo pitanje, Robin. Svaka industrija ima svoju krivulju u svakoj tvrtki. Uzmimo, recimo, sjevernoameričko oglašavanje, recimo 2012. godine, sjevernoameričko oglašavanje prikazivalo se vjerojatno bliže 200 000 oglasa u sekundi, nekako kao standardni dan, a ne moje vrijeme, a sada je eskaliralo vjerojatno na oko tri do pet milijuna oglasa u sekundi. Ali onda se dogodila zanimljiva stvar. Industrija oglasa počela se baviti nekim problemima s prijevarama, a dijelovi industrije koji su u stanju blokirati prevaru vidjeli su da stope transakcija malo padaju, otprilike faktor dva, unutar nekih od naših sofisticiranijih klijenata koji su bili u mogućnosti utvrditi prevaru. Naravno da su morali napraviti neke pretrage baze podataka kako bi blokirali prijevaru, pa se na kraju sve nekako završilo.
Zanimljiv je slučaj upotrebe u telekomu, nisam to posebno spomenuo, telekom je vidio da se transakcije povećavaju zbog naplate na temelju svakog pojedinačnog paketa koji prolazi kroz mrežu mobitela. U stara vremena imali smo detaljne zapise o pozivima i jednom minutu bi poziv, što znate, malo pinga prošao kroz mrežu i ima li ovaj tip još minutu? Sada moramo izraditi i izjednačiti rutu na temelju svakog paketa na internetu. To je - oprosti u mobilnoj mreži, koja odjednom postaje na stotine paketa u sekundi i nešto iznova i iznova raste. Tako da je jedan slučaj da svaki program vozi lijepu malu vrstu 2X godišnje. Unutar nekih kupaca vidimo: "Ali pričekaj, imam novu aplikaciju. Želim dodati neku prijevaru svom riziku. Želim dodati nešto dublje iskustvo kupca svojoj prevari i riziku. "Svaki od njih stvara novo opterećenje na bazi podataka.
Robin Bloor: Da, mislim da mislim da je to ono što sam nagovijestio u kratkoj prezentaciji koju sam dao, da je ovo - nekad smo mislili da je transakcija, da netko nešto napravi i možda postoji kaskada događaja i sve se to zabilježi, i sada puno transakcija ima ogroman broj pretraživanja, a vi ste dali nekoliko primjera u prezentaciji. I zato zapravo više ne izvršavate transakciju, već zapravo izvršavate vrstu aplikacije koja u nju može imati puno, puno elemenata.
Drugo pitanje prije nego što predam Dezu - jer očito se bavimo timom - drugo pitanje na koje bih volio da odgovorite ako na njega imate razuman odgovor je i Dez i očekujem da će Internet Stvari, ili Internet svega, kako se ponekad naziva, stvaraju prilično dramatičnu količinu transakcijskog prometa. Možete li razgovarati s tim? Je li to vaše iskustvo, imate li kupce koji vam se javljaju s tom određenom vrstom problema i koji je vaš pogled na to u ovom trenutku?
Brian Bulkowski: Naravno, mislim da postoji mala zbrka i, najblaže rečeno, što se tiče interneta stvari. Kupci koje vidim do sada jednostavno dovode internet do stvari koje imaju. Razmislite o tim Amazonovim gumbima - sve je to Amazon - ti gumbi, ne možete ih mijenjati i prebaciti ih na Walmart online. Nije poput preglednika u kojem možete miješati i slagati sve. S druge strane, događa se stroj-stroj, a kada priključite svoj Teslin automobil da biste ga napunili, Tesla šalje ogroman protok informacija, svaki pojedinačni senzor u automobil, ali on se uliva u Teslin računar na analizu i poboljšava kvalitete. Ono što vidim je da su svi ti strojevi na stroj i svi senzori unutar pojedine tvrtke, što stvara nove zahtjeve.
Danas većinom to se ulijeva u ove analitičke sustave, i uzmite slučaj Tesle; Teslina prva upotreba toga, prema mom shvaćanju, bila je poboljšanje trajanja baterije, pod nazivom "Koje su radne temperature, koja su opterećenja?" Pogledajmo to, osmislimo bolju bateriju. "Ali tada počnu razmišljati, i to je sve sjajno, to je vrsta fascinantnog problema duboke analitike, sljedeće je pitanje:" Kako da poboljšam iskustvo svakog trenutka ?”
A sada uzmimo slučaj poput Nest-a gdje pokušavate napraviti prediktivnu analizu da biste iz dana u trenutak mijenjali temperaturu kuće. To je takav slučaj kada se počnemo viđati u Aerospike-u, gdje se nalazi ovo ogromno jezero podataka i postoje ogromni analitički procesi, ali što ću sada učiniti? Trebat ću to zadržati, razmišljati o tome kao o gotovini, o nekom dijelu prošlog tjedna, prošlom mjesecu, možda čak i o informacijama koje vrijede posljednji dan, vjerojatno na zadnjoj strani jer imamo posla s jednostavnim senzorom uređaja, i ja ću u tom trenutku raditi trenutak analitike da promijenim iskustva. Takva Nest-iskustva, za koja vidim slučajeve korištenja Aerospike-a.
Robin Bloor: U redu, ono što sam očekivao s Internetom stvari bilo je da ćete početi dobivati okidače praga i da će početi stvarati kaskade događaja. Jeste li vidjeli nešto takvo ili to još niste vidjeli?
Brian Bulkowski: Dez i ja - upravo sam pitao Dezovo mišljenje o tome kad smo prije razgovora razgovarali. Ono što još nisam vidio je vrsta kaskade podataka jedne tvrtke koja kaskadno prelazi u drugu tvrtku, da moj Samsung hladnjak razgovara s mojom LG perilicom rublja, jer je upravo shvatilo da sam po podu prolio čitavu hrpu čokolade, takvu tvrtku do tvrtke do uređaja, mislim da to još uvijek čekam u smislu Interneta stvari. Mislim da postoje problemi u poslu i sigurnosti koji su uglavnom netehnički i na njih je potrebno odgovoriti.
Robin Bloor: Dobro, Dez?
Dez Blanchfield: Zapravo imam vrlo snažna stajališta o toj posljednjoj točki, koju ću samo ukratko unijeti u razgovor. Mislim da često poslovanje i tehnologija misle da zapravo voze tamo gdje dolazi potražnja, ali kad pogledamo što se dogodilo kada je iPhone postao stvar, a po mom mišljenju to je bio prvi mobilni uređaj, ako se oprostiš dosjetka, ali uređaj koji se može nositi oko sebe, a koji zapravo može pokrenuti puno malih aplikacija u džepu, i donio je značajnu transformaciju u onome što smo mislili o računalu. Puno ljudi misli na iPhone ili pametne telefone ili Android telefone kao telefone, ali nisu, oni su zapravo samo malo računalo koje pokreće aplikacije, a jedna od aplikacija koju pokreće upućuje pozive, a oni nisu pozivi o kojima više mislimo, nisu analogni poziv točka-u-točka kao što je naglasio Brian, oni su mali paketi koji se preusmjeravaju naokolo.
No, češće od toga, ono što smo vidjeli jest kako se ova pobuna pametnih telefona zapravo i ne koristi za obavljanje poziva koji često, vjerovatno 98% onoga što radim na svom pametnom telefonu nije da upućuju pozive. To je sve osim poziva, to je aplikacija. Mislim da ovaj kaskadni učinak - i želim to brzo dovesti u pitanje - ali kaskadni efekt zapravo donose potrošači, a u stvari imam ovaj jedan koš koji često izbacujem kako bih dobio hrpu CXO-ova sjediti u sobi i obratiti pažnju ako mislim da zaspe uz prezentaciju koju radim, što se ne događa prečesto, nadam se.
Rekao sam da je to zbog poremećaja koji vidite u svom poslovanju zapravo ne vođen isključivo tehnologijom, to je češće nego da vas klijenti ne vode. I oni nekako sjede i zapravo se pitaju, što on tamo znači? Kada razmišljam o korištenju tehnologije, mislim da smo vidjeli USENET, vidjeli smo sve ove vrste zabavnih stvari koje se događaju na internetu, ali nije mnogo ljudi predvidjelo društvene i utjecaj iste. Svi koji žele svima reći što im je za doručak, te buku koja je to stvorila i pomoćnu tehnologiju koju smo imali, a onda naravno oglašavanje pokušava to nadoknaditi stvarima.
Mislim da ćemo vidjeti kaskadni učinak do točke kada uređaji razgovaraju s uređajima, a potrošači tek shvaćaju što to zapravo znači i što to može učiniti. Izdvojili ste zanimljivo pitanje zašto gumb Amazon neće razgovarati s Walmartom. Postavit ću ovo pitanje, što se događa kad Walmart dobije svoj gumb, a što onda ako dvadeset najboljih Amazona i Walmartsa te ostalih glavnih distribucijskih i maloprodajnih mreža dobiju svoje gumbe? Kamo nas to vodi? Konkretno, moje pitanje s Brianom bit će: "Kamo idemo s ovom novom paradigmom performansa? Nalazite se na rubu krvarenja i radite s tvrtkama koje to rade kako na razini fizičke infrastrukture, tako i na razini prijenosa podataka. Kamo nas to vodi, kada dođe sljedeći veliki val? Kakvu vrstu uvida oko toga možete podijeliti s onim što se događalo na početku iskustva iz vašeg iskustva? "
Brian Bulkowski: Naravno, način na koji mislim o puno tih stvari su se usredotočiti na korisnička iskustva i točno ono što je rekao, to su korisnici koji pogon, iako, kao tehnologa i kao poslovni ljudi, možemo se s pametna ideja za koju smatramo da se korisnici sviđaju, pa ću se nekako vratiti na primjer Nest. Kad je moja sestra postavila Nest u svojoj kući, rekla je: "Moja je kuća mirnija, mogu čuti stvari. Čak nisam ni to što manje plaćam struju ", jeste, ali ti sada Nest ne možeš iščupati iz ruku jer voli biti u mirnijoj kući za razliku od kuće u kojoj grijanje pušta maksimalno a zatim se isključite.
Pitanje se na kraju postavlja, koja su korisnička iskustva koja možemo osnažiti? To je kraj, iskustvo kvalitete života da bismo, ako imamo novac i bili u prvom svijetu, za to puno platili. Dat ću vam primjer iz moje vlastite kuće, moja djevojka voli hladno mlijeko. Voli stvarno hladno mlijeko, pa često moramo pokušati shvatiti gdje će u hladnjaku biti dovoljno hladno, a ostale stvari ne pregrijavati. Pa, ovo je sjajno - i rekao sam svojoj djevojci, "Da li biste plaćali 10 USD mjesečno hladnim mlijekom i da niste imali smrznute narezke?" Ona je rekla: "Apsolutno." I uzimala 10 USD mjesečno od bilo kojeg potrošača je tvrd.
Mislim da u tim iskustvima doista moramo paziti na to što je to krajnje iskustvo potrošača koje se doista može pokrenuti. Mislim da je to bilo dio tajne iPhonea. Mislim da je to dio tajne Tesline konstrukcije boljeg automobila sa svim podacima, ukidajući ideju o proizvodnom ciklusu i godišnjem izdanju i neprekidnim poboljšanjima na svakom dijelu. Morat ćemo smisliti pametne ideje o tome kako zapravo iskoristiti sve ove podatke na način koji je trenutak po trenutak uvjerljiv u život ljudi.
Dez Blanchfield: Da, to je sjajan uvid. Vodeći se od toga, drugim krajem spektra, koji upravo odjekuje s onim što sada vidimo sa onim što potrošači traže, a svi mi imamo nešto u kući što je hladno od ovoga i toplo od toga. Drugi kraj spektra je, a to smo vidjeli u tradicionalnom „svijetu velikih podataka“, gdje dodjeljivanje podataka postaje rjeđe od kokošjih zubi, a oni koji se nude na tržištu nude se više nego što zarađuju CIO-i. u nekim slučajevima, vrste tvrtki s kojima radite i vrste razvoja koje ste vidjeli, je li slučaj da vrste programera i tip arhitekta podataka i mrežni specijalci postaju sve teže i teže pronaći ? Trebaju li nam organizacije da počnu razmišljati o tome kako unaprijediti krivulju vrste vještina koje su im potrebne u zadnjem dijelu za vrstu programera i arhitekte podataka? Što vidite na toj razini što se tiče resursa vještina koje će razumjeti kako ovu tehnologiju sada dobro koristiti?
Brian Bulkowski: Da, mislim da je to jedan od izazova s kojima su suočene organizacije s kojima sam razgovarao. Bilo da se radi o - najgorim problemima za koje sam čuo zapravo su neka veća poduzeća, jer ako kažete: „Ja sam iz ove velike banke, ja sam iz Chasea i bio sam arhitekta podataka, “ onda ste „ Imate svijet kamenica i plaća vam raste, pa postoji problem sa pronalaženjem posla na jednom od tih mjesta jer nema dovoljno ljudi i mogućnost da se jednostavno preselite s posla na posao. Ne čujem ništa osim takve vrste problema i to je zapravo jedan od razloga zašto sam Aerospike usredotočio na korištenje alata koji je prikladan za određeni projektni tim.
Umjesto da pokušate ući u projektni tim i reći, "Hej, trebali biste upotrijebiti naš jezik upita." Pogledajte, ako se ti ljudi ovih dana voze autobusom, momci i momci i ako koriste određeni jezik upita i alata, oni će se držati toga, i ne mogu ih koristiti ni u čemu drugom. Moj je cilj omogućiti vrstu Aerospike-a kao bazu podataka iza bilo kojeg alata koji koriste i to je dio ove ideje, dijapozitiva o budućnosti Poliglot-ove baze podataka. Moram podržati obrasce primjene i analitike između ovih momaka, jer je zaista teško pokušati pronaći ljude koji imaju matematičku pozadinu kao i statističke mogućnosti za navigaciju ovim svijetom.
Dez Blanchfield: Još jedna zanimljiva stvar da ljudi ne mogu biti svjesni, mislim Aerospike je vrlo jak igrač u open-source svijeta, ja sam željela dobiti vrlo brzo uvid u vrstom što to znači što se tiče kako posluje i što on čini za vas. Spomenuli ste da ste izravno radili s ljudima koji rade stvari sve do razine kernela iznutra, tako da Linux kernel. Postoje neki veliki igrači koji su na ovom prostoru, a postoje neke poznate robne marke koje nećemo spominjati, ali organizacija poput Aerospikea, u vašoj novijoj novijoj povijesti, iskustvo otvorenog koda, kako se to uklapa u širu sliku i koje ste konkurentske prednosti vidjeli da vam to daju?
Brian Bulkowski: Sigurno, kada smo prešli na open source 2014. godine, to smo i učinili, jer smo shvatili da temeljnoj infrastrukturi, poput baze podataka, mora biti izvor dostupan, treba joj vjerovati i prirodna kontra ravnoteža između starog zatvorenog svijeta izvor, i nakon što uložite u određenu bazu podataka, ti momci su vam naklonjeni za tehnološki ciklus nakon tehnološkog ciklusa i tu mora postojati ravnoteža. Moramo biti u mogućnosti da iznesemo verzije koje rade nove stvari, a možda je to u korporacijskoj verziji, moramo imati model dvostruke licence koji ima verziju otvorenog koda za ljude koji puštaju gume koji rade neprofitne poslove, kao i za poslovnu verziju koja je vlasnica licence i omogućuje neograničen rad.
I naravno da ćemo imati i najvišu razinu brzine i razmjera, što je poslovna verzija. Vjerujemo u model dvostruke licence, a to je bilo sjajno za naš posao. Želimo da ljudi započnu s Aerospikeom, želimo da mali projekti puštaju gume, super je jednostavno otići u Amazon, pokrenuti skriptu za potvrdu i pokrenuti Aerospike klaster u roku od pet minuta. S druge strane, želimo pružiti više korporativnim kupcima.
Dez Blanchfield: Nekako smo blizu vrha sata, pa ću se na trenutak vratiti natrag u Rebeccu, ali ako postoji samo jedan linijski brod koji biste bacili vani, vrsta savjeta dali bi ljudima koji žele ući u prostor tehnologije koju ste unijeli na tržište i kako će je usvojiti, što biste rekli da je prvi korak za njih nekako da se barem usitne noga i početi gledati kako će postići konkurentsku prednost s vaše platforme?
Brian Bulkowski: Svakako, dio poruke ovdje je da su brzina i vještina sada jednostavni. Ne treba vam klaster Cassandra s tisuću čvorova da biste postigli milijune transakcija u sekundi. To možete učiniti već u prvim fazama vašeg projekta. Tako da su stvari puno lakše nego što su nekad bile. Onda je drugi savjet koji ćete morati smisliti, baš kao što kažete, matematičke modele angažmana kupaca poslovnih procesa koji koriste sve ove podatke, tako da je dobra vijest da su podaci dostupni, loša vijest je da zapravo morate pronaći neke obrasce i neke zanimljive slučajeve upotrebe.
Dez Blanchfield: Da, odličan savjet, pa ću se sada predati Rebecci. Hvala vam puno na tome, bio je to sjajni mali razgovor o tehnologiji, cijenim to.
Rebecca Jozwiak: Hvala, Dez. Imam nekoliko dobrih pitanja iz publike. Dopustite da bacim ovaj slajd. Znam da ste razgovarali o sustavu snimanja i glavnim okvirima, ali koliko često vidite apsolutno prebacivanje ili je replikacija pomirba s danom tokom dana, onakva kakvu viđate više?
Brian Bulkowski: Ono što vidimo u Aerospikeu koristi bazu podataka NoSQL ispred sustava pomirenja na kraju dana. Trebate unutar dana, točan odgovor. Ne možete imati pogrešan odgovor, a to je ono što je Robin rekao o imovini podcijenjeno, ali poslovni procesi oko zakonskih zahtjeva pomirenja mogu se poprilično zakomplicirati i postoje desetljeća tehnologije i desetljeća zakona i zakonske prakse oko pomirenja. Dakle, ono što vidimo kod Aerospike-a, radićete svoje algoritme na toplijoj bazi podataka s više transakcija u sekundi. Ali iz pravnih razloga apsolutno vam je potreban sustav pomirenja koji je prošao kroz te pravne postupke. Vidimo oboje, i vidimo da je to u osnovi dvoslojna informatička praksa kojoj su izloženi ljudi poput Anderson Consultinga i Gartnera u određenoj mjeri. Mnogo toga vidimo.
Rebecca Jozwiak: Dobro, dobro. Netko je drugi pokazao interes za ovaj slajd, rekao je da je zaista zanimljiv i pitao se možete li ući u malo više uspoređivanja bljeskalice i pamćenja.
Brian Bulkowski: Svakako, dopustite mi da ponovno uzmem na bok, znam da smo blizu kraja vremena. Pa bljesak je memorija - to je čips - naginjem razmišljanju o RAM-u. Dakle, RAM ima određene karakteristike, zahtijeva puno snage, vrlo je dobar kod nasumičnih pisanja i slučajnih čitanja. Tamo gdje je NAND sposoban za brzo nasumično čitanje i manju snagu, ali vrlo je loše kod slučajnih pisanja. Postoje neke suptilne razlike u načinu na koji ta dva čipa djeluju na razini litografije, što stvara niz tehničkih razlika.
U slučaju kada radite analitiku i morate preskočiti puno podataka, ili u slučaju Aerospike, gdje ste dobili indekse, indekse je još uvijek dobro koristiti u RAM-u zbog paralelizma i slučajnog pristupa. Zahtijeva se viša razina slučajnog pristupa. U Aerospike-u, međutim, pomoću tih indeksa nalazimo određeni objekt ili komad podataka, to je prikladno mjesto za uspostavljanje NAND-a, jer ono postaje neka veća trgovina ispod indeksa. To je onda jedna transakcija s uređajem za pohranu, ali nakon što ste napravili puno mogućnosti i filtera u vašem indeksirnom sustavu.
Rebecca Jozwiak: Dobro, dobro. I onda, znam da smo o IoT-u već puno razgovarali, a jedan od sudionika je rekao da je IoT u velikoj mjeri koristan, ali razmišljaju li tvrtke, vladini subjekti i programeri sigurno i osiguravaju podatke istom brzinom?
Brian Bulkowski: Možda Dez, želite skočiti u?
Dez Blanchfield: Da, sretan sam što sam skočio u to. Mislim da je odgovor ne. Zapravo, jedna od mojih najdražih linija za odbacivanje ove teme vrlo, vrlo kratko je da mislim da je eksplozija stroja do stroja i općeniti Internet stvari, komunikacija i sigurnost, rizik oko toga, sada smo na mjestu gdje vlade ne mogu pratiti stopu promjena. I u stvari znamo da mnoge organizacije ne mogu pratiti brzinu promjene. Zapravo, ako to parafraziram, brzina promjene danas je toliko velika da se organizacije moraju sprintati samo kako bi održale korak, ali moraju sprintati u više utrka. Ne mislim da zakon, niti mislim da vlada općenito, bilo na državnoj ili saveznoj razini, nije u stanju pratiti stopu promjene.
Sada je moj opći savjet ljudima vrsta ponašanja i traženje oproštenja kasnije. Bilo je puno primjera toga u prošlosti. Oni će dostići napredak, ali mislim da je sada na stvarima da posao i tehnološki pružatelji usluga budu inovativni na ovom prostoru i da osiguraju da smo upoznati sa sigurnosnim rizicima ili rizicima privatnosti i da se trebamo nositi s tim. Osobito banke, kao što ste spomenuli, kad razmišljate o tome što je bankarska organizacija tradicionalno radila sa stvarima poput pranja novca i poznajete vašeg klijenta, izazov AML / KYC, to je bilo slučaj da bismo svake tri do pet godina pokušali i ispunjavati sukladnost.
Mislim da to treba ugraditi u svaku pojedinu transakciju. Uvijek ste to mogli učiniti na razini ponude s oglašavanjem, trgovanjem dionicama i obveznicama i udjelom, mislim da smo na mjestu gdje vam učinak koji postižete s Aerospike platformom omogućava da sada razmišljamo o tome kako donijeti privatnost, kako uvesti sigurnost u taj neposredni lanac odluka u stvarnom vremenu? Dakle, odgovor je ne, mislim da vlade ne idu u prilog. Mislim da kompanije moraju držati korak, a mislim da trebamo djelovati sada i kasnije tražiti oprost.
Brian Bulkowski: Dopustite mi da dodam još par točaka. Momci s kojima imam posla, tehnološke kompanije s kojima imam posla vrlo su svjesni da se pobrinu da budu na pravoj strani zakona, i prilična je rasprava, da li je ovo PII, mogu li ovo koristiti, kako sam Koristim ovaj određeni skup podataka? Kakva je bila njezina providnost i je li to zaštićena odluka ili iskustvo? Kako da sve to napravim? Dakle, to je dobra vijest. Pitam se ponekad što se tiče naše rasprave kao društva oko kojeg idemo, i ako je čak i naša rasprava o društvu na odgovarajućoj razini u smislu korištenja novih sposobnosti od IoT-a, sve do strojnog učenja, to je jedini način sortirati kroz količinu podataka koje imamo. Ali dobra je vijest da su dečki s kojima sam razgovarao zaista na pravoj strani pokušavajući učiniti ispravnim zakonskim odlukama koje smo donijeli.
Rebecca Jozwiak: To su stvarno dobri odgovori obojice, i potpuno se slažem. Ne mislim da se sigurnost kreće bržim tempom kao što je razvoj tehnologije, posebno kada je riječ o Internetu stvari, ali moram misliti da ljudi daju sve od sebe i nadam se da ćemo tamo stići. Uvijek je malo teško ostati deset koraka ispred cyber lopova i cyber kriminalaca, ali tamo ćemo stići.
Pa ljudi, prošli smo osam minuta prema vrhu sata. Želio bih se zahvaliti našim gostima Brian Bulkowski iz Aerospikea i Dez Blanchfield te Robin Bloor. Puno ti hvala. Uvijek možete pronaći naše arhive na adresi insideanalysis.com, SlideShare, YouTube, imamo puno dobrih web-emisija koje dolaze, ljudi, bio je užurban mjesec. Idući će mjesec biti zauzet sljedeći mjesec, pa budite praćeni i nadamo se da ćemo se vidjeti sljedeći put. Hvala ljudi, bok.
