Dom zvučni Kako sql na hadoop-u može pomoći pri velikoj analizi podataka?

Kako sql na hadoop-u može pomoći pri velikoj analizi podataka?

Sadržaj:

Anonim

SQL on Hadoop je skupina alata za analitičku aplikaciju koji kombiniraju ispitivanje u SQL stilu i obradu podataka s najnovijim elementima okvira podataka Hadoop. Pojava SQL-a na Hadoopu važan je razvoj za veliku obradu podataka jer omogućuje širokim skupinama ljudi uspješno rad s okvirom za obradu podataka Hadoop pokretanjem SQL upita na ogromnoj količini velikih podataka koje Hadoop obrađuje. Očito, okvir Hadoop ranije nije bio toliko dostupan ljudima, posebno u pogledu njegovih mogućnosti upita. Na temelju razvoja, u radu je rađeno nekoliko alata koji obećavaju poboljšanje produktivnosti poduzeća kada je u pitanju obrada i analiza velikih podataka kvalitetom i brzinom. Također, nema potrebe puno ulagati u učenje alata, kao što to treba učiniti tradicionalno znanje SQL-a.

Definicija SQL-a na Hadoopu

SQL on Hadoop je skupina aplikacija koja vam omogućuje pokretanje upita u stilu SQL na velikim podacima koje ugošćuje Hadoop okvir za obradu podataka. Očito je da su postavljanjem SQL-a na Hadoop olakšani upiti, pretraživanje i analiza podataka. Budući da je SQL izvorno dizajniran za relacijske baze podataka, morao je biti izmijenjen u skladu s modelom Hadoop 1 koji sadrži MapReduce i Hadoop distribuirani datotečni sustav (HDFS) i Hadoop 2 model koji nema MapReduce i HDFS.

Jedan od prvih pokušaja kombiniranja SQL-a i Hadoopa rezultirao je stvaranjem skladišta podataka Hive s softverom HiveQL koji bi mogao prevesti upite u SQL stilu u zadatke MapReduce. Nakon toga razvijeno je nekoliko aplikacija koje bi mogle obavljati slične poslove. Istaknutiji dio kasnijih alata su bušilica, BigSQL, HAWQ, Impala, Hadapt, Stinger, H-SQL, stroj za spajanje, Presto, PolyBase, Spark, JethroData, Shark (košnica na iskre) i Tez (košnica na Tezu).

Kako sql na hadoop-u može pomoći pri velikoj analizi podataka?