Înainte de a trece la introducerea în Big Data, mai întâi trebuie să știți
Ce este Data?
Cantitățile, caracterele sau simbolurile pe care operațiile sunt efectuate de un computer, care pot fi stocate și transmise sub formă de semnale electrice și înregistrate pe suporturi magnetice, optice sau mecanice de înregistrare.
Acum, să învățăm introducerea Big Data
Ce este Big Data?
Big Data este o colecție de date care are un volum imens, dar crește exponențial cu timpul. Este o dată cu dimensiuni și complexități atât de mari încât niciunul dintre instrumentele tradiționale de gestionare a datelor nu le poate stoca sau prelucra eficient. Datele mari sunt, de asemenea, date, dar cu dimensiuni imense.
În acest tutorial, veți învăța,
- Ce este Data?
- Ce este Big Data?
- Exemple de Big Data
- Tipuri de date mari
- Caracteristicile Big Data
- Avantajele procesării datelor mari
Exemple de Big Data
Următoarele sunt câteva dintre exemplele Big Data-
New York Stock Exchange generează aproximativ un terabyte de noi date comerciale pe zi.
Rețele sociale
Statistica arată că peste 500 de terabyte de date noi sunt ingerate în bazele de date ale site - ului de socializare Facebook , în fiecare zi. Aceste date sunt generate în principal în ceea ce privește încărcarea de fotografii și videoclipuri, schimbul de mesaje, plasarea de comentarii etc.
Un singur motor Jet poate genera 10 + terabyte de date în 30 de minute de zbor. Cu multe mii de zboruri pe zi, generarea de date ajunge la mai mulți Petabytes.
Tipuri de date mari
Următoarele sunt tipurile de Big Data:
- Structurat
- Nestructurat
- Semi-structurat
Structurat
Orice date care pot fi stocate, accesate și procesate sub forma unui format fix sunt denumite date „structurate”. De-a lungul perioadei de timp, talentul în informatică a obținut un succes mai mare în dezvoltarea tehnicilor de lucru cu astfel de date (unde formatul este bine cunoscut în avans) și, de asemenea, a obținut valoare din acesta. Cu toate acestea, în zilele noastre, prevedem probleme când o dimensiune a acestor date crește într-o măsură imensă, dimensiunile tipice sunt în furia mai multor zettabytes.
Știi? 10 21 octeți egali cu 1 zettabyte sau un miliard de terabytes formează un zettabyte .
Privind aceste cifre, puteți înțelege cu ușurință de ce este dat numele Big Data și imaginați provocările implicate în stocarea și prelucrarea acestuia.
Știi? Datele stocate într-un sistem de gestionare a bazelor de date relaționale sunt un exemplu de date „structurate” .
Exemple de date structurate
Un tabel „Angajați” dintr-o bază de date este un exemplu de date structurate
| Card de identitate al angajatului | Numele angajatului | Gen | Departament | Salary_In_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | Masculin | Finanţa | 650000 |
| 3398 | Pratibha Joshi | Femeie | Administrator | 650000 |
| 7465 | Shushil Roy | Masculin | Administrator | 500000 |
| 7500 | Shubhojit Das | Masculin | Finanţa | 500000 |
| 7699 | Priya Sane | Femeie | Finanţa | 550000 |
Nestructurat
Orice date cu formă sau structură necunoscută sunt clasificate ca date nestructurate. Pe lângă faptul că dimensiunea este imensă, datele nestructurate reprezintă multiple provocări în ceea ce privește prelucrarea lor pentru a obține valoare din acestea. Un exemplu tipic de date nestructurate este o sursă de date eterogenă care conține o combinație de fișiere text simple, imagini, videoclipuri etc. aceste date sunt în forma brută sau în format nestructurat.
Exemple de date nestructurate
Rezultatul returnat de „Căutare Google”
Semi-structurat
Datele semi-structurate pot conține atât formele de date. Putem vedea datele semi-structurate ca o formă structurată, dar de fapt nu sunt definite cu, de exemplu, o definiție a tabelului în SGBD relațional. Exemplu de date semi-structurate este o dată reprezentată într-un fișier XML.
Exemple de date semi-structurate
Date personale stocate într-un fișier XML-
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Creșterea datelor de-a lungul anilor
Vă rugăm să rețineți că datele aplicațiilor web, care sunt nestructurate, constau din fișiere jurnal, fișiere istoric tranzacții etc. Sistemele OLTP sunt construite pentru a funcționa cu date structurate în care datele sunt stocate în relații (tabele).
Caracteristicile Big Data
Datele mari pot fi descrise prin următoarele caracteristici:
- Volum
- varietate
- Viteză
- Variabilitate
(i) Volum - Numele Big Data în sine este legat de o dimensiune enormă. Dimensiunea datelor joacă un rol foarte crucial în determinarea valorii din date. De asemenea, dacă anumite date pot fi considerate sau nu Big Data, depinde de volumul de date. Prin urmare, „Volumul” este o caracteristică care trebuie luată în considerare atunci când se tratează Big Data.
(ii) Varietate - Următorul aspect al Big Data este varietatea sa .
Varietatea se referă la surse eterogene și la natura datelor, atât structurate, cât și nestructurate. În zilele anterioare, foi de calcul și baze de date erau singurele surse de date luate în considerare de majoritatea aplicațiilor. În prezent, în aplicațiile de analiză sunt luate în considerare și date sub formă de e-mailuri, fotografii, videoclipuri, dispozitive de monitorizare, PDF-uri, audio etc. Această varietate de date nestructurate pune anumite probleme pentru stocare, extragere și analiză a datelor.
(iii) Viteză - Termenul „viteză” se referă la viteza de generare a datelor. Cât de repede sunt generate și procesate datele pentru a satisface cerințele, determină potențialul real al datelor.
Big Data Velocity se ocupă de viteza cu care intră datele din surse precum procesele de afaceri, jurnalele aplicațiilor, rețelele și site-urile de socializare, senzorii, dispozitivele mobile etc. Fluxul de date este masiv și continuu.
(iv) Variabilitate - Aceasta se referă la inconsecvența care poate fi prezentată uneori de date, împiedicând astfel procesul de a putea gestiona și gestiona datele în mod eficient.
Avantajele procesării Big Data
Abilitatea de a procesa Big Data aduce beneficii multiple, cum ar fi-
- Întreprinderile pot utiliza informații externe în timp ce iau decizii
Accesul la date sociale de la motoarele de căutare și site-uri precum Facebook, Twitter permit organizațiilor să își ajusteze strategiile de afaceri.
- Serviciu clienți îmbunătățit
Sistemele tradiționale de feedback ale clienților sunt înlocuite cu sisteme noi concepute cu tehnologii Big Data. În aceste noi sisteme, tehnologiile Big Data și procesarea limbajului natural sunt utilizate pentru a citi și a evalua răspunsurile consumatorilor.
- Identificarea timpurie a riscului pentru produs / servicii, dacă există
- Eficiență operațională mai bună
Tehnologiile Big Data pot fi utilizate pentru crearea unei zone de staționare sau a unei zone de aterizare pentru date noi înainte de a identifica ce date ar trebui mutate în depozitul de date. În plus, o astfel de integrare a tehnologiilor Big Data și a depozitului de date ajută o organizație să descarce datele accesate rar.
rezumat
- Definiție Big Data: Big Data este definită ca date de dimensiuni uriașe. Bigdata este un termen folosit pentru a descrie o colecție de date de dimensiuni uriașe și totuși în creștere exponențială cu timpul.
- Exemplele de analiză Big Data includ bursele de valori, site-urile de socializare, motoarele cu reacție etc.
- Big Data ar putea fi 1) Structurat, 2) Nestructurat, 3) Semi-structurat
- Volumul, varietatea, viteza și variabilitatea sunt câteva caracteristici Big Data
- Serviciul pentru clienți îmbunătățit, o eficiență operațională mai bună, luarea mai bună a deciziilor sunt câteva avantaje ale Bigdata