빅데이터란 무엇인가? 소개, 유형, 특성, 예
프라풀라 라나디베
데이터 란?
컴퓨터에서 연산을 수행하는 데 사용되는 양, 문자 또는 기호로, 전기 신호의 형태로 저장되고 전송되며 자기, 광학 또는 기계적 기록 매체에 기록됩니다.
이제 빅데이터의 정의를 배워보자
빅 데이터 란 무엇입니까?
빅 데이터 방대한 양의 데이터 모음이지만 시간이 지남에 따라 기하급수적으로 증가합니다. 너무 크고 복잡한 데이터라서 기존의 데이터 관리 도구로는 저장하거나 효율적으로 처리할 수 없습니다. 빅 데이터도 데이터이지만 크기가 엄청납니다.
빅 데이터의 예는 무엇입니까?
다음은 몇 가지 빅데이터 사례입니다.
The 뉴욕 증권 거래소 생성되는 빅데이터의 한 예입니다. XNUMX테라바이트 하루에 새로운 거래 데이터가 발생합니다.
소셜 미디어
통계에 따르면 500테라바이트 이상 의 새로운 데이터가 소셜 미디어 사이트의 데이터베이스에 수집됩니다. 페이스북, 매일. 이 데이터는 주로 사진 및 비디오 업로드, 메시지 교환, 댓글 달기 등의 측면에서 생성됩니다.
하나의 제트 엔진 생성할 수 있습니다 10테라바이트 이상 데이터의 30 분 비행 시간의. 하루에 수천 번의 항공편으로 데이터 생성이 최대 페타바이트.
빅데이터의 종류
빅데이터의 유형은 다음과 같습니다.
- 구조화 된
- 비정형
- 반구조화
구조화 된
고정된 형식으로 저장, 액세스 및 처리될 수 있는 모든 데이터를 '구조화된' 데이터라고 합니다. 시간이 지나면서 컴퓨터 과학 분야의 인재들은 이러한 종류의 데이터(형식이 미리 잘 알려진 경우)를 처리하고 그로부터 가치를 도출하는 기술을 개발하는 데 더 큰 성공을 거두었습니다. 그러나 요즘에는 이러한 데이터의 크기가 엄청나게 커지면 일반적인 크기가 수 제타바이트에 달할 때 문제가 발생할 것으로 예상됩니다.
당신은 알고 계십니까? 1021 바이트 동일 1제타바이트 or 10억 테라바이트 양식 제타바이트.
이 수치를 보면 빅 데이터라는 이름이 붙은 이유를 쉽게 이해하고 저장 및 처리와 관련된 과제를 상상할 수 있습니다.
당신은 알고 계십니까? 관계형 데이터베이스 관리 시스템에 저장된 데이터는 '구조화' 데이터입니다.
구조화된 데이터의 예
데이터베이스의 'Employee' 테이블은 구조화된 데이터의 예입니다.
| 직원_ID | 직원_이름 | 성별 | 학과 | Salary_In_lacs |
|---|---|---|---|---|
| 2365 | 라제시 쿨카르니 | 남성 | 핀테크 | 650000 |
| 3398 | 프라 티바 조시 | 여성 | 관리자 | 650000 |
| 7465 | 슈실 로이 | 남성 | 관리자 | 500000 |
| 7500 | 슈부호짓 다스 | 남성 | 핀테크 | 500000 |
| 7699 | 프리야 사네 | 여성 | 핀테크 | 550000 |
비정형
알려지지 않은 형태나 구조를 가진 모든 데이터는 비정형 데이터로 분류됩니다. 비정형 데이터는 크기가 방대할 뿐만 아니라, 가치를 도출하기 위한 처리 측면에서 여러 가지 과제를 안겨줍니다. 비정형 데이터의 전형적인 예로는 간단한 텍스트 파일, 이미지, 비디오 등의 조합을 포함하는 이기종 데이터 소스가 있습니다. 오늘날 조직은 방대한 양의 데이터를 사용할 수 있지만, 불행히도 이 데이터는 원시 형태 또는 비정형 형식이기 때문에 가치를 도출하는 방법을 모릅니다.
구조화되지 않은 데이터의 예
'Google 검색'에서 반환된 출력
반구조화
반구조화된 데이터에는 두 가지 형태의 데이터가 모두 포함될 수 있습니다. 반구조화된 데이터는 구조화된 형식으로 볼 수 있지만 실제로는 관계형 테이블 정의와 같이 정의되지 않습니다. DBMS. 반구조화된 데이터의 예로는 XML 파일로 표현되는 데이터가 있습니다.
반구조화된 데이터의 예
XML 파일에 저장된 개인 데이터 -
<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec> <rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec> <rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec> <rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec> <rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>
수년에 걸친 데이터 증가
참고하여 주시기 바랍니다 웹 애플리케이션 구조화되지 않은 데이터는 로그 파일, 거래 내역 파일 등으로 구성됩니다. OLTP 시스템은 데이터가 관계(테이블)에 저장되는 구조화된 데이터와 작동하도록 구축되었습니다.
빅데이터의 특성
빅데이터는 다음과 같은 특징으로 설명될 수 있습니다.
- 음량
- 종류
- 속도
- 변동성
(i) 볼륨 – 빅데이터라는 이름 자체가 엄청난 규모와 관련이 있습니다. 데이터의 크기는 데이터의 가치를 결정하는 데 매우 중요한 역할을 합니다. 또한 특정 데이터가 실제로 빅데이터로 간주될 수 있는지 여부는 데이터의 양에 따라 달라집니다. 따라서, '음량' 빅데이터 솔루션을 다룰 때 고려해야 할 특성 중 하나입니다.
(ii) 다양성 – 빅데이터의 다음 측면은 종류.
다양성은 이질적인 소스와 구조화된 데이터와 구조화되지 않은 데이터의 특성을 말합니다. 초기에는 스프레드시트와 데이터베이스가 대부분의 애플리케이션에서 고려되는 유일한 데이터 소스였습니다. 오늘날에는 이메일, 사진, 비디오, 모니터링 장치, PDF, 오디오 등의 형태의 데이터도 분석 애플리케이션에서 고려되고 있습니다. 이러한 다양한 구조화되지 않은 데이터는 데이터 저장, 마이닝 및 분석에 특정 문제를 일으킵니다.
(iii) 속도 - 용어 '속도' 데이터 생성 속도를 의미합니다. 요구 사항을 충족하기 위해 데이터가 얼마나 빨리 생성되고 처리되는지에 따라 데이터의 실제 잠재력이 결정됩니다.
Big Data Velocity는 비즈니스 프로세스, 애플리케이션 로그, 네트워크, 소셜 미디어 사이트, 센서 등의 소스에서 데이터가 유입되는 속도를 다룹니다. 모바일 데이터의 흐름은 방대하고 연속적입니다.
(iv) 가변성 - 이는 때때로 데이터에 의해 나타날 수 있는 불일치를 의미하며, 이로 인해 데이터를 효과적으로 처리하고 관리할 수 있는 프로세스를 방해합니다.
빅데이터 처리의 장점
DBMS에서 빅데이터를 처리하는 능력은 다음과 같은 다양한 이점을 제공합니다.
- 기업은 의사결정을 내리는 동안 외부 정보를 활용할 수 있습니다.
소셜 데이터에 대한 액세스 검색 엔진 Facebook, Twitter와 같은 사이트를 통해 조직은 비즈니스 전략을 세밀하게 조정할 수 있습니다.
- 고객 서비스 향상
기존의 고객 피드백 시스템은 빅데이터 기술로 설계된 새로운 시스템으로 대체되고 있습니다. 이러한 새로운 시스템에서는 소비자 반응을 읽고 평가하기 위해 빅데이터와 자연어 처리 기술이 사용되고 있습니다.
- 제품/서비스에 대한 위험이 있는 경우 조기 식별
- 더 나은 운영 효율성
빅데이터 기술은 어떤 데이터를 데이터로 이동해야 하는지 식별하기 전에 새 데이터에 대한 준비 영역 또는 랜딩 존을 만드는 데 사용할 수 있습니다. 데이터웨어 하우스. 또한 이러한 빅 데이터 기술과 데이터 웨어하우스의 통합은 조직이 자주 액세스하지 않는 데이터를 오프로드하는 데 도움이 됩니다.
요약
- 빅데이터 정의: 빅데이터는 크기가 매우 큰 데이터를 의미합니다. 빅데이터는 크기가 매우 크지만 시간이 지남에 따라 기하급수적으로 증가하는 데이터 모음을 설명하는 데 사용되는 용어입니다.
- 빅 데이터 분석의 예로는 증권 거래소, 소셜 미디어 사이트, 제트 엔진 등이 있습니다.
- 빅데이터는 1) 정형, 2) 비정형, 3) 반정형일 수 있습니다.
- 볼륨, 다양성, 속도 및 변동성은 빅데이터 특성의 일부입니다.
- 향상된 고객 서비스, 더 나은 운영 효율성, 더 나은 의사 결정은 빅데이터의 몇 가지 장점입니다.
