빅데이터와 대용량 데이터의 차이점과 연관성은 무엇인가요?
- 晓曦&sea원래의
- 2020-07-15 18:02:0212542검색
"빅데이터"는 "대량 데이터"라는 의미를 포함하며, 콘텐츠의 대량 데이터를 넘어선 "대량 데이터" + 복잡한 유형의 데이터를 의미합니다. 빅 데이터에는 트랜잭션 및 대화형 데이터 세트를 포함한 모든 데이터 세트가 포함되며, 그 크기나 복잡성은 합리적인 비용과 시간 제한으로 이러한 데이터 세트를 캡처, 관리 및 처리하기 위해 일반적으로 사용되는 기술의 능력을 초과합니다.
대규모 구조 데이터라면 솔루션은 상대적으로 간단합니다. 사용자는 추가 저장 장치 구입, 저장 장치 효율성 향상 등을 통해 이러한 문제를 해결할 수 있습니다. 그러나 사람들이 데이터베이스의 데이터가 정형 데이터, 비정형 데이터, 반정형 데이터의 세 가지 유형과 기타 복잡한 상황으로 나눌 수 있다는 사실을 발견하면 문제는 그렇게 단순해 보이지 않습니다.
빅 데이터가 온다
복잡한 유형의 데이터가 넘쳐날 때 사용자 IT 시스템에 미치는 영향은 다른 방식으로 처리됩니다. 많은 업계 전문가와 제3자 조사 기관은 일부 시장 조사 데이터를 통해 빅데이터 시대가 다가오고 있음을 발견했습니다. 한 조사에 따르면 이 복잡한 데이터의 85%는 소셜 네트워크, 사물인터넷, 전자상거래 등에 널리 존재하는 비정형 데이터인 것으로 나타났습니다. 이러한 비정형 데이터의 생성은 소셜 네트워크, 모바일 컴퓨팅, 센서 등 새로운 채널과 기술의 지속적인 출현과 적용을 동반하는 경우가 많습니다.
오늘날 빅 데이터 개념을 둘러싼 과대광고와 불확실성도 많습니다. 이를 위해 편집자는 일부 업계 전문가에게 관련 문제에 대해 자세히 알아보고 빅데이터가 무엇인지, 빅데이터가 무엇인지, 빅데이터에 대처하는 방법 및 기타 문제에 대해 이야기해 달라고 요청했으며, 네티즌들을 만날 형식으로 만날 예정이다. 일련의 기사 중에서.
몇몇 테라바이트 규모의 데이터 세트를 "빅 데이터"라고 부르는 사람들도 있습니다. 시장조사업체 IDC 통계에 따르면 데이터 사용량은 44배 증가해 글로벌 데이터 사용량은 약 35.2ZB(1ZB
= 10억TB)에 달할 것으로 예상된다. 그러나 개별 데이터 세트의 파일 크기도 증가하므로 이러한 데이터 세트를 분석하고 이해하려면 더 큰 처리 능력이 필요합니다.
EMC에서는 1,000명 이상의 고객이 자사 어레이에서 1PB(기가비트) 이상의 데이터를 사용하고 있으며 이 숫자는 2020년까지 100,000명으로 증가할 것이라고 밝혔습니다. 또한 일부 고객은 1~2년 내에 1엑사바이트(1엑사바이트 = 10억 GB) 이상의 수천 배 더 많은 데이터를 사용하기 시작할 것입니다.
빅데이터와 대용량 데이터의 차이
다양성은 데이터가 정형 데이터와 비정형 데이터를 모두 포함해야 함을 의미합니다. 볼륨이란 분석을 위해 집계된 데이터의 양이 매우 커야 함을 의미합니다. 그리고 속도는 데이터 처리 속도가 빨라야 함을 의미합니다. 빅 데이터가 항상 수백 TB를 의미하는 것은 아닙니다. 실제 사용량에 따라 수백 GB의 데이터도 빅 데이터라고 부를 수 있습니다. 이는 주로 3차원에 따라 달라지며, 이는 속도 또는 시간 차원입니다. Garter. 전 세계 정보량은 연간 59% 이상 증가하고 있으며, IT 리더는 정보의 양, 유형 및 속도에 집중해야 합니다. 엔터프라이즈 시스템 내 데이터 볼륨의 증가는 트랜잭션 볼륨, 기타 기존 데이터 유형 및 새로운 데이터 유형으로 인해 발생합니다. 과도한 볼륨은 저장 문제이지만, 너무 많은 데이터도 대규모 분석 문제입니다. IT 리더는 항상 많은 양의 트랜잭션 정보를 의사 결정으로 변환하는 데 어려움을 겪어 왔습니다. 이제 분석할 정보 유형이 더 많아졌습니다.주로 소셜 미디어 및 모바일(상황 인식) 유형에는 표 형식 데이터(데이터베이스), 계층적 데이터, 파일이 포함됩니다. , 이메일, 계량 데이터, 비디오, 정지 이미지, 오디오, 주식 시세 데이터, 금융 거래 등
속도: 여기에는 데이터 스트리밍, 구조화된 기록 생성 등이 포함됩니다. 속도는 액세스 및 전달의 가용성을 의미합니다. 데이터가 생성되고 있으며 수요를 충족하기 위해 데이터를 얼마나 빨리 처리해야 하는지
빅 데이터가 중요한 문제이기는 하지만 실제 문제는 데이터를 더 크게 만드는 것이며 빅 데이터에서 패턴을 찾는 것이 조직에 도움이 된다고 말합니다.
정의 1: 빅 데이터 = 대규모 데이터 + 복잡한 유형의 데이터
Informatica China의 수석 제품 컨설턴트인 Dan Bin은 '빅데이터'에는 '대량 데이터'라는 의미가 포함되며, 간단히 말해서 '대량 데이터' + 복합형 데이터를 의미한다고 믿습니다.
그러나 Bin은 다음과 같이 지적했습니다. 빅 데이터에는 거래 및 상호 작용 데이터 세트를 포함한 모든 데이터 세트가 포함되며, 그 규모나 복잡성은 합리적인 비용과 시간 제한으로 이러한 데이터 세트를 캡처, 관리 및 처리하는 데 일반적으로 사용되는 기술의 능력을 초과합니다.
빅데이터는 세 가지 주요 기술 트렌드의 융합으로 구성됩니다.
海量交易数据：在从 ERP应用程序到数据仓库应用程序的在线交易处理（OLTP）与分析系统中，传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云，这一局面变得更加复杂。 海量交互数据：这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录（CDR）、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输（Manage File Transfer）协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。 海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构，例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说，难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。
정의 2: 빅데이터에는 A, B, C의 세 가지 요소가 포함됩니다.
빅데이터를 어떻게 이해해야 할까요? NetApp Greater China의 총괄 관리자인 Chen Wen은 빅 데이터란 정보를 더 빠르게 획득하여 획기적인 성과를 달성함으로써 업무 방식을 다르게 만드는 것을 의미한다고 믿습니다. 빅 데이터는 데이터를 저장, 관리 및 복구하는 방법을 재고해야 하는 대량의 데이터(종종 비정형)로 정의됩니다. 그렇다면 얼마나 큰가요? 이 문제에 대해 생각하는 한 가지 방법은 오늘날 우리가 사용하는 어떤 도구도 이를 처리할 수 없을 정도로 규모가 크기 때문에 데이터를 어떻게 소화하고 이를 가치 있는 통찰력과 정보로 변환하는가가 핵심입니다.
은 새로운 비즈니스 모델, 더 나은 고객 서비스 및 더 나은 결과를 얻을 수 있는 대규모 데이터 세트의 실시간 분석에 대한 요구 사항을 나타냅니다.
초고속 중요 데이터를 처리하기 위한 요구 사항을 나타냅니다. 이를 통해 대규모 데이터 세트를 빠르고 효율적으로 소화하고 처리할 수 있습니다.
매우 높은 보안이 요구되고 쉽게 복원할 수 있는 확장성이 뛰어난 데이터 저장소를 의미합니다. 이는 오래된 데이터뿐만 아니라 관리 가능한 정보 콘텐츠 저장소를 지원하며 다양한 대륙에 걸쳐 있을 수 있습니다.
지원을 위한 새로운 인프라를 도입하는 파괴적인 경제 및 기술 원동력입니다. 빅 데이터 솔루션은 기존 컴퓨팅 및 스토리지 제한을 제거합니다. 증가하는 민간 및 공공 데이터의 도움으로 획기적인 새로운 비즈니스 모델이 등장하고 있으며, 이는 빅 데이터 고객에게 새롭고 실질적인 수익 성장 포인트와 경쟁 우위를 제공할 것으로 예상됩니다.
위 내용은 빅데이터와 대용량 데이터의 차이점과 연관성은 무엇인가요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!