집 >일반적인 문제 >빅데이터란 무엇인가?

빅데이터란 무엇인가?

藏色散人원래의: 2020-12-29 10:23:4449737검색

빅데이터는 특정 시간 범위 내에서 기존 소프트웨어 도구로 캡처, 관리 및 처리할 수 없는 데이터 모음을 의미합니다. 더 강력한 의사결정력을 갖기 위해 새로운 처리 모델이 필요한 거대하고 고성장하는 데이터입니다. 통찰력 발견 및 프로세스 최적화 기능을 통해 정보 자산의 효율성과 다양화를 실현합니다. 빅 데이터의 특징: 1. 엄청난 양의 데이터 2. 다양한 데이터 형식과 광범위한 데이터 소스가 빅 데이터 형식의 다양성을 결정합니다. 3. 빠른 속도, 즉 빠른 데이터 증가 및 빠른 처리. 밀도 5. 높은 상업적 가치.

빅데이터란 무엇인가?

이 튜토리얼의 운영 환경: Windows 7 시스템, Dell G3 컴퓨터.

빅데이터란 무엇인가

IT 업계 용어인 빅데이터(빅데이터)는 일정 시간 내에 기존의 소프트웨어 도구로는 수집, 관리, 처리할 수 없는 데이터의 집합을 말하며, 새로운 처리 모델 이러한 방식을 통해서만 우리는 더 강력한 의사 결정력, 통찰력 발견 및 프로세스 최적화 기능을 갖춘 거대하고 고성장하며 다양한 정보 자산을 확보할 수 있습니다.

Victor Meier-Schoenberg와 Kenneth Cukier가 쓴 『빅 데이터 시대』에서 빅 데이터란 무작위 분석(표본 조사)과 같은 지름길을 사용하는 것이 아니라 모든 데이터를 분석 및 처리에 사용하는 것을 의미합니다. IBM이 제안하는 빅데이터의 5V 특성은 Volume(용량), Velocity(고속), Variety(다양성), Value(낮은 가치 밀도), Veracity(진정성)입니다.

기능

볼륨: 데이터의 크기는 고려되는 데이터의 가치와 잠재적인 정보를 결정합니다.
다양성: 데이터 유형의 다양성 ( 속도): 데이터를 얻는 속도를 말합니다.
가변성(Variability): 데이터 처리 및 효과적인 관리 프로세스를 방해합니다.
진실성: 데이터의 품질.
복잡성: 데이터의 양이 방대하고 여러 채널에서 나옵니다.
가치: 빅데이터를 합리적으로 활용하여 저렴한 비용으로 높은 가치를 창출합니다.

1. 엄청난 양의 데이터인터넷 산업의 발전과 함께 일상 업무에서 사용자 네트워크 행위에 대한 많은 데이터가 생성되고 축적됩니다. 예를 들어 소셜 전자상거래 플랫폼은 매일 주문이 생성되고, 다양한 짧은 동영상, 포럼 및 커뮤니티에서 게시되는 게시물, 댓글 및 짧은 동영상, 매일 전송되는 이메일, 업로드되는 사진, 동영상 및 음악 등이 생성되는 데이터의 규모가 다양합니다. 셀 수 없을 정도로 많은 개인이 처리하고 있는 엄청난 양이고, 그 양은 이미 PB 수준에 이르렀습니다. 이러한 대규모 데이터를 처리하고, 분석하고, 집계하려면 충분한 용량이 필요합니다. 따라서 빅데이터의 특징 중 하나는 그 양이 크다는 것입니다.

2. 다양한 데이터 형식

다양한 데이터 소스가 빅데이터 형식의 다양성을 결정합니다. 어떤 형태의 데이터든 유용할 수 있습니다. 현재 가장 널리 사용되는 것은 Taobao, NetEase Cloud Music, Toutiao 등과 같은 추천 시스템입니다. 이러한 플랫폼은 사용자의 로그 데이터를 분석하여 사용자가 좋아하는 것을 추가로 추천합니다. 로그 데이터는 명확하게 구조화된 데이터이며, 사진, 오디오, 비디오 등과 같이 명확하게 구조화되지 않은 데이터도 있습니다. 이러한 데이터는 인과 관계가 약하며 수동 주석이 필요합니다.

3. 고속

빅데이터의 고속이란 데이터의 급속한 증가와 빠른 처리를 의미합니다. 매일 각계각층의 데이터가 기하급수적으로 증가하고 있습니다. 많은 시나리오에서 데이터는 시간에 민감합니다. 예를 들어 검색 엔진은 사용자에게 필요한 데이터를 몇 초 내에 제공해야 합니다. 기업이나 시스템은 빠르게 증가하는 데이터 양에 직면할 때 이를 빠른 속도로 처리하고 신속하게 대응해야 합니다.

4. 낮은 가치 밀도

빅 데이터의 가치 밀도가 낮다는 것은 대규모 데이터 소스 중에서 실제로 가치 있는 데이터가 거의 없다는 것을 의미하며, 많은 데이터가 잘못되었거나 불완전할 수 있습니다. 일반적으로 전체 데이터 중 가치 있는 데이터의 밀도는 매우 낮으며, 데이터를 정제하는 것은 모래 서핑과 같습니다.

5. 높은 상업적 가치

기존의 소규모 데이터에 비해, 빅데이터의 가장 큰 가치는 다양한 유형의 관련 없는 대량의 데이터로부터 미래 동향 및 패턴 예측 분석을 위한 귀중한 데이터를 추출하는 것입니다. 기계학습 방법, 인공지능 방법, 데이터 마이닝 방법 등을 통해 새로운 규칙과 새로운 지식을 발견하고 이를 농업, 금융, 의료 등 다양한 분야에 적용함으로써 궁극적으로 사회 거버넌스 개선, 생산 효율성과 과학 연구의 발전을 통해 상업적 가치를 실현합니다.

빅데이터란 무엇인가?

관련 기사