『빅데이터 시대』라는 책에서 말하는 빅데이터란 무엇을 의미하는가?

'빅데이터 시대'라는 책에서 말하는 빅데이터는 '모든 데이터 또는 모든 데이터'를 뜻하며, 일명 '허지 데이터'라고도 하는데, 현재 주류에서는 처리할 수 없을 만큼 엄청난 양의 데이터가 관련되어 있음을 의미합니다. 소프트웨어 도구. 기업이 보다 긍정적인 비즈니스 결정을 내릴 수 있도록 합리적인 시간 내에 정보를 캡처, 관리, 처리 및 구성합니다.

이 튜토리얼의 운영 환경: Windows 7 시스템, Dell G3 컴퓨터.

'빅데이터 시대'라는 책에서 말하는 빅데이터는 '모든 데이터 또는 모든 데이터'를 의미합니다.

빅 데이터 또는 엄청난 양의 데이터는 현재의 주류 소프트웨어 도구로는 합리적인 시간 내에 캡처, 관리, 처리 및 유용한 정보로 구성할 수 없을 정도로 관련된 데이터의 양을 말합니다. 기업 비즈니스 결정에 있어 보다 긍정적인 목적을 추구합니다.

Victor Meier-Schoenberg와 Kenneth Cukier가 쓴 "The Age of Big Data"에서 빅데이터는 무작위 분석(표본 조사)과 같은 지름길을 사용하지 않고 모든 데이터를 사용하는 방법을 말합니다. 데이터의 4V 특성: 볼륨, 속도, 다양성 및 가치.

빅 데이터 개념 개발의 역사:

"빅 데이터"라는 용어에 대한 최초의 언급은 Apache org의 오픈 소스 프로젝트 Nutch로 거슬러 올라갑니다. 당시 빅데이터는 웹 검색 색인을 업데이트하기 위해 일괄 처리하거나 동시에 분석해야 하는 대규모 데이터 세트를 설명하는 데 사용되었습니다. Google MapReduce와 Google File System(GFS)이 출시되면서 빅데이터는 더 이상 대용량 데이터를 설명하는 데만 사용되는 것이 아니라 데이터 처리 속도까지 포함하게 되었습니다.

이미 1980년 유명 미래학자 앨빈 토플러(Alvin Toffler)는 자신의 저서 '제3의 물결'에서 빅데이터를 '제3의 물결의 카덴차'라고 열광적으로 칭찬했습니다.

그런데 2009년부터 '163 빅데이터'가 인터넷 정보기술 업계에서 유행하는 용어가 됐다. 미국 인터넷 데이터 센터는 인터넷상의 데이터가 매년 50%씩 증가하고 2년마다 두 배씩 증가할 것이라고 지적했습니다. 현재 전 세계 데이터의 90% 이상이 최근 몇 년간 생성된 것입니다. 또한, 데이터는 단순히 사람들이 인터넷에 게시하는 정보만을 의미하는 것이 아닙니다. 전 세계에는 산업용 장비, 자동차, 전기 계량기 등 수많은 디지털 센서가 위치, 움직임, 진동, 온도, 습도 등의 정보를 측정하고 전송합니다. 심지어 물질의 변화도 언제든지 엄청난 양의 데이터 정보를 생성합니다.

빅 데이터 개념 구조:

빅 데이터는 현재까지의 인터넷 발전의 표현이나 특성일 뿐이며, 기술 혁신의 시대에 이를 신화화하거나 경외심을 가질 필요는 없습니다. 클라우드 컴퓨팅을 배경으로, 원래 수집과 활용이 어려웠던 데이터가 쉽게 활용되기 시작하면서, 사회 각계의 지속적인 혁신을 통해 빅데이터는 점차 인류를 위한 더 많은 가치를 창출하게 될 것입니다.

둘째, 빅데이터를 체계적으로 인식하려면 포괄적이고 신중하게 분해해야 합니다. 세 가지 수준에서 시작하겠습니다.

첫 번째 수준은 이론이 인지하는 유일한 방법이기도 합니다. 널리 인식되고 전파되는 기준선입니다. 빅데이터의 특성에 대한 정의를 통해 업계 전반의 빅데이터 설명과 특징을 이해하고, 빅데이터의 가치에 대한 논의를 통해 빅데이터의 소중함을 깊이 있게 분석하고, 빅데이터의 발전 추세에 대한 통찰력을 얻습니다. 빅데이터 프라이버시라는 특별하고 중요한 문제부터 시작하여 사람과 데이터 사이의 장기적인 게임을 관점에서 살펴보세요.

두 번째 수준은 기술입니다. 기술은 빅데이터의 가치를 구현하는 수단이자 발전의 초석입니다. 클라우드 컴퓨팅, 분산처리 기술, 저장 기술, 인식 기술의 발전을 통해 빅데이터의 수집, 처리, 저장, 결과 형성까지의 전 과정을 각각 설명하겠습니다.

세 번째 수준은 실천이며, 실천은 빅데이터의 궁극적인 가치 발현입니다. 빅데이터가 보여준 아름다운 모습과 그 실현을 위한 청사진을 인터넷 빅데이터, 정부 빅데이터, 기업 빅데이터, 개인 빅데이터의 네 가지 측면에서 설명하겠습니다.

빅 데이터 개념의 특징:

기존 데이터 웨어하우스 애플리케이션과 비교하여 빅 데이터 분석은 대용량 데이터와 복잡한 쿼리 분석의 특징을 가지고 있습니다. "Journal of Computer Science"에 게재된 "Architecting Big Data: Challenges, Current Situation and Prospects"라는 기사에서는 빅 데이터 분석 플랫폼이 갖춰야 할 몇 가지 중요한 기능을 나열하고 현재 주류 구현 플랫폼인 병렬 데이터베이스, MapReduce 및 하이브리드를 분석합니다. 두 가지를 바탕으로 아키텍처를 분석, 요약하고 각각의 장단점을 지적함과 동시에 각 방향의 연구 현황과 저자의 빅데이터 분석 노력을 소개하고 향후 연구를 전망한다. .

빅데이터의 4가지 "V" 또는 그 특성은 4가지 수준으로 구성됩니다. 첫째, 데이터의 양이 엄청납니다. TB 수준부터 PB 수준까지 다양한 데이터 유형이 있습니다. 위에서 언급한 웹 로그, 동영상, 사진, 지리적 위치 정보 등. 셋째, 처리속도가 빠르고 1초의 법칙은 다양한 형태의 데이터로부터 고부가가치의 정보를 빠르게 얻을 수 있다는 점 역시 기존의 데이터 마이닝 기술과 근본적으로 다르다. 넷째, 데이터를 올바르게 활용하고 정확하고 정확하게 분석하면 높은 가치 수익을 가져올 수 있습니다. 업계에서는 이를 볼륨(Volume), 다양성(Variety), 속도(Velocity), 가치(Value)라는 4가지 "V"로 요약합니다.

어느 정도 빅데이터는 데이터 분석의 최첨단 기술입니다. 한마디로 다양한 형태의 데이터로부터 가치 있는 정보를 빠르게 얻을 수 있는 능력이 바로 빅데이터 기술이다. 이를 이해하는 것이 중요하며, 이것이 바로 이 기술이 많은 기업에 적용될 수 있는 잠재력을 발휘하는 원동력입니다.

빅데이터 개념의 활용:

빅데이터는 빅데이터 기술, 빅데이터 엔지니어링, 빅데이터 과학, 빅데이터 응용 등의 분야로 나눌 수 있습니다. 요즘 사람들이 가장 많이 이야기하는 것은 빅데이터 기술과 빅데이터 애플리케이션이다. 공학 및 과학 문제는 아직 심각하게 다루어지지 않았습니다. 빅데이터 공학은 빅데이터의 기획, 구축, 운영, 관리에 대한 체계적인 엔지니어링을 말하며, 빅데이터 과학은 빅데이터 네트워크의 개발 및 운영 과정에서 빅데이터의 법칙과 자연적, 사회적 활동과의 관계를 발견하고 검증하는 데 중점을 둡니다.

사물 인터넷, 클라우드 컴퓨팅, 모바일 인터넷, 차량 인터넷, 휴대폰, 태블릿, PC, 지구 곳곳에 퍼져 있는 다양한 센서는 모두 데이터 소스 또는 전달 수단입니다.

일부 예로는 웹 로그, RFID, 센서 네트워크, 소셜 네트워크, 소셜 데이터(사회의 데이터 혁명 덕분에), 인터넷 검색 기록, 천문학, 대기 과학, 생지화학 등이 있습니다. 생물학 및 기타 복합적 및/또는 학제간 과학 연구, 군사 정찰, 의료 기록, 비디오 아카이브 및 대규모 전자 상거래;

빅데이터의 역할

일반 기업의 경우 빅데이터의 역할은 주로 데이터 분석 및 활용과 2차 개발 프로젝트 수행이라는 두 가지 측면에 반영됩니다. 시진정보의 빅데이터를 분석함으로써 숨겨진 데이터를 발굴할 수 있을 뿐만 아니라 이러한 숨겨진 메시지를 활용하여 오프라인 판매를 통한 고객 기반을 강화할 수 있습니다. 데이터의 2차 개발은 네트워크 서비스 프로젝트에서 자주 사용됩니다. 이 정보를 요약하고 분석함으로써 고객의 요구에 맞는 맞춤형 계획을 수립하고 새로운 광고 및 마케팅 방법을 만들 수 있다는 것입니다. 빅데이터 분석을 통해 제품과 서비스를 결합하는 것은 우연이 아니다. 이를 깨닫는 사람이 데이터 시대의 리더인 경우가 많다.

요약하자면, 빅데이터의 사용은 시대의 진보를 나타낼 뿐만 아니라 사람들이 더 깊은 탐구를 하도록 영감을 줍니다. 또한, 빅데이터에 대한 연구를 위해서는 위의 내용 외에도 빅데이터의 3가지 특성, 즉 대용량, 빠른 연산속도, 데이터 다양성에 대한 이해도 필요하다. 이 세 가지 측면을 연구함으로써 데이터의 성격을 더 쉽게 관찰할 수 있을 뿐만 아니라 소프트웨어 처리 플랫폼의 효과적인 운영에도 도움이 됩니다.

더 많은 관련 지식을 알고 싶다면 FAQ 칼럼을 방문해주세요!

위 내용은 『빅데이터 시대』라는 책에서 말하는 빅데이터란 무엇을 의미하는가?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!