Node.js와 MongoDB는 간단한 로그 분석을 구현합니다.

최근 프로젝트에서는 쉽게 분석할 수 있도록 프로젝트 로그를 JSON 형식으로 저장했습니다. 이전에는 로그를 파일에 바로 저장했는데, MongoDB가 적절한 시기에 눈에 띄어서 MongoDB에 로그를 저장하게 되었습니다. 단순히 로그를 저장하는 것은 의미가 없습니다. 가장 중요한 것은 로그에서 비즈니스 동향과 시스템 성능 허점을 발견하는 것입니다. 이전에는 Java로 작성되고 Tomcat에서 실행되는 분석 모듈이 있었습니다. 구현이 상당히 무겁고, 새로운 지표를 추가하는 과정도 번거롭고, NFS로 인해 분석이 실패합니다. 항상 다시 작성하고 싶었고 처음에는 Ruby On Rails를 사용하고 싶었지만 배우고 개발할 시간이 없었습니다(핑계를 찾고 있습니다!). 저는 항저우에서 열린 QCon 2011에서 Node.js를 다시 만났습니다. 이전에 Node.js에 대해 들어본 적은 있었지만 깊이 연구하지는 않았습니다. Taobao Su Qian의 연설을 듣고 바로 Node.js를 사용해야겠다는 생각이 들었습니다. 이 로그 분석 시스템을 구현하십시오. 프론트엔드는 JS를 사용하고, 서버도 JS를 사용하고, 심지어 데이터베이스 쉘도 JS를 사용한다고 생각하면 멋지죠. 물론 가장 중요한 것은 코드 크기가 작다는 것입니다.

1. Node.js를 사용하여 서버 측 코드 구현

좋은 스타일과 빠른 코드 작성을 위해서는 간단한 프레임워크를 채택하는 것이 불가피합니다. Express는 대부분의 기능을 구현하지만 익숙해지는 데 시간이 걸리고 이 프로젝트에는 다소 무거운 것 같습니다. Node.js 공식 웹사이트에 Chat Demo가 있습니다. 이 코드는 단순히 URL 처리와 JSON 반환을 캡슐화하고 이동한 것입니다. 그래서 fu.js를 직접 사용하고 server.js를 다시 작성했습니다.

코드 복사 코드는 다음과 같습니다.

호스트 = null; // 로컬호스트
포트 = 8001;

var fu = require("./fu"),
sys = require("util"),
url = require("url"),
몽고 = require("./request_handler");

fu.listen(번호(process.env.PORT || PORT), HOST);

fu.get("/", fu.staticHandler("index.html"));

너무 단순하지 않나요? ! 하지만 실제로 서버가 구축되었습니다.
요청을 처리하는 request_handler.js 코드를 살펴보겠습니다.

코드 복사 코드는 다음과 같습니다.

var mongodb = require("mongodb");
var fu = require("./fu");

// TOP 10 사용자 액션
fu.get("/userActionTop10", function(req, res){
mongodb.connect('mongodb://localhost:27017/log', function(err, conn){
conn.collection('action_count', function(err, coll){
coll.find({"value.action":{$in:user_action}}).sort({"value.count":-1}).limit(10).toArray(function(err, docs){
          if(!err){
          var action = [];
          var 개수 = [];
for(var i = 0; i ​​​​​​ //console.log(docs[i]);
            action.push(docs[i].value.action);
Count.push(docs[i].value.count);
          }
              res.simpleJSON(200, {action:action, count:count});
                                 
​​​​​ //데이터베이스 연결을 닫는 것을 잊지 마세요
            conn.close();
}
});
});
});
});

2. 고객

로그 시스템에서 가장 중요한 것은 시각적 표시입니다. 여기서는 JQuery jqPlot Chart 플러그인이 사용됩니다. 먼저 정적 HTML 페이지를 그래픽 표시용 컨테이너로 사용하세요.

코드 복사 코드는 다음과 같습니다.

 
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
  머리>
 
  본문>

几乎是jqPlot의 示例中的完整拷贝，好吧，我承认我太懒了。
아래쪽 화면 유형의 차트.js:

复代码 代码如下:

// 모든 차트 그리기 기능을 저장합니다. 하나의 차트를 비활성화하려면
// 배열에 기능을 추가할 때 푸시 라인에 주석을 추가합니다.
var draw = [];

/****************************** TOP 10 사용자 작업 시작 ***************** ****************/
document.write('

');

var drawUserActionTop10Chart = function(){
  if(!$("#userActionTop10Chart").attr('class')){
    $("#userActionTop10Chart").attr('class', 'small_chart');
  }

  $.ajax({
    비동기:거짓,
    URL: '/userActionTop10',
    데이터 유형:'json',
    캐시: 거짓,
    성공:함수(데이터){
      시도해 보세요{
        $('#userActionTop10Chart').html('');

        $.jqplot('userActionTop10Chart', [data.count], {
          제목: "TOP 10 사용자 작업",
          시리즈기본값:{
            렌더러:$.jqplot.BarRenderer,
            rendererOptions: {fillToZero: true},
            포인트 라벨: {
              표시:사실,
              ypadding:1
            }
          },
          축기본값:{
            TickRenderer:$.jqplot.CanvasAxisTickRenderer,
            틱옵션: {
              각도: -30,
              글꼴 크기: '12px'
            }
          },
          축: {
            x축: {
              렌더러: $.jqplot.CategoryAxisRenderer,
              틱: data.action
            },
            축: {
              패드: 1.05
            }
          }
        });
      }잡기(e){
        //경고(e.message);
      }
    }
  });
}

draws.push('drawUserActionTop10Chart');

/******************************* TOP 10 사용자 작업 종료 **************** ********************/

/*********** 차트 시작 *****************/

//차트 그리기 기능을 여기에 넣으세요
//1. 차트에 div를 삽입하세요
//2. 함수 그리기 차트 구현
//3. 함수 이름을 배열 draw에 푸시합니다

/*********** 차트 끝 *******************/

// 모든 차트 그리기
var drawAllCharts = function(){
  for(var i = 0; i     eval(draws[i] "()");
  }

 //5분 후에 기억해 보세요.
 window.setTimeout(drawAllCharts, 5 * 60 * 1000);
}

//
$(함수(){
  drawAllCharts();
});

服务器端과 客户端의 현대적인 도시가 있습니다.

好image忘了什么？日志的分析代码。

삼、使사용MongoDB 增weight式MapReduce实现日志分析

MongoDB의 문서중에는 Incremental MapReduce가 포함되어 있습니다.解有误，文档里并没有写这一点，只是说明了如何设置才能增weight执行MapReduce。

이 방법을 사용하면 MapReduce를 사용하여 MongoDB의 JavaScript를 사용하여 js文件中, crontab을 정의할 수 있습니다.

复代码 代码如下:

/************** /etc/crontab에 의해 5분 단위로 파일이 실행됩니다.*****************/
var action_count_map = 함수(){
Emit(this.action, {action:this.action, count:1});
}

var action_count_reduce = 함수(키, 값){
변수 개수 = 0;
value.forEach(함수(값){
개수 = value.count;
});
{액션:키, 개수:개수}를 반환합니다.
}

db.log.mapReduce(action_count_map, action_count_reduce, {query : {'action_count' : {$ne:1}},out: {reduce:'action_count'}});

db.log.update({'action_count':{$ne:1}}, {$set:{'action_count':1}}, false, true);

아이디어는 매우 간단합니다.
1. 맵 내 각 액션에 대한 접근 횟수를 1로 설정
2. Reduce에서는 동일한 액션에 대한 방문 횟수를 계산합니다
3. mapReduce를 실행합니다. 쿼리는 'action_count'가 1이 아닌 것으로 지정됩니다. 즉, 통계가 실행되지 않았으며 결과가 'action_count' 컬렉션에 저장되고 결과 집합이 다음과 같이 사용됨을 나타내기 위해 축소 옵션이 사용됩니다. 다음 감소의 입력.
4. 현재 모든 로그 레코드에서 'action_count' 값을 1로 설정하여 통계가 수행되었음을 나타냅니다. 이로 인해 아직 집계되지 않은 기록이 업데이트되는지 궁금합니다. ? 경험 많은 영웅들이 나에게 조언을 해주기를 바랍니다!

stats.js 셸의 예약된 실행:

코드 복사 코드는 다음과 같습니다.

*/5 * * * * 루트 cd /root/log; mongo localhost:27017/log stats.js

좋아요, 이게 전부 코드입니다. 특별히 신비한 것은 없지만 Node.js는 정말 좋은 것입니다.