Kettle 도구가 JavaScript를 사용하여 작동하는 방법

Kettle 도구는 데이터 엔지니어가 데이터를 추출, 변환 및 로드하는 데 도움이 될 수 있는 오픈 소스 ETL(추출, 변환, 로드) 도구입니다. Kettle은 시각적 인터페이스를 제공할 뿐만 아니라 JavaScript 스크립트를 사용하여 ETL 처리 프로세스를 사용자 정의합니다. 따라서 이 기사에서는 JavaScript를 사용하여 Kettle 도구가 어떻게 작동하는지 소개합니다.

1. Kettle 도구 소개

Kettle은 관계형 데이터베이스, 파일, NoSQL 데이터베이스 등을 포함한 여러 데이터 소스와 대상 데이터를 지원하는 Java 기반 ETL 도구이며 다음과 같은 기능을 가지고 있습니다.

1. Visual 인터페이스 : 사용자는 인터페이스를 통해 데이터 소스 추가, 타겟 데이터 정의, E-T-L 작업 구성 및 실행 등의 작업을 완료할 수 있습니다.
2. 빅 데이터 지원: Kettle은 메모리 효율적인 기술을 사용하여 대용량 데이터 또는 높은 동시성을 처리할 때 뛰어난 성능을 달성합니다.
3. 데이터 품질 검증: Kettle에는 데이터 품질 검증 및 감독 기능이 있으며 대규모 데이터 검증을 수행하여 데이터의 적시성과 정확성을 보장할 수 있습니다.

2. Kettle 도구의 JavaScript 스크립트를 작동하는 방법

Kettle 도구에서 JavaScript 스크립트를 작동하려면 다음 단계를 따라야 합니다.

1. Kettle 도구를 열고 새 변환 또는 작업을 만듭니다.
2. 전환 또는 작업을 마우스 오른쪽 버튼으로 클릭하고 "편집"을 선택하여 편집 상태로 들어갑니다.
3. 편집 상태에서 JavaScript 스크립트를 추가해야 하는 단계를 선택하고 마우스 오른쪽 버튼을 클릭한 후 "단계 편집"을 선택하세요.
4. 팝업 창에서 "비즈니스 인텔리전스" 탭을 선택한 다음 "JavaScript"를 선택하세요.
5. 이 창에 JavaScript 스크립트를 입력하기만 하면 됩니다. 스크립트에서 Kettle 마법사는 개발자에게 작업을 단순화하기 위해 직접 호출하거나 할당할 수 있는 몇 가지 공통 변수 및 메서드를 제공합니다.

3. JavaScript 스크립트를 사용하여 데이터 ETL 작업 완료

Kettle의 JavaScript 스크립트는 강력하며 복잡한 데이터 ETL 처리 작업을 구현하는 데 사용할 수 있습니다. 아래에서는 JavaScript 스크립트를 사용하여 "데이터 추출", "데이터 변환" 및 "데이터 로드"의 세 가지 측면에서 데이터 ETL 작업을 완료하는 방법을 소개합니다.

1. 데이터 추출

Kettle에서 데이터 추출을 구현할 때 "테이블 입력" 단계와 결합된 JavaScript 스크립트를 사용하여 완료할 수 있습니다. 구체적인 단계는 다음과 같습니다.

1) 먼저 새 변환을 생성하고 "테이블 입력" 단계를 추가한 후 다른 단계에 연결합니다.

2) "테이블 입력" 단계의 편집 창에서 다음을 선택합니다. "SQL 문 쿼리" 옵션을 선택하고 아래 텍스트 상자에 필요한 SQL 문을 입력하세요.

3) "비즈니스 인텔리전스" 탭을 선택한 다음 "JavaScript"를 선택하여 스크립트 편집 상자에 JavaScript 스크립트를 작성하세요. 4) 변수를 사용하고 방법은 다음과 같습니다.

var row = getRow();
if(row) {
  //在这里输入需要抽取的字段名和数据类型
  var name = row.get("name");
  var age = row.getInteger("age");
  
  //在这里实现数据转换
  age = age * 2;
  
  //在这里输出结果
  var newRow = createRowCopy(row);
  newRow.setValue("new_age", age);
  putRow(newRow);  
} else {
  //表格输入到此结束，结束结果保存到日志中，并返回null终止此步骤。
  logBasic("表格输入完成");
  null;
}

데이터 변환

2. Kettle에서 데이터 변환을 구현할 때 "Java Script" 또는 "JDBC" 단계와 결합된 JavaScript 스크립트를 사용하여 수행할 수 있습니다. 구체적인 단계는 다음과 같습니다.

1) 새 변환을 생성하고 "Java Script" 또는 "JDBC" 단계를 추가하여 다른 단계에 연결합니다.

2) "Java Script" 또는 "JDBC" 단계를 엽니다. "매개변수"를 선택합니다. 데이터 소스 및 대상 데이터는 탭에서 정의됩니다.

3) "비즈니스 인텔리전스" 탭을 선택한 다음 "JavaScript"를 선택하고 스크립트 편집 상자에 JavaScript 스크립트를 작성합니다.

4) 아래와 같이 스크립트의 변수와 메소드를 사용하여 데이터 변환을 구현합니다.

//获取连接
var con = getJDBCConnectionByName("dbConnection");

//查询数据
var rs = con.prepareStatement("SELECT * FROM customer").executeQuery();

//添加查询结果到输出
while(rs.next()) {
  var id = rs.getLong("id");
  var name = rs.getString("name");
  
  //在这里实现数据转换
  var transformedName = name.toUpperCase();   
  
  //在这里输出结果
  var newRow = createRowCopy(row);
  newRow.setValue("id", id);
  newRow.setValue("name", transformedName);
  putRow(newRow);  
}

//关闭连接
rs.close();
con.close();

데이터 로딩

3. Kettle에서 데이터 로딩을 구현할 때 JavaScript 스크립트를 사용하여 "테이블 출력" 단계와 "삽입/업데이트" 단계를 완료할 수 있습니다. 구체적인 단계는 다음과 같습니다.

1) 새 변환을 생성하고 "테이블 출력" 단계와 "삽입/업데이트" 단계를 추가하여 다른 단계에 연결합니다.

2) "테이블 출력" 단계를 열고 다음을 클릭합니다. "테이블 출력" 데이터 소스 정보가 탭에 정의됩니다.

3) "비즈니스 인텔리전스" 탭을 선택한 다음 "JavaScript"를 선택하고 스크립트 편집 상자에 JavaScript 스크립트를 작성합니다.

4) 아래와 같이 스크립트의 변수와 메소드를 사용하여 데이터를 로드합니다.

//往输出中添加数据
var newRow = getDataRow();
newRow.setValue("name", "马化腾");
newRow.setValue("sex", "男");
newRow.setValue("age", 48);
addRowToOutput(newRow);

//往目标表添加数据
var row = getRow();
if(row) {
  //抽取需要的变量，形式如该脚本实例
  
  //查询表中是否已存在此行数据
  var sql = "SELECT * FROM customer WHERE id='" + id + "'";
  var rs = dbConnection.executeQuery(sql);

  if(rs.next()) {
     //如果存在，就执行更新操作
     var updateSql = "UPDATE customer SET name=?,age=? WHERE id=?";
     var pstmt = dbConnection.getConnection().prepareStatement(updateSql);
     pstmt.setString(1, transformedName);
     pstmt.setInt(2, age);
     pstmt.setLong(3, id);
     pstmt.executeUpdate();
     pstmt.close();
  } else {
     //如果不存在，执行插入操作
     var insertSql = "INSERT INTO customer(id, name, age) VALUES (?, ?, ?)";
     var pstmt = dbConnection.getConnection().prepareStatement(insertSql);
     pstmt.setLong(1, id);
     pstmt.setString(2, transformedName);
     pstmt.setInt(3, age);
     pstmt.executeUpdate();
     pstmt.close();
  }
} else {
  //表格输入到此结束，结束结果保存到日志中。
  logBasic("表格输出完成");
  null;
}

요약

Kettle 도구의 JavaScript 스크립트는 개발자에게 매우 유연하고 강력한 ETL 처리 기능을 제공할 수 있으며 개발자가 데이터 추출, 변환, 로딩과 같은 작업을 신속하게 구현하는 데 도움이 될 수 있습니다. 실제 작업에서 개발자는 특정 비즈니스 데이터 처리 요구 사항에 적합한 JavaScript 스크립트만 작성하면 해당 데이터 ETL 작업을 효율적으로 완료할 수 있습니다.

위 내용은 Kettle 도구가 JavaScript를 사용하여 작동하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!