如何在 Apache Druid 中添加 JavaScript 提取函数-js教程-PHP中文网

如何在 Apache Druid 中添加 JavaScript 提取函数

本文介绍在 druid 中通过 javascript 实现自定义数据转换的正确方法，包括启用 js 支持、编写符合规范的提取函数、在 sql 查询中调用，同时强调生产环境应优先使用原生 sql 或表达式替代 js 方案。

本文介绍在 druid 中通过 javascript 实现自定义数据转换的正确方法，包括启用 js 支持、编写符合规范的提取函数、在 sql 查询中调用，同时强调生产环境应优先使用原生 sql 或表达式替代 js 方案。

Apache Druid 支持通过 JavaScript 编写用户自定义的提取（extraction）和转换（transformation）逻辑，但需注意：该功能默认禁用，且不推荐用于生产环境。Druid 官方明确建议优先使用其高性能原生能力（如 SQL 函数或数学表达式）实现相同逻辑；仅当确有必要时，才启用 JS 支持并严格管控安全性与性能。

✅ 正确启用与使用 JavaScript 提取函数

1. 启用 JavaScript 支持（服务端配置）

JavaScript 功能由 druid-javascript 扩展提供，需在所有相关服务（Broker、Historical、MiddleManager/Peon）的 jvm.config 和 runtime.properties 中显式启用：

# conf/druid/_common/common.runtime.properties
druid.javascript.enabled=true

并在 extensions.loadList 中加入扩展名：

"extensions": {
  "loadList": ["druid-javascript"]
}

⚠️ 重启服务后生效。切勿在未受信环境中启用 JS —— 它允许任意代码执行，存在严重安全风险。

2. 编写合规的提取函数

您提供的 transformData 函数需适配 Druid 的 JS 提取函数签名：必须是单参数纯函数，返回字符串（或 null），且不能依赖外部状态或异步操作。

修正后的标准提取函数示例（保存为 js_transform.js）：

Apache Superset Dashboard and SQL Exploration Skill

Apache Superset 是一个广泛采用的开源 BI 平台，用于 SQL 探索、图表构建和仪表板交付。当代理需要查询仓库数据、组装仪表板或使用成熟的分析界面解释指标而不是临时笔记本代码时，此技能非常有用。

下载

// 注意：函数名必须为 'transform'，且只接收一个参数（原始字段值）
function transform(value) {
  if (!value || typeof value !== 'string') return null;

  const res = {};
  const dataArray = value.split(',');

  dataArray.forEach(v => {
    const trimmed = v.trim();
    if (trimmed) res[trimmed] = true;
  });

  return res.abc ? 'abc' : 'xyz';
}

? 关键要求：

函数名必须为 transform（Druid 硬编码识别）；

输入 value 是单个字段的原始值（非整个行）；

输出必须为 string | null（不可返回对象、布尔或数字）；

禁止 console.log、fetch、setTimeout 等副作用操作。

3. 在 SQL 查询中调用 JS 提取函数

使用 EXTRACT + JS 函数语法（需 Druid ≥ 0.21）：

SELECT 
  EXTRACT(
    'js', 
    '{"function":"function transform(value){if(!value||typeof value!==\"string\")return null;const res={};value.split(\",\").forEach(v=>{const t=v.trim();if(t)res[t]=true;});return res.abc?\"abc\":\"xyz\";}"}',
    "your_column_name"
  ) AS extracted_value
FROM your_datasource
LIMIT 10;

更推荐的方式是预定义在数据源 Schema 中（如在摄入任务的 transformSpec 或 dimensionsSpec 中声明），以便复用：

"transformSpec": {
  "transforms": [{
    "type": "javascript",
    "name": "category_label",
    "expression": "function transform(v){return v&&v.includes('abc')?'abc':'xyz';}"
  }]
}

⚠️ 生产环境强烈建议的替代方案

您的需求本质是「基于逗号分隔字符串判断是否包含特定项」，完全可用 Druid 原生能力高效实现，零 JS、零性能损耗、零安全风险：

-- 使用 ARRAY + ARRAY_CONTAINS（Druid 24+ 推荐）
SELECT 
  CASE 
    WHEN ARRAY_CONTAINS(ARRAY['abc','xyz'], 'abc') THEN 'abc'
    ELSE 'xyz'
  END AS label
FROM your_datasource
WHERE ARRAY_CONTAINS(SPLIT(your_column, ','), 'abc');

-- 或兼容旧版本：使用 REGEXP_LIKE
SELECT 
  CASE 
    WHEN REGEXP_LIKE(your_column, '(^|,)abc(,|$)') THEN 'abc'
    ELSE 'xyz'
  END AS label
FROM your_datasource;