必须通过grok处理器对非结构化日志做字段提取和结构化，elasticsearch中需配置ingest pipeline并验证ingest功能，logstash中可用combinedapachelog内置模式或自定义pattern，配合convert、gsub、date插件完成类型校验与转换，并提前设置索引模板映射确保字段类型准确。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Elasticsearch中对原始日志做字段提取、语义识别和结构化检索，必须让非结构化文本具备可查询的字段粒度，否则全文匹配效率低、聚合无依据、过滤无法精准命中。
Grok处理器在Ingest Pipeline中启用
第一步：确认Elasticsearch集群已启用ingest功能（默认开启，但需验证节点配置中ingest: true未被禁用）。
第二步：创建一个名为parse-nginx-log的ingest pipeline，其中包含一个grok处理器，pattern设为%{IP:clientip} - %{USER:identity} \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response} %{NUMBER:bytes}。
第三步：执行PUT _ingest/pipeline/parse-nginx-log请求提交该pipeline定义。若返回400 Bad Request，大概率是pattern中某个命名捕获组（如%{HTTPDATE}）未被内置模式支持——此时需手动注册HTTPDATE模式或改用%{TIMESTAMP_ISO8601:timestamp}替代。
在Logstash中配置Grok Filter
方法一：直接使用内置模式
在Logstash的filter块中写入：grok { match => { "message" => "%{COMBINEDAPACHELOG}" } }。该模式已预置IP、时间、URL、状态码等字段，无需额外定义。
方法二：自定义pattern并复用
先在patterns_dir目录下新建custom-patterns文件，写入MYSQL_SLOW_LOG %{TIMESTAMP_ISO8601:timestamp} %{NUMBER:duration}s %{NUMBER:rows_examined:int} rows examined；再在filter中调用：grok { patterns_dir => ["/etc/logstash/patterns"] pattern => "%{MYSQL_SLOW_LOG}" }。
【注意：patterns_dir路径必须对logstash用户可读，且文件名不能带空格或特殊符号】
字段类型校验与强制转换
① 使用convert过滤器将字符串转为数值：mutate { convert => { "response" => "integer" "bytes" => "integer" } }。
② 若字段含前导零（如"00200"），Logstash默认转整型会丢失精度——此时必须先用gsub清洗：mutate { gsub => [ "response", "^0+", "" ] }，再执行convert。
③ 对时间字段，优先用date插件解析而非grok捕获：date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] target => "@timestamp" }。这能确保ES内部@timestamp为毫秒级精度，避免因字符串存储导致排序/范围查询失效。
索引模板中预设字段映射
向PUT _template/nginx-log-template提交如下mapping：
{ "index_patterns": ["nginx-*"], "priority": 100, "template": { "mappings": { "properties": { "clientip": { "type": "ip" }, "response": { "type": "short" }, "bytes": { "type": "long" }, "timestamp": { "type": "date", "format": "strict_date_optional_time||epoch_millis" } } } } }
这一步必须在首次写入数据前完成。若已写入，后续修改mapping仅对新文档生效，旧文档字段仍按dynamic mapping推断类型——比如bytes可能被误判为text，导致无法聚合求和。
