unsetunset1、引言unsetunset

在現(xiàn)代數(shù)據(jù)管理和可觀測(cè)性領(lǐng)域，將混亂的非結(jié)構(gòu)化日志數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化、可查詢(xún)的格式是至關(guān)重要的。

對(duì)于在 Elastic Stack 中工作的工程師和開(kāi)發(fā)者來(lái)說(shuō)，Grok 處理器正是這一需求的完美解決方案。

掌握這一強(qiáng)大工具不僅是一項(xiàng)寶貴的技能，更是實(shí)現(xiàn)高效日志分析的必然要求。 本指南將帶你從基礎(chǔ)語(yǔ)法到高級(jí)性能優(yōu)化，全面深入地探討 Grok 處理器的使用。

通過(guò)將原始日志消息轉(zhuǎn)化為可執(zhí)行的洞察，Grok 處理器賦予團(tuán)隊(duì)更快的故障排查能力、更有效的監(jiān)控以及對(duì)系統(tǒng)的深層理解。

unsetunset2、Elasticsearch 中的 Grok 處理器簡(jiǎn)介unsetunset

2.1 什么是 Grok 處理器？

Grok 處理器是 Elasticsearch 攝入管道中的一個(gè)關(guān)鍵組件，專(zhuān)門(mén)用于解析和結(jié)構(gòu)化文本數(shù)據(jù)。其核心功能是從應(yīng)用程序日志、Web 服務(wù)器訪(fǎng)問(wèn)日志和系統(tǒng)消息等非結(jié)構(gòu)化日志數(shù)據(jù)中提取結(jié)構(gòu)化字段。

Grok 通過(guò)結(jié)合正則表達(dá)式（regex）和可復(fù)用的命名模式來(lái)實(shí)現(xiàn)這一功能?？梢詫⑵淅斫鉃橐环N應(yīng)用"寫(xiě)時(shí)模式"的方法，將人類(lèi)可讀但機(jī)器不友好的文本轉(zhuǎn)換為干凈的基于字段的格式，甚至在數(shù)據(jù)被索引之前就完成了這一轉(zhuǎn)換。

2.2 為什么 Grok 處理器如此重要？

對(duì)于現(xiàn)代攝入管道，Grok 處理器的重要性不容低估。沒(méi)有 Grok，日志將僅作為單個(gè)龐大的消息字段存在，使得搜索變得緩慢且復(fù)雜。例如，簡(jiǎn)單的問(wèn)題如"過(guò)去一小時(shí)內(nèi)發(fā)生了多少個(gè) 404 錯(cuò)誤？"在沒(méi)有 Grok 的情況下會(huì)變得難以回答。

通過(guò)使用 Grok 提取 http.response.status_code、client.ip 和 event.duration 等字段，你可以以接近實(shí)時(shí)的速度進(jìn)行分析，并具有精確的準(zhǔn)確性。結(jié)構(gòu)化數(shù)據(jù)相比于非結(jié)構(gòu)化文本顯著快速易查詢(xún)、聚合和可視化，這在 Kibana 等工具中尤為明顯。

unsetunset3、Grok 語(yǔ)法和模式詳解unsetunset

3.1 基礎(chǔ)語(yǔ)法結(jié)構(gòu)

要有效使用 Grok 處理器，首先必須理解其語(yǔ)法和模式概念。Grok 建立在正則表達(dá)式的基礎(chǔ)上，但通過(guò)允許使用預(yù)構(gòu)建的命名模式來(lái)簡(jiǎn)化流程，這些模式比復(fù)雜的正則表達(dá)式更易讀且易于組合。

Grok 模式的基礎(chǔ)語(yǔ)法為：%{SYNTAX:SEMANTIC:TYPE}

讓我們逐個(gè)分解每個(gè)組件：

• SYNTAX。 這是你要匹配的 Grok 模式的名稱(chēng)。例如，NUMBER 匹配數(shù)字（如 5.2），IP 匹配 IP 地址，WORD 匹配單個(gè)單詞。

• SEMANTIC。

這是你分配給匹配數(shù)據(jù)的標(biāo)識(shí)符或字段名。

例如，如果你匹配一個(gè) IP 地址，你可能會(huì)將其命名為 client.ip。這是將被添加到文檔中的字段。

• TYPE。 這是一個(gè)可選組件，允許你在提取時(shí)轉(zhuǎn)換捕獲字段的數(shù)據(jù)類(lèi)型。支持的類(lèi)型包括 int、float、long 和 boolean。 例如，%{NUMBER:http.request.bytes:int} 將匹配一個(gè)數(shù)字并將其存儲(chǔ)為整數(shù)。
  

3.2 實(shí)際應(yīng)用示例

一個(gè)簡(jiǎn)單的模式用于解析日志行 "192.168.1.1 GET" 會(huì)是： %{IP:client.ip} %{WORD:http.request.method}

這個(gè)模式告訴 Grok 找到一個(gè) IP 地址并將其分配給 client.ip 字段，然后查找一個(gè)單詞并將其分配給 http.request.method 字段。

3.3 內(nèi)置模式概覽

Elasticsearch 配備了一個(gè)龐大的模式庫(kù)，包含超過(guò) 120 個(gè)內(nèi)置模式，這些模式被存儲(chǔ)并維護(hù)以供常見(jiàn)用例使用。

https://www./docs/explore-analyze/scripting/grok

這些模式涵蓋了從簡(jiǎn)單的 WORD 和 NUMBER 到更復(fù)雜的復(fù)合模式如 HTTPDATE（用于標(biāo)準(zhǔn) Web 日志時(shí)間戳）和 COMBINEDAPACHELOG（用于在一次性解析整個(gè) Apache 訪(fǎng)問(wèn)日志行）的廣泛數(shù)據(jù)類(lèi)型。

使用這些預(yù)構(gòu)建的模式節(jié)省了大量時(shí)間和精力，因?yàn)槟悴槐貫槌Ｒ?jiàn)日志格式重新創(chuàng)造輪子。它們經(jīng)過(guò)測(cè)試和優(yōu)化以實(shí)現(xiàn)性能，使其成為任何解析任務(wù)的可靠起點(diǎn)。

3.4 創(chuàng)建自定義 Grok 模式

雖然內(nèi)置模式很廣泛，但你將不可避免地遇到來(lái)自不符合標(biāo)準(zhǔn)格式的自定義應(yīng)用程序或服務(wù)的日志。在這些情況下，你可以在攝入管道定義中直接定義自己的自定義模式。

例如，假設(shè)你的應(yīng)用程序記錄了一個(gè)唯一的交易 ID，其格式始終為 "TXN-" 后跟八個(gè)十六進(jìn)制字符。你可以創(chuàng)建這樣的自定義模式：

# 第一步：創(chuàng)建攝入管道（Ingest Pipeline）

PUT _ingest/pipeline/custom-transaction-pipeline
{
"description": "帶有自定義模式的管道",
"processors": [
    {
      "grok": {
        "field": "message",
        "pattern_definitions": {
          "CUSTOM_TXN_ID": "TXN-[0-9a-fA-F]{8}"
        },
        "patterns": [
          "%{TIMESTAMP_ISO8601:timestamp} %{CUSTOM_TXN_ID:transaction.id} %{GREEDYDATA:log.message}"
        ]
      }
    }
  ]
}


# 第二步：測(cè)試管道（使用_ingest/pipeline/_simulate）

POST _ingest/pipeline/custom-transaction-pipeline/_simulate
{
"docs": [
    {
      "_source": {
        "message": "2024-10-20T14:30:45.123Z TXN-a1b2c3d4 Payment processed successfully"
      }
    },
    {
      "_source": {
        "message": "2024-10-20T15:45:12.456Z TXN-9f8e7d6c Order creation failed - insufficient funds"
      }
    },
    {
      "_source": {
        "message": "2024-10-20T16:20:33.789Z TXN-12ab34cd User authentication completed"
      }
    }
  ]
}

這種方法保持了解析邏輯的整潔和模塊化，允許你通過(guò)組合內(nèi)置和自定義定義來(lái)構(gòu)建復(fù)雜模式。

unsetunset4、Grok 處理器的配置與設(shè)置unsetunset

4.1 在 Elasticsearch 攝入管道中設(shè)置 Grok

首先，你需要使用 PUT _ingest/pipeline/<pipeline_name> API 端點(diǎn)創(chuàng)建一個(gè)攝入管道。在管道定義中，將一個(gè) grok 處理器添加到處理器列表中。Grok 處理器的基本選項(xiàng)包括：

• field：指定要解析的源字段（通常是 message）
• patterns：一個(gè)有序的 Grok 模式列表。處理器將在第一個(gè)成功匹配的模式處停止 以下是一個(gè)解析簡(jiǎn)單日志格式的管道示例：
  

PUT _ingest/pipeline/my_grok_pipeline
{
"description": "用于解析應(yīng)用程序日志的簡(jiǎn)單管道",
"processors": [
    {
      "grok": {
        "field": "message",
        "patterns": [
          "%{TIMESTAMP_ISO8601:event.created} %{LOGLEVEL:log.level} %{GREEDYDATA:log.message}"
        ]
      }
    }
  ]
}

4.2 使用 _simulate 端點(diǎn)進(jìn)行測(cè)試

創(chuàng)建后，你可以使用 _simulate 端點(diǎn)測(cè)試此管道，查看它如何轉(zhuǎn)換示例文檔而不實(shí)際索引它。這是調(diào)試和完善模式的一個(gè)寶貴步驟。 如 3.4 小節(jié)的截圖實(shí)現(xiàn)。

4.3 配置選項(xiàng)詳解

4.3.1 多模式匹配

你可以在 patterns 數(shù)組中列出多個(gè)模式，Grok 將按順序嘗試它們直到一個(gè)匹配。這對(duì)處理包含略有不同格式行的日志文件很有用。

4.3.2 自定義模式定義

如前所述，pattern_definitions 選項(xiàng)允許你為該特定處理器定義自定義模式。

4.3.3 故障處理

on_failure 塊定義了一組操作，在 Grok 處理器無(wú)法匹配任何提供的模式時(shí)執(zhí)行。

一個(gè)常見(jiàn)的做法是向文檔添加標(biāo)簽（例如 _grokparsefailure）并將其索引在索引中以供后續(xù)檢查。這可以防止數(shù)據(jù)丟失并幫助識(shí)別和修復(fù)解析問(wèn)題。

unsetunset5、實(shí)戰(zhàn)案例：Nginx 日志解析unsetunset

5.1 場(chǎng)景描述

一個(gè)典型的 Nginx 日志行如下所示：

127.0.0.1 - - [10/Aug/2025:10:55:36 +0000] "GET /index.html HTTP/1.1" 200 153 "-" "Mozilla/5.0"

5.2 解決方案

不是從頭開(kāi)始編寫(xiě)復(fù)雜的正則表達(dá)式，我們可以使用內(nèi)置的 COMBINEDAPACHELOG 模式，它與默認(rèn)的 Nginx 格式兼容。

攝入管道定義如下：

PUT _ingest/pipeline/nginx_pipeline
{
"description": "解析 Nginx 訪(fǎng)問(wèn)日志",
"processors": [
    {
      "grok": {
        "field": "message",
        "patterns": ["%{COMBINEDAPACHELOG}"],
        "on_failure": [
          {
            "set": {
              "field": "error.message",
              "value": "Grok 未能解析 Nginx 日志"
            }
          }
        ]
      }
    }
  ]
}

當(dāng)具有示例日志行的文檔通過(guò)此管道攝入時(shí)，Grok 處理器將自動(dòng)提取 clientip、verb、request、response、bytes 和 agent 等字段。

POST _ingest/pipeline/nginx_pipeline/_simulate
{
  "docs": [
    {
      "_source": {
        "message": "127.0.0.1 - - [10/Aug/2025:10:55:36 +0000] \"GET /index.html HTTP/1.1\" 200 153 \"-\" \"Mozilla/5.0\""
      }
    }
  ]
}

最終結(jié)果：

unsetunset6、性能優(yōu)化策略unsetunset

6.1 大規(guī)模日志攝入中的性能考慮

當(dāng)每秒攝入數(shù)十萬(wàn)條日志時(shí)，每一點(diǎn) CPU 使用都很關(guān)鍵。Grok 的性能與其模式的復(fù)雜性和特異性直接相關(guān)。 一個(gè)關(guān)鍵原則是盡可能具體。避免在更精確的模式如 NOTSPACE（\S+）或 WORD（\w+）足以勝任的情況下使用 GREEDYDATA（.*）。 正則表達(dá)式引擎需要回溯越多，性能就越差。

6.2 Grok 處理器效率優(yōu)化的最佳實(shí)踐

6.2.1 保持具體性：

避免使用 GREEDYDATA 這樣的通用模式。模式越具體，匹配速度越快。

6.2.2 順序很重要：

將最頻繁匹配的模式放在 patterns 列表的開(kāi)頭。由于 Grok 在第一次成功匹配時(shí)停止，按頻率排序可以最小化需要評(píng)估的模式數(shù)量。

6.2.3 使用 Dissect 處理簡(jiǎn)單數(shù)據(jù)：

如果你的日志數(shù)據(jù)始終使用清晰的分隔符（如 CSV 或空格分隔的值）結(jié)構(gòu)化，請(qǐng)使用 Dissect 處理器。它對(duì) CPU 的影響要小得多。

6.2.4 組合 Dissect 和 Grok：

對(duì)于既有結(jié)構(gòu)化又有非結(jié)構(gòu)化部分的日志，先使用 Dissect 快速解析可預(yù)測(cè)的部分，然后對(duì)剩余的非結(jié)構(gòu)化字段應(yīng)用更有針對(duì)性的 Grok 模式。

6.2.5 快速失敗：

盡可能確保你的模式有錨點(diǎn)（使用 ^ 表示行的開(kāi)始，$ 表示行的結(jié)束），允許正則表達(dá)式引擎在非匹配行上更快地失敗。

6.2.6 預(yù)過(guò)濾數(shù)據(jù)：

如果可能，在源頭（例如在 Filebeat 或 Logstash 中）丟棄不必要的日志，使其永遠(yuǎn)不會(huì)到達(dá) Grok 處理器。這會(huì)減少攝入節(jié)點(diǎn)上的總體工作量。

unsetunset7、Grok 與 Dissect 處理器的對(duì)比unsetunset

7.1 核心差異

Grok 和 Dissect 之間的根本區(qū)別在于它們的底層機(jī)制。Grok 基于正則表達(dá)式，這使其非常靈活和強(qiáng)大。它可以處理高度可變和復(fù)雜的文本結(jié)構(gòu)。

然而，這種強(qiáng)大功能的代價(jià)是：正則表達(dá)式評(píng)估消耗大量 CPU，如果模式編寫(xiě)不當(dāng)可能會(huì)很慢。

相比之下，Dissect 不使用正則表達(dá)式。它通過(guò)匹配分隔符來(lái)工作。你為其提供一個(gè)看起來(lái)類(lèi)似于 Grok 模式的模式，但它將 %{field} 聲明之間的部分視為簡(jiǎn)單分隔符。 這使 Dissect 比 Grok 快得多，資源消耗也更少。權(quán)衡是缺乏靈活性。

Dissect 最適合于結(jié)構(gòu)一致且可靠的日志，其中字段始終由相同字符分隔。如果結(jié)構(gòu)變化，Dissect 將失敗。

7.2 功能對(duì)比表

7.3 使用決策指南

7.3.1 使用 Grok 處理器當(dāng)：

（1）日志數(shù)據(jù)非結(jié)構(gòu)化或格式高度可變 

（2）需要充分利用正則表達(dá)式的力量來(lái)提取字段 

（3）日志行的結(jié)構(gòu)可能從一條消息變化到另一條 

（4）在解析復(fù)雜格式如堆棧跟蹤或包含可選字段的日志

7.3.2 使用 Dissect 處理器當(dāng)：

（1）日志數(shù)據(jù)結(jié)構(gòu)良好且使用一致的分隔符（如空格、逗號(hào)、管道符）

（2）性能和低 CPU 使用是關(guān)鍵優(yōu)先事項(xiàng) 

（3）在解析日志，其中字段的順序和數(shù)量始終相同 

（4）典型示例是標(biāo)準(zhǔn)化的訪(fǎng)問(wèn)日志，其中每一行都遵循完全相同的模板

7.4 混合策略

一個(gè)強(qiáng)大的策略是同時(shí)使用兩者。你可以創(chuàng)建一個(gè)管道，其中 Dissect 處理器執(zhí)行初始的高速傳遞來(lái)將日志分解成塊。

然后，Grok 處理器可以應(yīng)用于包含更復(fù)雜的非結(jié)構(gòu)化字符串的某個(gè)結(jié)果字段。 

這種混合方法為你提供了兩全其美：Dissect 的簡(jiǎn)單部分速度和 Grok 的困難部分力量。

unsetunset8、常見(jiàn)問(wèn)題和故障排查unsetunset

8.1 _grokparsefailure 問(wèn)題

使用 Grok 時(shí)最常見(jiàn)的問(wèn)題是令人畏懼的 _grokparsefailure 標(biāo)簽。這意味著你提供的任何模式都與傳入的日志消息不匹配。

解決此問(wèn)題的主要工具是 Kibana 開(kāi)發(fā)工具中的 Grok 調(diào)試器。它提供了一個(gè)交互式界面，你可以在其中粘貼日志消息并實(shí)時(shí)針對(duì)其測(cè)試模式，確切地看到什么匹配什么不匹配。

8.2 生產(chǎn)環(huán)境中的錯(cuò)誤處理

當(dāng)生產(chǎn)中的模式失敗時(shí)，強(qiáng)大的錯(cuò)誤處理至關(guān)重要。在你的攝入管道中使用 on_failure 塊來(lái)捕獲這些故障。最佳實(shí)踐是將失敗的文檔路由到單獨(dú)的"死信"索引。這可以防止數(shù)據(jù)丟失并創(chuàng)建一個(gè)專(zhuān)門(mén)的地方來(lái)分析問(wèn)題日志。

然后，你可以查看此索引中的文檔，在調(diào)試器中細(xì)化你的 Grok 模式，并更新你的管道。這個(gè)測(cè)試、部署和處理故障的迭代過(guò)程對(duì)于構(gòu)建一個(gè)有彈性的解析系統(tǒng)至關(guān)重要。

unsetunset9、總結(jié)與展望unsetunset

通過(guò)本指南的全面探討，我們已經(jīng)看到 Grok 在將原始的非結(jié)構(gòu)化日志轉(zhuǎn)化為有價(jià)值的結(jié)構(gòu)化數(shù)據(jù)中的關(guān)鍵角色。從其基礎(chǔ)語(yǔ)法到高級(jí)配置和性能調(diào)優(yōu)，掌握 Grok 處理器對(duì)任何在 Elastic Stack 中工作的工程師來(lái)說(shuō)都是一項(xiàng)必要的技能。

通過(guò)應(yīng)用這些原則，你可以構(gòu)建高效、有彈性和可擴(kuò)展的日志攝入系統(tǒng)，將噪音轉(zhuǎn)化為可執(zhí)行的洞察，實(shí)現(xiàn)更快的故障排查、更好的監(jiān)控和更深入的商業(yè)智能。

在 Kibana 中進(jìn)行的所有后續(xù)分析和可視化都建立在有效解析攝入時(shí)數(shù)據(jù)的基礎(chǔ)之上。

日志解析神器——Logstash中的Grok過(guò)濾器使用詳解

干貨 | Logstash Grok數(shù)據(jù)結(jié)構(gòu)化ETL實(shí)戰(zhàn)

收藏：Logstash 最常見(jiàn)面試題及答案整理（11-20）

收藏：Logstash 最常見(jiàn)面試題及答案整理（1-10）

Elasticsearch 預(yù)處理沒(méi)有奇技淫巧，請(qǐng)先用好這一招！

Elasticsearch 預(yù)處理技巧十問(wèn)十答