Logstash 與 Beats 入門

2022-09-23 10:07:01 字數 3024 閱讀 4416

公號:碼農充電站pro主頁:

logstash 是一款免費開放的伺服器端資料處理管道,能夠從多個**採集並轉換資料,然後將資料傳送到後端儲存中。

logstash 的處理流程分為三個階段,這三個階段合稱為一個pipeline

同時在輸入/輸出階段可以對資料進行編解碼處理。

使用者通過配置檔案告訴 logstash 如何處理資料。

logstash的每個處理階段都由一個或多個外掛來完成,logstash目前支援200 多個外掛

logstash 的一些常用外掛:

filters 階段:

outputs 階段:

編碼處理:

logstash 在實際處理資料時,會先將輸入資料放入佇列中,作為緩衝。

logstash queue 分為兩種:

logstash 通過-e引數在命令列指定一個 pipeline,通過-f引數指定一個配置檔案。

4.1,-e 引數

通過-e在命令列指定一個pipeline

logstash -e "input}output}"

logstash -e "input}output}"

logstash -e "input}output}"

4.2,-f 引數

資料示例,一個movies.csv檔案:

movieid,title,genres

1,toy story (1995),adventure|animation|children|comedy|fantasy

2,jumanji (1995),adventure|children|fantasy

3,grumpier old men (1995),comedy|romance

4,waiting to exhale (1995),comedy|drama|romance

5,father of the bride part ii (1995),comedy

6,heat (1995),action|crime|thriller

7,sabrina (1995),comedy|romance

8,tom and huck (1995),adventure|children

9,sudden death (1995),action

10,goldeneye (1995),action|adventure|thriller

11,"american president, the (1995)",comedy|drama|romance

12,dracula: dead and loving it (1995),comedy|horror

13,balto (1995),adventure|animation|children

14,nixon (1995),drama

15,cutthroat island (1995),action|adventure|romance

16,casino (1995),crime|drama

17,sense and sensibility (1995),drama|romance

18,four rooms (1995),comedy

19,ace ventura: when nature calls (1995),comedy

20,money train (1995),action|comedy|crime|drama|thriller

配置檔案logstash.conf

input 

}filter

mutate

remove_field => ["path", "host","@timestamp","message"]

} mutate "}

add_field => "}

} mutate

strip => ["title"]

remove_field => ["path", "host","@timestamp","message","content"]

}}output "

}stdout {} # 一個 stdout output

}

beats 是一個輕量型資料採集器,能夠方便的與 logstash 和 elasticsearch 配合使用。

beats 是基於 golang 開發的。

beats官方提供了一些具體的beats供我們使用:

(本節完。)