日志分析處理：GoAccess 篇
這篇文章介紹了如何使用GoAccess進(jìn)行日志分析處理，特別是針對(duì)常見場(chǎng)景進(jìn)行常規(guī)日志行為數(shù)據(jù)分析。面對(duì)大量的原始日志，除了導(dǎo)入ELK、ClickHouse、云服務(wù)日志SaaS系統(tǒng)，使用輕巧的GoAccess就能滿足多數(shù)基本分析需求。
在進(jìn)行分析前，需要準(zhǔn)備合理、正確的數(shù)據(jù)源。如果日志是由Nginx、Apache輸出，可以直接進(jìn)行實(shí)戰(zhàn)了解。然而，如果日志混雜了其他信息，需要進(jìn)行日志的“簡(jiǎn)單清洗”，處理掉程序不支持的數(shù)據(jù)。例如，使用tail命令“跳過”指定的行數(shù)，或者使用grep進(jìn)行符合內(nèi)容的日志篩選。
在處理Nginx訪問日志時(shí)，首先對(duì)日志類型進(jìn)行分類并進(jìn)行重命名整理。將相同格式的文件合并以及數(shù)據(jù)去重，并使用awk去掉每行日志中的容器名稱，對(duì)每行內(nèi)容進(jìn)行trim操作。此外，使用uniq進(jìn)行數(shù)據(jù)去重。在進(jìn)行分析前，針對(duì)不同格式的日志進(jìn)行清洗，摘除不需要的信息，將日志格式完全對(duì)齊。
針對(duì)Nginx格式的文件，使用awk基礎(chǔ)模式刪除最后一個(gè)字段；針對(duì)Traefik格式，需要?jiǎng)h除最后四個(gè)字段，并使用gawk和指定FPAT忽略雙引號(hào)內(nèi)的分隔符。處理完畢后，可以看到日志尺寸進(jìn)一步縮小。最后，使用grep對(duì)日志進(jìn)行拆分，合并相同時(shí)間段的日志，接下來就可以進(jìn)行分析。
如果需要按月拆分日志，可以使用GoAccess進(jìn)行分析。使用GoAccess分析Nginx日志時(shí)，需要注意在非容器環(huán)境使用時(shí)需要聲明LANG，避免程序解析異常。執(zhí)行命令后，將看到程序以每秒幾萬條速度以上進(jìn)行文件處理，最終能夠看到報(bào)告。
對(duì)于其他軟件/平臺(tái)的日志格式，可以參考官方文檔進(jìn)行定義。GoAccess還支持實(shí)時(shí)分析，通過添加監(jiān)聽參數(shù)并修改輸入為程序運(yùn)行中使用的日志，可以獲得實(shí)時(shí)更新的報(bào)告文件。需要注意的是，GoAccess本身并不提供Web Server相關(guān)能力，僅支持WebSocket Server功能，輸出的報(bào)告文件僅為靜態(tài)文件，如需作為實(shí)時(shí)日志看板，需要在前面添加擁有Web Server能力的軟件。
后續(xù)文章將討論如何處理大文件，并結(jié)合容器搭建輕量的實(shí)時(shí)訪問看板。總結(jié)，GoAccess是一個(gè)輕量級(jí)的日志分析工具，適用于處理常見日志場(chǎng)景，進(jìn)行常規(guī)日志行為數(shù)據(jù)分析。
咎池17658068292： 有什么好用的tomcat日志分析工具 -
臺(tái)兒莊區(qū)串聯(lián)： ______ 您好,很高興為您解答.一般的web server有兩部分日志: 1:是運(yùn)行中的日志,它主要記錄運(yùn)行的一些信息,尤其是一些異常錯(cuò)誤日志信息 2:是訪問日志信息,它記錄的訪問的時(shí)間,IP,訪...
咎池17658068292： 日志文件分析技巧
臺(tái)兒莊區(qū)串聯(lián)： ______ 檢查日期和時(shí)間 Web頁面訪問會(huì)留下詳細(xì)時(shí)間,它是由服務(wù)器生成的而非客戶端時(shí)間,不能隨意更改,因而可根據(jù)時(shí)間高低頻度為站點(diǎn)生成相應(yīng)報(bào)告. 跟蹤客戶端IP地址 這對(duì)地理信息查詢相當(dāng)有用,大多數(shù)日志分析軟件能基于IP地址執(zhí)行質(zhì)詢...
咎池17658068292： 我們?nèi)绾螐娜罩局羞M(jìn)行安全分析?我們?nèi)绾螐娜罩局羞M(jìn)行安全分析?
臺(tái)兒莊區(qū)串聯(lián)： ______ 在查看本地系統(tǒng)的日志文件時(shí),我們可以先依次單擊“開始”/“設(shè)置”/“控制面板”命令,然后用鼠標(biāo)雙擊系統(tǒng)控制面板窗口中的“管理工具”圖標(biāo),在彈出的管理工具...
咎池17658068292： 我該怎么學(xué)呢?我想做一個(gè)基于hadoop的日志分析系統(tǒng)?我想做一
臺(tái)兒莊區(qū)串聯(lián)： ______ 1.明確要分析的數(shù)據(jù)結(jié)構(gòu) 2.明確日志分析的目的 以上內(nèi)容如果都能清晰,那么你可開始進(jìn)入系統(tǒng)的規(guī)劃階段 1.選用競(jìng)品.市面上有很多的日志分析系統(tǒng)供你參考 2.評(píng)估系統(tǒng)架構(gòu).包括兼容的數(shù)據(jù)源、穩(wěn)定性、抗并發(fā)能力等 完成系統(tǒng)的規(guī)劃,做好項(xiàng)目設(shè)計(jì)以后,對(duì)項(xiàng)目的功能點(diǎn)進(jìn)行拆分,并列出優(yōu)先級(jí)別. 然后進(jìn)行開發(fā)打樣階段.
咎池17658068292： 請(qǐng)問數(shù)據(jù)庫日志處理技術(shù)的作用是什么?
臺(tái)兒莊區(qū)串聯(lián)： ______ 使用數(shù)據(jù)庫日志處理技術(shù),JFS能在幾秒或幾分鐘之內(nèi)把文件系統(tǒng)恢復(fù)到一致狀態(tài)
咎池17658068292： 如何查看linux系統(tǒng)下的各種日志文件 linux 系統(tǒng)日志的分析大全 -
臺(tái)兒莊區(qū)串聯(lián)： ______ 1. 一般兩種類型日志: 永久日志rsyslog 臨時(shí)日志system.journald2. 臨時(shí)日志 查看 journalctl -f 參數(shù)可追蹤實(shí)時(shí)日志3. 永久日志保存在/etc/log 目錄下,通過修改 /etc/rsyslog.conf參數(shù)可定義不同日志的輸出路徑 配置路徑格式: 設(shè)備名 . 優(yōu)先級(jí) ; ...
咎池17658068292： 如何解讀SQL Server日志 -
臺(tái)兒莊區(qū)串聯(lián)： ______ SQL Server 的事務(wù)日志包含所有數(shù)據(jù)修改的操作記錄.分析日志一般作為解決某些問題的最后手段,如查看某些意外的修改.理解和分析日志內(nèi)容是件非常困難的事情,fn_dblog通常會(huì)輸出非常多的數(shù)據(jù),查看也比較困難.我嘗試用一些實(shí)例幫...
咎池17658068292： sql日志文件放在哪里?日志文件滿了如何處理? -
臺(tái)兒莊區(qū)串聯(lián)： ______ 方法1:在查詢分析儀里面運(yùn)行下面代碼:backup log dbname with NO_LOG backup log dbname with TRUNCATE_ONLY DBCC SHRINKDATABASE(dbname) 方法2:進(jìn)入企業(yè)管理器,選中數(shù)據(jù)庫 所有任務(wù)->分離數(shù)據(jù)庫 到數(shù)據(jù)庫文件的存放目錄,將dbname_log.LDF文件刪除,怕S的話可以拷出去 企業(yè)管理器->附加數(shù)據(jù)庫,選dbname,這個(gè)時(shí)候你會(huì)看見日志文件這項(xiàng)是一個(gè)叉,不要緊繼續(xù),此時(shí)數(shù)據(jù)庫就會(huì)提示你該數(shù)據(jù)庫無日志是否創(chuàng)建一個(gè)新的,確定就是了 方法3:進(jìn)入企業(yè)管理器,選中數(shù)據(jù)庫 所有任務(wù)->收縮數(shù)據(jù)庫
咎池17658068292： 如何清除sqlserver 日志 -
臺(tái)兒莊區(qū)串聯(lián)： ______ 清理日志前請(qǐng)先備份數(shù)據(jù)庫!不要怕麻煩!切記!--*********【清理日志方法】--USE [master]--GO--ALTER DATABASE DzDB_test_1212 SET RECOVERY SIMPLE WITH NO_WAIT--GO--ALTER DATABASE DzDB_test_1212 SET RECOVERY ...
在進(jìn)行分析前，需要準(zhǔn)備合理、正確的數(shù)據(jù)源。如果日志是由Nginx、Apache輸出，可以直接進(jìn)行實(shí)戰(zhàn)了解。然而，如果日志混雜了其他信息，需要進(jìn)行日志的“簡(jiǎn)單清洗”，處理掉程序不支持的數(shù)據(jù)。例如，使用tail命令“跳過”指定的行數(shù)，或者使用grep進(jìn)行符合內(nèi)容的日志篩選。
在處理Nginx訪問日志時(shí)，首先對(duì)日志類型進(jìn)行分類并進(jìn)行重命名整理。將相同格式的文件合并以及數(shù)據(jù)去重，并使用awk去掉每行日志中的容器名稱，對(duì)每行內(nèi)容進(jìn)行trim操作。此外，使用uniq進(jìn)行數(shù)據(jù)去重。在進(jìn)行分析前，針對(duì)不同格式的日志進(jìn)行清洗，摘除不需要的信息，將日志格式完全對(duì)齊。
針對(duì)Nginx格式的文件，使用awk基礎(chǔ)模式刪除最后一個(gè)字段；針對(duì)Traefik格式，需要?jiǎng)h除最后四個(gè)字段，并使用gawk和指定FPAT忽略雙引號(hào)內(nèi)的分隔符。處理完畢后，可以看到日志尺寸進(jìn)一步縮小。最后，使用grep對(duì)日志進(jìn)行拆分，合并相同時(shí)間段的日志，接下來就可以進(jìn)行分析。
如果需要按月拆分日志，可以使用GoAccess進(jìn)行分析。使用GoAccess分析Nginx日志時(shí)，需要注意在非容器環(huán)境使用時(shí)需要聲明LANG，避免程序解析異常。執(zhí)行命令后，將看到程序以每秒幾萬條速度以上進(jìn)行文件處理，最終能夠看到報(bào)告。
對(duì)于其他軟件/平臺(tái)的日志格式，可以參考官方文檔進(jìn)行定義。GoAccess還支持實(shí)時(shí)分析，通過添加監(jiān)聽參數(shù)并修改輸入為程序運(yùn)行中使用的日志，可以獲得實(shí)時(shí)更新的報(bào)告文件。需要注意的是，GoAccess本身并不提供Web Server相關(guān)能力，僅支持WebSocket Server功能，輸出的報(bào)告文件僅為靜態(tài)文件，如需作為實(shí)時(shí)日志看板，需要在前面添加擁有Web Server能力的軟件。
后續(xù)文章將討論如何處理大文件，并結(jié)合容器搭建輕量的實(shí)時(shí)訪問看板。總結(jié)，GoAccess是一個(gè)輕量級(jí)的日志分析工具，適用于處理常見日志場(chǎng)景，進(jìn)行常規(guī)日志行為數(shù)據(jù)分析。
相關(guān)評(píng)說：
臺(tái)兒莊區(qū)串聯(lián)： ______ 您好,很高興為您解答.一般的web server有兩部分日志: 1:是運(yùn)行中的日志,它主要記錄運(yùn)行的一些信息,尤其是一些異常錯(cuò)誤日志信息 2:是訪問日志信息,它記錄的訪問的時(shí)間,IP,訪...
臺(tái)兒莊區(qū)串聯(lián)： ______ 檢查日期和時(shí)間 Web頁面訪問會(huì)留下詳細(xì)時(shí)間,它是由服務(wù)器生成的而非客戶端時(shí)間,不能隨意更改,因而可根據(jù)時(shí)間高低頻度為站點(diǎn)生成相應(yīng)報(bào)告. 跟蹤客戶端IP地址 這對(duì)地理信息查詢相當(dāng)有用,大多數(shù)日志分析軟件能基于IP地址執(zhí)行質(zhì)詢...
臺(tái)兒莊區(qū)串聯(lián)： ______ 在查看本地系統(tǒng)的日志文件時(shí),我們可以先依次單擊“開始”/“設(shè)置”/“控制面板”命令,然后用鼠標(biāo)雙擊系統(tǒng)控制面板窗口中的“管理工具”圖標(biāo),在彈出的管理工具...
臺(tái)兒莊區(qū)串聯(lián)： ______ 1.明確要分析的數(shù)據(jù)結(jié)構(gòu) 2.明確日志分析的目的 以上內(nèi)容如果都能清晰,那么你可開始進(jìn)入系統(tǒng)的規(guī)劃階段 1.選用競(jìng)品.市面上有很多的日志分析系統(tǒng)供你參考 2.評(píng)估系統(tǒng)架構(gòu).包括兼容的數(shù)據(jù)源、穩(wěn)定性、抗并發(fā)能力等 完成系統(tǒng)的規(guī)劃,做好項(xiàng)目設(shè)計(jì)以后,對(duì)項(xiàng)目的功能點(diǎn)進(jìn)行拆分,并列出優(yōu)先級(jí)別. 然后進(jìn)行開發(fā)打樣階段.
臺(tái)兒莊區(qū)串聯(lián)： ______ 使用數(shù)據(jù)庫日志處理技術(shù),JFS能在幾秒或幾分鐘之內(nèi)把文件系統(tǒng)恢復(fù)到一致狀態(tài)
臺(tái)兒莊區(qū)串聯(lián)： ______ 1. 一般兩種類型日志: 永久日志rsyslog 臨時(shí)日志system.journald2. 臨時(shí)日志 查看 journalctl -f 參數(shù)可追蹤實(shí)時(shí)日志3. 永久日志保存在/etc/log 目錄下,通過修改 /etc/rsyslog.conf參數(shù)可定義不同日志的輸出路徑 配置路徑格式: 設(shè)備名 . 優(yōu)先級(jí) ; ...
臺(tái)兒莊區(qū)串聯(lián)： ______ SQL Server 的事務(wù)日志包含所有數(shù)據(jù)修改的操作記錄.分析日志一般作為解決某些問題的最后手段,如查看某些意外的修改.理解和分析日志內(nèi)容是件非常困難的事情,fn_dblog通常會(huì)輸出非常多的數(shù)據(jù),查看也比較困難.我嘗試用一些實(shí)例幫...
臺(tái)兒莊區(qū)串聯(lián)： ______ 方法1:在查詢分析儀里面運(yùn)行下面代碼:backup log dbname with NO_LOG backup log dbname with TRUNCATE_ONLY DBCC SHRINKDATABASE(dbname) 方法2:進(jìn)入企業(yè)管理器,選中數(shù)據(jù)庫 所有任務(wù)->分離數(shù)據(jù)庫 到數(shù)據(jù)庫文件的存放目錄,將dbname_log.LDF文件刪除,怕S的話可以拷出去 企業(yè)管理器->附加數(shù)據(jù)庫,選dbname,這個(gè)時(shí)候你會(huì)看見日志文件這項(xiàng)是一個(gè)叉,不要緊繼續(xù),此時(shí)數(shù)據(jù)庫就會(huì)提示你該數(shù)據(jù)庫無日志是否創(chuàng)建一個(gè)新的,確定就是了 方法3:進(jìn)入企業(yè)管理器,選中數(shù)據(jù)庫 所有任務(wù)->收縮數(shù)據(jù)庫
臺(tái)兒莊區(qū)串聯(lián)： ______ 清理日志前請(qǐng)先備份數(shù)據(jù)庫!不要怕麻煩!切記!--*********【清理日志方法】--USE [master]--GO--ALTER DATABASE DzDB_test_1212 SET RECOVERY SIMPLE WITH NO_WAIT--GO--ALTER DATABASE DzDB_test_1212 SET RECOVERY ...
