知识

ELK:(ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成),Elasticsearch用于存储日志信息,Logstash用于收集日志,Kibana用于图形化展示。 上一节我们介绍了如何使用docker-compose搭建EL

您当前位置>主页 > 知识 > 软件开发 >

使用ELK系统分析SpringBoot日志

发表时间:2020-04-27 11:03

文章来源:admin

浏览次数:

ELK:(ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成),Elasticsearch用于存储日志信息,Logstash用于收集日志,Kibana用于图形化展示。

上一节我们介绍了如何使用docker-compose搭建ELK日志分析系统。传送门:传说中的ELK日志分析系统,手把手教你

本节我们介绍SpringBoot项目如何接入ELK日志分析系统。

 

使用ELK系统分析SpringBoot日志

 

 

新建springboot项目

  • POM.xml(引入logstash,此处springboot项目使用logback作为日志框架)

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.6.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>elk-test</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>elk-test</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.session</groupId>
            <artifactId>spring-session-core</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.springframework.security</groupId>
            <artifactId>spring-security-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.1</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>
  • logback-spring.xml(修改logback配置文件)

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} -
                %msg%n</pattern>
        </encoder>
    </appender>

    <!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径 -->
    <property name="LOG_HOME" value="/home" />


    <appender name="eventFile"
              class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- daily rollover 保存历史记录到这个文件夹一日起为后缀 -->
            <FileNamePattern>${LOG_HOME}/log/%d{yyyy-MM-dd}.log</FileNamePattern>
            <!-- keep 30 days' worth of history -->
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <encoder>
            <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{35} -
                %msg %n</Pattern>
            <charset>UTF-8</charset> <!-- 此处设置字符集 -->
        </encoder>
    </appender>

    <appender name="LOGSTASH"
              class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.3.15:4560</destination>
        <!-- encoder必须配置,有多种可选 -->
        <encoder charset="UTF-8"
                 class="net.logstash.logback.encoder.LogstashEncoder">
            <customFields>{"appname":"guilin"}</customFields>
        </encoder>
    </appender>


    <springProfile name="dev">
        <!-- 打印 日志级别 -->
        <root level="info">
            <appender-ref ref="eventFile" />
            <appender-ref ref="STDOUT" />
        </root>
    </springProfile>

    <springProfile name="prod">
        <!-- 打印 日志级别 -->
        <root level="info">
            <appender-ref ref="eventFile" />
            <appender-ref ref="STDOUT" />
            <appender-ref ref="LOGSTASH" />
        </root>
    </springProfile>
</configuration>

168.85.128:4560对应我们刚刚搭建的Logstash地址。

  • 配置Kiabana
  1. 访问http://192.168.85.128:5601/
  2. Kibana管理界面点击左侧Management,点击 Kinaba Index Patterns
  3. 在Index pattern里输入我们在logstash配置文件logstash-kiki.conf里output.index指定的值kiki-logstash-*,点击下一步,注意,这里需要检查elasticsearch中是否有匹配数据。
    所以,需要按上面的步骤创建springboot项目并启动,否则无法点击Next Step。
  4. 点击Next Step,在下拉框里选择@timestamp
  5. 点击 Create index patterns
使用ELK系统分析SpringBoot日志

 

  • 创建测试Controller

这个是我的测试,大家可以随便写,返回个hello word即可。


package com.example.elktest.web;

import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.security.Principal;
import java.util.HashMap;
import java.util.Map;
@Slf4j
@RestController
@RequestMapping("/one")
public class OneController {
    @GetMapping("/user")
    public Principal user(Principal principal) {
        log.info("获取当前登录人信息");
        return principal;
    }
}

验证

使用postman访问 localhost:8002/one/user。查看是否搜集到了日志数据。

 

使用ELK系统分析SpringBoot日志

 

可以看到已经获取到了日志数据。这样我们就可以直接使用ELK汇总分析日志了。

相关项目查看更多