Comment implémenter la surveillance des fichiers journaux et lire les données associées en Java

Exigences du projet

Parce que l'équipe du projet du centre de données doit mettre en œuvre l'exigence de surveillance des dossiers ou des fichiers journaux et de lecture des données sales dans les formats correspondants, afin d'effectuer les processus métier correspondants lorsque les fichiers et les dossiers changent, enregistrez-les ici Mise en œuvre et ; sélection technologique des entreprises pertinentes.

Apache Commons-IO

Vous devez d'abord ajouter les dépendances correspondantes :

<dependency>
 <groupId>commons-io</groupId>
 <artifactId>commons-io</artifactId>
 <version>2.7</version>
</dependency>

La version peut être sélectionnée par vous-même. Il convient de noter ici que la version 2.7 et supérieure nécessite Java 8

Capture d'écran du site officiel :

.

Apache Commos IO Le package org.apache.commons.io.monitor fournit une fonctionnalité de surveillance du système de fichiers. org.apache.commons.io.monitor包提供了文件系统监听的功能。

核心知识

• 一句话总结：通过观察者模式以及事件监听机制，以 FileAlterationObserver 为核心，再通过 FileAlterationListener，FileAlterationMonitor，就可以实现对文件系统的事件监听。

• 整体流程：

• 自定义文件监听类并继承 FileAlterationListenerAdaptor 实现对文件与目录的创建，修改，删除事件的处理

• 自定义文件监控类，通过指定目录创建一个观察者 FileAlterationObserver

• 向此监视器添加文件系统观察器，并添加文件监听器

• 通过 ApplicationRunner 或者 CommandLineRunner 调用并执行

代码实现

• 文件监听类：

/**
 * 文件监听类
 * @author Greenarrow
 * @date 2022-05-12 14:43
 **/
public class FileListener extends FileAlterationListenerAdaptor {

    private static Logger logger = LoggerFactory.getLogger(FileListener.class);
    @Override
    public void onStart(FileAlterationObserver observer) {
        super.onStart(observer);
        logger.info("onStart");
    }

    @Override
    public void onDirectoryCreate(File directory) {
        logger.info("[新建]:" + directory.getAbsolutePath());
    }

    @Override
    public void onDirectoryChange(File directory) {
        logger.info("[修改]:" + directory.getAbsolutePath());
    }

    @Override
    public void onDirectoryDelete(File directory) {
        logger.info("[删除]:" + directory.getAbsolutePath());
    }

    @Override
    public void onFileCreate(File file) {
        String compressedPath = file.getAbsolutePath();
        logger.info("[新建]:" + compressedPath);
        List<String> contentList = null;
        try {
            if (file.canRead()){
                // 将文件按行读取为字符串集合
                contentList = FileUtils.readLines(new File(compressedPath), StandardCharsets.UTF_8);
                if (CollectionUtil.isNotEmpty(contentList)){
                    // 获取对应格式的数据并输出，这里可自行添加业务处理
                    List<String> dirtyRecord  = contentList.stream().filter(s -> s.startsWith("{") && s.endsWith("}")).collect(Collectors.toList());
                    dirtyRecord.forEach(System.out::println);
                }
            }

        } catch (IOException e) {
            e.printStackTrace();
            logger.error("读取文件内容失败",e);
        }
    }

    @Override
    public void onFileChange(File file) {
        String compressedPath = file.getAbsolutePath();
        logger.info("[修改]:" + compressedPath);
    }

    @Override
    public void onFileDelete(File file) {
        logger.info("[删除]:" + file.getAbsolutePath());
    }

    @Override
    public void onStop(FileAlterationObserver observer) {
        super.onStop(observer);
        logger.info("onStop");
    }
}

• 文件监控类：

/**
 * 文件监听测试 demo
 * @author Greenarrow
 * @date 2022-05-12 14:45
 **/
public class FileMonitor {

    FileAlterationMonitor monitor = null;

    public FileMonitor(long interval) throws Exception {
        monitor = new FileAlterationMonitor(interval);
    }

    /**
     * 给文件添加监听
     * @param path
     * @param listener
     */
    public void monitor(String path, FileAlterationListener listener) {
        FileAlterationObserver observer = new FileAlterationObserver(new File(path));
        monitor.addObserver(observer);
        observer.addListener(listener);
    }

    public void stop() throws Exception {
        monitor.stop();
    }

    public void start() throws Exception {
        monitor.start();

    }
}

• 自定义 Runner 并实现 CommandLineRunner

  

Connaissances de base🎜

• 🎜Résumé en une phrase : via le mode observateur et le mécanisme d'écoute des événements, avec FileAlterationObserver comme noyau, puis via FileAlterationListener , FileAlterationMonitor, vous pouvez implémenter la surveillance des événements du système de fichiers. 🎜🎜
• 🎜Processus global : 🎜🎜🎜
  • 🎜Personnalisez la classe d'écoute de fichiers et héritez de FileAlterationListenerAdaptor pour créer des fichiers et des répertoires, traiter d'événements de modification et de suppression🎜🎜
  • 🎜Classe de surveillance de fichiers personnalisée, créez un observateur en spécifiant le répertoire FileAlterationObserver🎜🎜
  • 🎜Ajoutez un observateur de système de fichiers à ce moniteur, et ajoutez un fichier auditeur 🎜🎜
  • 🎜Appelez et exécutez 🎜🎜🎜🎜l'implémentation du code via ApplicationRunner ou CommandLineRunner 🎜
    • 🎜Classe de surveillance de fichiers : 🎜🎜🎜

      /**
       * 项目启动之后开启文件监听功能
       * @author Greenarrow
       * @date 2022-05-12 10:02
       **/
      @Component
      // @Order(Integer.MIN_VALUE)
      public class DirtyRecordRunner implements CommandLineRunner {
      
          private static Logger logger = LoggerFactory.getLogger(DirtyRecordRunner.class);
      
          @Value("${test}")
          private String path;
      
          @Override
          public void run(String... args) throws Exception {
              logger.info(this.getClass().getName()+"[开启文件夹监听功能]");
              FileMonitor fileMonitor = new FileMonitor(1000);
              fileMonitor.monitor(path,new FileListener());
              fileMonitor.start();
          }
      }

      • 🎜Classe de surveillance de fichiers : 🎜🎜🎜rrreee
        🎜Personnaliser Exécuteur et implémentation de CommandLineRunner :🎜🎜🎜rrreee

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!