Java日志分析的方案？

Question

Spring+MyBatis+SNMP+Postgresql的监控系统，需要处理日志里的交易信息，日志形如：

----交易开始----

(交易信息)

----交易结束----

日志按小时分文件。

我的需求是5分钟扫一次日志，把交易成功数汇总，把失败交易写入监控数据库，目前我是把log文件映射为数据库表，用for循环每次取一个交易的信息解析，尝试了一下每个log里有5K个交易，5分钟别说解析完，就连映射到数据库表的时间都不够。映射用的是PG创建外部表的功能：

CREATE SERVER pglog FOREIGN DATA WRAPPER file_fdw;

CREATE FOREIGN TABLE pglog SERVER pglog OPTIONS (filename 'xxxx', format...;

在不上内存数据库、NoSQL的前提下，有没有最简单的方案能提高日志分析的速度？或者说我需要放弃映射为数据库表这条路，走别的路？

Answer 1

记录上次文件解析的位置。第二次解析日志时使用InputStream.skip跳过可避免重复分析数据一个线程解析日志将解析的数据存放在内存中，由额外的线程专门处理数据（这样解析的速度会很快5K的数据应该也是秒级的）

Answer 2

日志分析已经有很多成熟的产品，比如Logstash，不用非得入库，并且入库还涉及服务器io性能，入库频次高的时候，反而影响正常业务。