Duotai122

Gggghv.

Uuuuuujuui

22377777

`([\d\.]+)\s+([^ \[]+)\s+([^ \[]+)\s+\[([^\]]+)\]\s+([a-z]+)\s+\"([^"]+)\"\s+(\d{3})\s+(\d+)\s+\"([^"]+)\"\s+\"(.*?)\"\s+\"([\d\.-]+)\"\s+([\d\.-]+)\s+([\d\.-]+)`

第一个是  ([\d\.]+)   是.不是, 否则ip解析不完整

• 并发的基础知识

• 并行和并发的区别

•  Golang 面向对象

• 并发编程思路

• 模块化编程 

1. 总处理日志行数

2. 系统吞出量  

3. read channel 长度  

4. write channel 长度

5. 运行总时间

6. 错误数
   

用 grafana

1. 初始化 influxdb client

2. 从 Write Channel 中读取监控数据

3. 构造数据并写入 influxdb

分析监控需求：

某个协议下的某个请求在某个请求方法的 QPS&响应时间&流量

Influxdb 关键概念：

•  database：数据库

•  measurement：数据库中的表

•  points：表里面的一行数据

  • tags：各种有索引的属性

  • fields：各种记录的值

  • time：数据记录的时间戳，也是自动生成的主索引

Influxdb 安装

Influxdb 简介

Influxdb 是一个开源的时序型的数据库，使用 Go 语言编写，被广泛应用于存储系统的监控数据，IoT 行业的实时数据等场景。有以下特性

• 部署简单，无外部依赖

• 内置 http 支持，使用 http 读写

• 类 sql 的灵活查询（max, min, sum 等）

1. 初始化 influxdb client

2. 从 Write Channel 中读取监控数据

3. 构造数据并写入 influxdb

2. 读模块的实现

1. 打开文件

2. 从文件末尾开始逐行读取

3. 写入 Read Channe

并发与并行

定义

• 并发：指同一时刻，系统通过调度，来回切換交替的运行多个任务，“看起来”是同时进行

• 并行：指同一时刻，两个任务“真正的”同时进行

Golang 并发实现

• 程序并发执行（goroutine)

• 多个 goroutinel 间的数据同步和通信（channels）

• 多个 channel 选择数据读取或者写入（select)

常见并发模型

• 进程&线程（Apache)  C10K

• 异步非阻塞（Nginx，Libevent，Nodes）复杂度高

• 协程（Golang，Erlang，Lua)

日志监控系统

准备知识

• 有一定的编程基础

• 了解 Golang 基本语法

• 有并发编程经验就更好了

课程介绍

• 并发编程基础知识介绍

• 日志监控系统实战

• 课程总结

相关源码：

https://github.com/itsmikej/imooc_logprocess

loc, _ := time.LoadLocation("Asia/Shanghai")
t, err := time.ParseInLocation("02/Jan/2006:15:04:05 +0000", ret[4], loc)

讲的非常好

通过flag包解析可变环境参数，增加程序的灵活性

go run main.go -path xxx -log yyy.log

日志存储：influxdb

日志展现：grafana