前情回顾
前文我们完成了如下目标
1 项目架构整体编写
2 使框架支持热更新
本节目标
在前文的框架基础上,我们
1 将之前实现的日志监控功能整合到框架中。
2 一个日志对应一个监控协程,当配置热更新后根据新配置动态关闭和启动协程。
3 编写测试代码,模拟向文件中不断写入日志,并备份日志,观察监控功能是否健壮。
增加协程监控日志文件
我们将之前实现的日志监控功能整合到现有框架,文件结构如下
logdir为存储日志的文件夹,模拟不同系统记录的日志。实际生产中不同系统会自己记录日志并保存在指定文件夹中,logdir模拟的就是这些指定文件。
logtailf实现日志文件的监控功能。
writefile模拟不同系统向指定文件夹写入日志,用来测试日志写入和备份时,我们的采集系统是否健壮。
我们先看下logtailf.go
1 | func WatchLogFile(datapath string, ctx context.Context) { |
只有一个函数WatchLogFile用来监控指定路径的日志文件,两个参数分别为日志路径和上下文开关,开关用来关闭这个协程,整体功能和前几篇讲述的一样,不做赘述。
接下来我们在main.go中填加协程启动逻辑监控日志文件
1 | func ConstructMgr(configPaths interface{}) { |
ConstructMgr新增了协程启动逻辑,并且将协程的ctx保存在map中,这样主协程可以根据热更新启动和关闭这个协程。然后我完善了main函数中的析构函数
1 | defer func() { |
析构函数里遍历map,关闭所有监控协程,并且将map设置为nil回收资源。在main函数中添加热更新控制协程开关。
1 | for oldkey, oldval := range configMgr { |
对比新旧配置,如果路径取消,则停止监控其的协程,如果路径新增或修改,则启动新的协程。
这样我们启动程序看到如下效果
编写测试文件,模拟日志写入和备份
我们在writefile.go中实现日志写入和备份,这部分内容前几篇有讲解,我只是将原来实现的功能搬过来
1 | func writeLog(datapath string, wg *sync.WaitGroup) { |
根据配置文件启动多个协程,向日志文件中不断写入日志,写入20条后备份日志,我们启动日志收集程序和这个测试程序,可以看到日志不断被写入,日志收集程序不断打印日志新增的内容
日志备份为不同的文件
可以看到日志收集系统在日志不断写入时,可以健壮运行
热更新控制监控协程打开和关闭
现在config.yaml文件中路径记录如下
1 | configpath: |
我们启动日志收集程序,模拟热更新配置,将logdir3这条数据修改,配置变为如下
1 | configpath: |
我们可以看到程序作出检测,并关闭了曾经监控logdir3的协程,并启动了新的协程监控logdir4,而其他的日志监控协程不受影响,正常运行。
源码下载地址
https://github.com/secondtonone1/golang-/tree/master/logcatchsys
我的公众号