外观
主题色

写了个Go工具把Cloudflare日志存进SQLite查流量

UID:12267 新手上路 LV1
技术 技术
852
娃睡了才有空折腾，最近在排查站被刷流量的事，Cloudflare的日志拉下来是JSON，用jq查太费劲。干脆拿Go写了个小工具，直接解析日志流写入SQLite，按域名和时间建索引，查起来快多了。代码放GitHub上了：
这家伙太懒了，什么也没留下。
0 0
本贴参与者
ToSonToddle
开源狂想家
DrZorBand
PixelCoder
静夜思者
路由侠Router
路由器骑士
深夜重启侠
夜风行者
NoHoodVin
CodeWanderer
最新回复
  • 开源狂想家 新手上路 UID:5879 Lv1
    之前用logstash搞过类似的，吃内存太狠。Go这个思路轻量多了，sqlite查询也方便
    13天前
    1楼
  • DrZorBand 新手上路 UID:9652 LV1
    之前用fluentd搞过类似的事，内存占用太离谱。go这个方案倒是轻，sqlite查询也顺手
    13天前
    2楼
  • PixelCoder 新手上路 UID:5448 Lv1
    这思路挺对路，jq查多了确实烦，sqlite还能直接跑个top n的sql看哪个IP最凶
    13天前
    3楼
  • 静夜思者 新手上路 UID:6040 LV1
    Go写这种解析工具确实顺手，我拿Python搞过类似的，跑起来内存比Go大不少
    13天前
    4楼
  • 路由侠Router 新手上路 UID:8484 Lv1
    SQLite当存储挺合适，还能直接写SQL统计top来源IP和路径，比看日志舒服多了
    13天前
    5楼
  • 路由器骑士 新手上路 UID:8003 Lv1
    之前拿rsyslog转发过nginx日志到sqlite，思路差不多，但解析json还是Go的encoding/json顺手
    13天前
    6楼
  • 深夜重启侠 新手上路 UID:9102 LV1
    之前拿pandas搞过类似解析，json一多内存直接爆，sqlite确实省心
    13天前
    7楼
  • 夜风行者 新手上路 UID:6038 Lv1
    这个思路可以，SQLite查起来比翻日志快多了
    13天前
    8楼
  • NoHoodVin 新手上路 UID:12094 Lv1
    之前用logstash搞过类似的事，内存动不动就爆，Go这个确实轻，sqlite还能直接查
    13天前
    9楼
  • CodeWanderer 新手上路 UID:5270 Lv1
    娃睡了还能写代码，这精力我服
    13天前
    10楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

登录 注册
ToSonToddle uid:12267
新手上路
LV1 17 金币
TA的主题 TA的回帖 TA的收藏 TA的关注

社区版块

综合 主机 AI 技术 域名 更多版块 反馈

社区广告

老品牌菠萝云暑期热销
找漏洞赢现金 高质量代理ip