Skip to content

从互联网抓取数据,并进行分析的样例工程

Notifications You must be signed in to change notification settings

maobuji/DataOctopus

Repository files navigation

数据抓取工具

jsoup爬虫->mysql->cannal->kafka->logstash->elasticsearch->kibana

使用较新的版本搭建一个完整的数据流

Test开头的工程是一些连接或者特定功能测试的代码。deploy_tool是为了方便生成一个测试环境的工具

进展情况: 目前主要在处理提取数据到mysql,项目的其它部分还不能运行。

About

从互联网抓取数据,并进行分析的样例工程

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published