Skip to content

记录用户浏览网页时的行为数据,如点击该页面的某个链接行为,数据保存到本地日志文件,经flume收集后并处理,或者用linux定时器任务,上传数据到HDFS中。然后通过HQL查询后生成每日统计数据(PV、UV)保存到关系型数据库MySql中,同时在网站中可以浏览该统计数据

License

Notifications You must be signed in to change notification settings

Chanran/statVisit

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

hadoop实验

实验要求:自行设计一个网站,记录用户浏览网页时的行为数据,如点击该页面的某个链接行为,数据保存到本地日志文件,经flume收集后并处理,或者用linux定时器任务,上传数据到HDFS中。然后通过HQL查询后生成每日统计数据(PV、UV)保存到关系型数据库MySql中,同时在网站中可以浏览该统计数据。本实验的目标是掌握数据从采集、处理、最终呈现的整个流程。

todos

  • 构建网站:通过ajax技术获取用户行为信息,后端接收到信息写入log文件
  • 定时脚本:定时上传log文件到hdfs
  • 定时脚本:java定时检测hdfs是否有新的log文件传上来,并对log文件进行解析,提取ip点击的电影id和名称点击时间,并通过HQL查询写入mysql数据库
  • 构建网站:获取mysql里的pv和uv信息并通过图表的形式在页面上展示

LICENSE

MIT

About

记录用户浏览网页时的行为数据,如点击该页面的某个链接行为,数据保存到本地日志文件,经flume收集后并处理,或者用linux定时器任务,上传数据到HDFS中。然后通过HQL查询后生成每日统计数据(PV、UV)保存到关系型数据库MySql中,同时在网站中可以浏览该统计数据

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published