一种海量web日志数据查询与分析方法[发明专利]

来源：二三娱乐

专利内容由知识产权出版社提供

专利名称：一种海量web日志数据查询与分析方法专利类型：发明专利

发明人：马廷淮,瞿晶晶,田伟,薛羽,曹杰申请号：CN201410596395.6申请日：20141030公开号：CN104298771A公开日：20150121

摘要：本发明利用Hadoop/Hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性，公开了一种基于Hadoop和Hive的海量web日志数据的查询与分析方法。本发明包括以下步骤：对各个数据源的数据进行解析；将数据装载进数据仓库中；接收HiveQL语句；对接受语句进行优化，得到初步map结果；将接受语句转换成MapReduce任务执行并存储查询结果；数据分割；对数据进行分析挖掘；将数据装载进Mysql数据库中。本发明针对海量的web日志数据，实现精确地查询和数据分析，既能实现海量数据存储查询分析的可扩展性和高效性，也避免数据倾斜带来的job分布不均整体性能下降的问题。

申请人：南京信息工程大学

地址：210044 江苏省南京市宁六路219号

国籍：CN

代理机构：南京众联专利代理有限公司

更多信息请下载全文后查看

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文