当前位置:文档之家› 第7章 大数据分析与挖掘技术 大数据基础

第7章 大数据分析与挖掘技术 大数据基础

数据挖掘,也称为知识发现,是从海量数据中寻找有价值规律或模式的过程,在机器学习等领域有广泛应用。数据挖掘技术包括分类、聚类、关联分析等。其中,分;关联分析是找出事物间的规律性。时序模式分析则预测未来值,偏差分析关注异常点。Mahout是Apache的开源机器学习库,实现了推荐、聚类、分类等算法,利用Hadoop进行大数据分析。推荐算法通过用户行为预测其喜好,有基于用户和基于物品两种模式。评估推荐程序使用查准率和查全率。进行推荐时,需度量用户或物品间的相似度,方法有皮尔逊相关系数等。基于用户的推荐依据用户相似性,通过参考相似用户的偏好进行推荐;基于物品的推荐则依据物品间的相似度。
相关主题