量一冀…～电～脑 ＵＪｌＡ ＣＯ ＰＵＴ 融 ＤＯＩ：１０．１６７０７￣．ｃｎｋｉ．ｆｊｐｃ．２０１７．０２．０２９
一种基于大数据的个性化推荐系统 张立燕，方维，马华林 （浙江工商职业技术学院浙江宁波３１５０１２）
【摘要】本项目将结合学习资源推荐系统的的特点，设计基于Ｈａｄｏｏｐ的数据挖掘和个性化推荐算法，准对Ｈａｄｏｏｐ 集群任务级调度分配方法在运行中存在的负载分布不均的现象，通过对节点资源的分析，改进Ｈａｄｏｏｐ任务调度算法，提 高推荐系统的效率。 【关键字】Ｈａｄｏｏｐ；￣￥荐系统；大数据
１引言 随着云计算、移动互联、新媒体等网络应用的快速发展，各 类各级教学资源库得到较大的发展空间与机遇，有大量视频、 图片、文字组成的教学资源库数据量达到ＴＢ甚至ＰＢ级，这意 味着大数据时代的到来。大数据背景下的教学资源库主要要解 决两个关键问题：（１）如何存储和组织ＴＢ级的学习资源？（２）如 何根据学习者的学习目标、学习基础、爱好和状态为学习者提 供一个个性化的学习环境。 在大数据环境下利用云计算这种新的基础架构是解决上 述两大问题的有效解决方案。个性化推荐系统能根据学习者的 学习目标、学习基础、爱好和状态为学习者提供个性化的学习 资源，但传统的推荐系统往往部署在单一服务器，单一服务器 的运算能力和数据存储能力有限，面对海量的教学资源无能为 力，因此利用云计算和大数据技术通过整合多台服务器的计算 资源和存储资源，将繁重的计算和存储任务通过网络分散到服 务器集群中，并把分散的计算结果进行合并，是当前一种行之 有效的解决方案。 ２基于Ｈａｄｏｏｐ的学习资源推荐系统 由于在推荐系统中对运算的实时性要求并不高，本文采用 了基于Ｈａｄｏｏｐ架构来实现推荐系统，相对于传统的需要耗费 昂贵计算资源的分布式、网格等技术，Ｈａｄｏｏｐ架构上实现的推 荐系统编程更加简单和有效。 ３推荐系统框架 从编程视角看Ｈａｄｏｏｐ架构的主要模块是Ｍａｐ／Ｒｅｄｕｃｅ模 块。Ｍａｐ／Ｒｅｄｕｃｅ提供了一个清晰的用于并行计算的编程模型。 对于一个计算复杂的数据挖掘任务，Ｍａｐ／Ｒｅｄｕｃｅ的运行模式是 把复杂的任务分成可以并行执行的一个个小任务，Ｍａｐ／Ｒｅｄｕｃｅ 任务阑度 与执行 分靠式文 件系统 图１推荐系统整体框架 任务 能够动态的调度计算资源富裕的节点来处理这些子任务，这样 计算能力强的节点就能处理更多的任务，相对平均分配任务可 以避免计算能力弱的节点延长完成时间。Ｍａｐ／Ｒｅｄｕｃｅ架构上的 并发程序首先要输入文件，然后把文件分割通过任务调度让多 个ｗｏｒｋｅｒ并行执行，每个计算节点需要在本地把计算结果写入 中间文件，最后Ｍａｐ／Ｒｅｄｕｃｅ合并各个计算节点的中间文件，输 出运算结果。基于Ｈａｄｏｏｐ的学习资源推荐系统整体框架如下 图。 ４推荐系统运行机制 学习者通过浏览器登录系统后，推荐系统根据学习者的数 据挖掘结果进行推荐。即学习者的数据挖掘任务是在后台空闲 时执行的。挖掘模块会根据学习者的历史学习记录启动一个数 据挖掘任务。任务调度节点接收任务后将对任务进行分割并把 子任务分配给集群中计算资源富裕的节点。计算节点从数据存 储节点中读取挖掘任务需要的数据，并根据改造的数据挖掘算 法进行计算，最后将挖掘结果发送到任务调度节点进行合并， 由任务调度节点将最终数据挖掘结果进行存储，以备推荐系统 使用。在推荐系统中任务调度节点十分重要，一般有计算能力 强的服务器承担。 ４．１基于Ｈａｄｏｏｐ的个性化数据挖掘算法研究 基于Ｈａｄｏｏｐ的个性化数据挖掘算法必须是能够并行处理 的算法。目前有些传统的数据挖掘算法还没有被有效植到 Ｈａｄｏｏｐ的ＭａｐＲｅｄｕｃｅ框架下。本系统把关联规则、Ｋ—ｍｅａｎｓ等 常用数据挖掘算法进行改进，比较常用算法在云计算环境下的 挖掘效果和性能。通过实验，Ｋ—ｍｅａｎｓ算法在推荐系统中运行 性能较好，但推荐效果没有关联规则算法好。 ４．２基于Ｈａｄｏｏｐ的个性化推荐算法 推荐系统将根据数据挖掘结果，结合内容过滤和协同过滤 推荐技术给学习者营造一个个性化的学习环境。协同过滤推荐 技术主要采用组内强项目推荐和关联差异性推荐，内容过滤推 荐技术将采用常用的领域知识类比推荐，本系统中主要使用组 内强项目推荐和关联差异性推荐算法。 ５总结 本文为大数据背景下的教学资源库建设提供了存储方案， 并把相关数据挖掘算法和推荐算法移植到大数据环境中，基于 Ｈａｄｏｏｐ技术的个性化推荐系统大大提升教学资源库的资源利 用率和服务水平。 （下转第７５页）
注：本文受浙江工商职业技术学院科研基金项目成￣．－（２０１６Ｙ０９）、浙江省高校访问工程师校企合作项目（ＦＧ２０１６０７２）、 浙江省教育厅一般科研项目（Ｙ２０１５３４７４５）、浙江工商职业技术学院大学生科技创新项目资助。
２０１７年第２期ｌ福建电脑 ・５５・ 蕉…堡…一碧一一 ＬｊＪｌＡＮ ＣＯＭ ＵＴＥ
一主线是指形成一条以课堂实践教学为主的培养模式。在 各门专业课程教学过程中均以项目化的方式完成。通过改革教 师教学模式、学生学习方式、优化课程结构、改革考核方式等方 法，使课堂教学尽量与生产实际相符，使学生学以致用。 搭建两个实践平台。一是通过在教学单位内成立大学生创 业孵化园，二是与企业共建的校内校外实习实训基地。在校内 成立大学生创业孵化园训练平台能够有效提高学生专业实践 能力、自学能力、团队合作能力及创新能力等。该模式通过在校 内建立大学生创业孵化园为训练平台，鼓励学生成立虚拟公 司，以尽量接近真实的方式运营。通过开展项目招标、项目开 发、项目测试、项目验收及优秀创业团队评选等活动，使学生在 创新创业能力、团队合作能力、自学能力、组织管理能力、项目 开发能力等方面均得到综合锻炼，以达到全面提升学生专业技 能和综合能力的目的。为了给学生提供更多的锻炼和训练平 台，通过与多家企业建立校内和校外实习实训基地。展开多样 化的合作模式，由学生自主选择（如集中培训、项岗实习、综合 实训等方式）达到强化专业技能的目的。 “三层次”指的是在课堂教学过程中构建三个项目实践教 学层次。形成基础案例项目、课程设计项目和专业综合项目三 个实践层次。如对于每门专业课程，设置有章节小项目，课程综 合设计项目等，而当学生到达高年级时，则根据不同的专业，设 置专业综合实践项目，实现将所学多门课程专业知识进行整合 并灵活使用的目的。 ４、“两翼” 为了使培养出来的软件人才不仅仅能在毕业时找到较好 的工作岗位，成为企业所需的软件人才，同时希望他们能够有 更好的后续发展动力，得到更高层次的发展，还需要对学生进 行职业核心能力和道德素养的提升。因而，两翼指的就是职业 核心能力训练和道德素养提升。 职业核心能力是在人们工作和生活中除专业岗位能力之 外取得成功所必需的基本能力，它可以让人自信和成功地展示 自己、并根据具体情况如何选择和应用。职业核心能力具体讲 又可分为三个部分。包括基础核心能力（如职业沟通、团队合 作、自我管理等相关能力）、拓展核心能力（如解决问题、信息处 理、创新创业等能力）、延伸核心能力（如个人的领导力、执行 力、个人与团队管理、礼仪训练、五常管理、心理平衡等的能 力）。为促进学生职业核心能力的提升，作者在自己单位通过实 行大学生综合素质分的形式加以实施。大学生综合素质分训练 计划是记录大学生在校期间除专业成绩以外的所有综合训练 情况，以起到对学生进行监督和激励作用。通过实施综合素质 分，开展对学生课外选修、学术讲座、雷锋银行、专业竞赛、文体 活动、评优获奖、课外阅读、创新创业、违纪情况等相关内容的 （上接第５５页） 参考文献： ［１］Ｘｉａｏ Ｙａｎ ｓｈｉ．Ａ ｐｅｒｏｓｎａｌｉｚｅｄ ｒｅｃｏｍｍｅｎｄｅｒ ｉｎｔｅｇｒａｔｉｎｇ ｉｔｅｍ ｂａｓｅｄ ａｎｄ ｕｓｅｒ ｂａｓｅｄ ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇＥＪ］．ＩＥＥＥ ２００８． ［２］Ｄｅｒｉｃｋ Ｌｅｏｎｙ．Ａ ｃｌｏｕｄ－ｂａｓｅｄ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ａｎ ａｆｆｅｃｔｉｖｅ ｒｅｃｏｍｍｅｒ ｓｙｓｔｅｍ ｏｆｌｅａｒｎｉｎｇ ｒｅｓｏｕｒｃｅｓ［Ｊ］．ＷＣＬＯＵＤ ２０１２． 记录，全面促进大学生综合素质的提高，培养全面发展的社会 主义建设所需的创新型软件人才。道德素养的提升则是通过开 设相关课程、讲座、周末主题班会、公益劳动、支部活动、道德示 范、三生教育活动等形式，达到时时教育、时时提醒，以规范学 生言行，使学生养成诚实守信、务实清廉、追求真理的高尚品格 和良好的生活行为习惯。 ５、实践中的检验 为了适应新时期社会发展对创新型软件人才的不同需求， 笔者所在单位从２０１０年开始逐步实施“一体两翼、项目驱动” 的人才培养模式。经过几年的不断探索和实践，该模式在促进 专业软件人才培养方面取得了较好成效。主要体现在四个方 面：一学生创新创业能力不断提高。在校期间，学生能自主承接 并开发许多实用项目，并得到实际应用，在各类省级以上创新 创业比赛中屡获佳绩；二是学生实践动手能力明显提升，大部 分学生在校期间就能完成许多优秀作品的设计开发并运用于 实际生产和生活中；三是学生综合能力和职业素养明显增强； 四是学生就业率、就业质量和专业对口率不断提升。 ６、结语 当前大专院校在进行软件人才培养时往往只注重专业技 能的提升，忽略学生后期发展潜力的培养，针对以上问题，本文 提出“一体两翼、项目驱动”的软件人才培养模式。详细阐述了 “一体’，及“两翼”的具体内容及实施过程，同时把相关经验做法 进行简单介绍。将学生的专业技能、职业核心能力、人文素养以 及道德品质等的培养和训练综合融入到整个教育教学和实践 活动过程中，对学生进行全面的培养和训练。经过几年教学实 践检验，得出该模式在促进软件人才培养方面具有较好的成 效。
参考文献： ［Ｉ］史宝明，张云，刘燕燕．软件技术人才需求现状与培养策略研究［１］．兰 州文理学院学报（自然科学版），２０１６．０７ ［２］于杰．把握软件产业发展新机遇［Ｎ］．中国计算机报，２０１６．０６ ［３］穆红．服装工程专业一一体两翼一人才培养模式的探索与实践［Ｉ］． 辽宁丝绸，２０１６．０６ ［４］邵先平．谈一一体两翼一式技能人才培养思路［Ｉ］．交通职业教育， ２０１１ １２ ［５］佟玉军，周军，谢文阁，刘鸿沈，姜悦岭．软件工程专业实践教学改革研 究与探索［Ｊ］．辽宁工业大学学报（社会科学版）．２０１５（０１）
作者简介： 黄成兵（１９８０－），男，四川宜宾人，副教授，硕士，ＣＣＦ高级会员，研 究方向：移动自组织网络；向昌成（１９７４一），男，四川广汉人，副教授，硕 士，研究方向：图像处理。