Web文本挖掘技术探析
云 峰 站 机 房 环 境 开 关 量 故 障 云 峰 站 照 明 、 湿 器 、 调 控 制 及 门禁 加 空 集 安 站 设 备 模 拟 量 越 限
用 VB6 0高 级 语 言 编 写 上 位 机 数 据 查 询 程 序 , 随 时 对 数 . 可
据库进 行查 看 、 检索 。
5 数 据库 部 分
3 We b文 本 挖 掘 的 过 程
当的相似度 阈值 , 以保 证 同一 个 聚 类 中 文 档 的 紧密 相 关 。
不 We 文 本 挖 掘 的 主 要 处 理 过 程 是 对 大 量 的 HTML 文 档 所 以 它 的 运 行 速 度 较 慢 , 适 合 于 大 量 文 档 的 集 合 。 在 平 b 面划分法 中 , 先确 定 要生 成 的簇 的数 目 K。再 按 照某 种 首 集 合 的 内 容进 行 预 处 理 、 征 提 取 、 本 分 类 、 本 聚类 、 联 特 文 文 关
型分析 、 词性 标注 、 短语边 界辨 认 等 。通 常选用 词作 为 文本 基于密 度方法是根 据密度完 成对 象 的聚类 。它根 据对 象周 特征 的特征项 。 目前汉语 分词 主要有 基 于词典 和 规则 的方 围 的密 度不断增长 聚类 。基 于网格 方法 是先 将对 象 空间划 然 法 和 基 于 统 计 的 方 法 。前 者 应 用 词 典 匹 配 和 汉 语 语 言 知 识 分为有 限个单元 以构 成 网格 结 构 , 后利 用 网格结 构 完成 聚类 。 进行 分词 。方 法 比较 简 单 、 词 容 易 、 分 效率 高 , 对 词 典完 但
及 动态 的 we b内容 的 查 找 。W e b挖 掘 可 以 分 为 三 类 : e S re o aa 日志 挖 掘 的 手 段 是 路 径 分 析 、 联 规 w b evrL gD t 等 关 内容挖掘 , e W b结 构 挖 掘 , e 用 记 录 的 挖 掘 。W e 容 则 和序列模式 的 发现 、 W b使 b内 聚类 和分 类 。we b访 问信息 挖 掘可 用 I T u h9 5编 写 应 用 程 序 , 用 图 形 化 语 言 , 序 界 面 的 4路 视频信号 ( 中两路为 可云 台 的摄 像机 ) n o c . 采 程 其 以及集 安机 美 观 大 方 , 机 界 面 良好 , 于 操 作 , 用 多 种 方 法 将 检 测 房 的 3路视频 信 号 。监控 图 像清 晰 , 足 之处 在于 控 制速 人 便 采 不 但 数据 显示 在程 序 界 面上 。应 用 程序 可 实 时采 集 现 场数 据 , 度较 慢 , 不影 响系统的正 常工作和功能 。 当采 集 的 开 关 量 发 生 变 位 时 , 用 程 序 即 可 发 出 声 光 报 警 应 并 将 此 变 位 数 据 存 人 S E QLS RVE 0 0数 据 库 中 , R20 以便 值
对 分 析 等 。先 进 行 文本 的 收 集 并 对 文 本 进 行 预 处 理 , 取 文 本 原 则生成 K个 聚类 中心作 为 聚类 的种 子 ; 给 定文 档集 合 提 中的每个文档 , 依次 计算它与各 个 种子 的相 似度 ; 取相 似 选 特 征 , 取 知 识 模 型 , 价 模 型 , 后 给用 户 输 出结 果 。 提 评 最
班 人 员 及 时 发 现 设 备 的ቤተ መጻሕፍቲ ባይዱ运 行 状 态 , 到 监 控 系 统 的 目的 。 达
Y F AGE F L 内容
1 Z 3
4 5 6
云峰 站 设 备 模 拟 量 越 限 云 峰站 设 备 开关 量 故 障 云 峰 站机 房 环境 模 拟 量 越 限
8
集 安 站 设 备 开 关 量 故 障
集 安 站 机 房 环 境 模 拟 量 越 限
T0uCH程 序 中, 制脚 本 程 序通 过 OD C数 据 源 与 此数 编 B 据 库联 接 , 过调 试 , 数据 库正常 。 经 写
数 据库标 志位定 义 :
9
集 安 站 机 房 环 境 开 关 量 故 障
现 代 商 贸 工 业 M o enB s e a eId s y d r ui s Trd ut ns n r
21 年第 2 01 3期
We b文本挖掘技术探析
季 车君
( 汉商业服 务 学院 , 北 武汉 405 ) 武 湖 3 0 6
摘 要 : e W b数 据 挖 掘 是 目前 信 息技 术 中 的 研 究 热 点 。 对 W e b挖 掘 的 分 类 和 W e b文 本 挖 掘 的 主 要 过 程 如 文 本 预 处 理 、 征 表 示 、 征 提 取 等进 行 了讨 论 , 特 特 最后 对 W e b文 本 挖 掘 的 应 用 领 域 作 了展 望 。
l 引 言
b文 本 信 息 和 多 媒 体 信 息 , 可 分 为 它 随 着 网络 的迅 速 发 展 和 普 及 , e 网 页 上 积 累 了 海 量 抽 取 知 识 。 针 对 W e W b W e 本 挖 掘 和 we b文 b多 媒 体 挖 掘 。W e b内 容 挖 掘 的 重 点 的 信 息 和 知 识 。如 何 快 速 、 效 的 在 这 些 海 量 信 息 中 发 掘 有 b页 面 的 分 类 是 根 据 页 面 的 不 同 特 有 潜在 价值 的数 据 和知 识成 为 急待 解 决 的问 题 , e W b文 本 是 页 面 分类 和 聚 类 。we 征 , 其 划 分 为 事 先 建 立 起 来 的不 同 类 。W e 将 b页 面 的 聚 类 挖 掘 技 术 是 解 决 这 个 问 题 的 有 效 方 法 之 一 。文 本 挖 掘 是 近 是指在 没有给定 主题类 别 的情况 下 , We 将 b页面集合 聚合 几 年来 数据挖 掘 领域 的一个 新 兴 分支 , 是 利用 文 本切 分 它 成若干个簇 , 且 同一簇 的页 面 内容 相似 性尽 可能大 , 并 而簇 技 术 , 取 文 本 特 征 , 文 本 数 据 转 化 为 能 描 述 文 本 内 容 的 抽 将 问 相 似 度 尽 可 能 小 。w e b结 构 挖 掘 是 挖 掘 w e b内 的 超 链 结 构 化 数 据 , 后 利 用 聚 类 、 类 技 术 和 关 联 分 析 等 数 据 挖 然 分 接 , 的 主 要 任 务 是 揭 示 文 档 内 容 之 外 的 蕴 涵 信 息 。W e 它 b 掘 技 术 , 成 结 构 化 文 本 树 , 根 据 该 结 构 发 现 新 的 概 念 和 形 并 结构挖掘是 以超 链接 分 析 为基 础 , 从链 接 结构 中获取 有 用 获 取 相 应 的关 系 。W e 据 挖 掘 就 是 以 万 维 网 上 的 数 据 为 b数 的知识 , 利用这 些 知识 , 重新 组 织结 构 , 内容 逻辑 结 构更 使 分 析对 象 , 以抽取 有用知识 为 目标 , 把传 统数 据 挖掘 技术 和 加 合理 。通 过发现超链 接 的层 次属性去探索 We b站点 的设 万 维 网 相 结 合 的 研 究 。W e b挖 掘 是 一 门 交 叉 性 学 科 , 及 涉 计 , 高搜索质量 。常见 的算 法有 HI 、 ae a k 发现虚 提 TS P gR n 、 数 据挖 掘 、 机器 学 习 、 式 识别 、 模 人工 智 能 、 统计 学 、 计算 机 拟社区算法 、 现相似页 面算法 、 发 发现地 理位置 算法 和页 面 语 言 学 、 算 机 网 络 技 术 、 息 学 等 多 个 领 域 。利 用 W e 计 信 b挖 分类 算法 。We b结构 挖掘 的算法 一般 可分 为查 询相关 算法 掘 的研究 成果来 提 高信 息 检 索 的精 度 和效 率 , 善检 索 结 和查 询独立算 法 。HI S和 P gRa k分别是查询相关 算法 改 T ae n 果 的 组 织 , 信 息 检 索 系 统 发 展 到 一 个 新 的水 平 。 使 和查 询 独 立 算 法 的 代 表 。Go ge就 使 用 了 HI 算 法 。 ol TS
关键 词 : e W b挖 掘 ; 本 挖 掘 ; 征 提 取 文 特
中图分 类号 : TB
文献标 识码 : A
文 章 编 号 :6 23 9 ( 0 1 2— 370 17 —1 8 2 1 ) 30 2—2 挖 掘 是 对 W e 面 内容 进 行 挖 掘 , W e 档 内 容 信 息 中 b页 从 b文
作 者 简 介 : 卓 君 ( 9 9 , , 师 , 科 和研 究 生均 毕 业 于武 汉 大 学 计 算 机 系 , 业后 在 高 校任 教 。 李 1 7 一) 女 讲 本 毕
No .23, O11 2
现 代 商 贸 工 业 Mo enB s es rd n ut dr ui s T a eId s y n r
用 S E QL S RVE 0 0数 据 库 命 令 , 立 名 为 J 的 数 R20 建 K
据库 , 此数据 库 中在 编制数 据库 脚本 以便 生 成数 据库 表 , 在
表 名为 : D YF ATE, 置 此 数 据 库 的 安 全 属 性 , 后 在 I 设 然 N—
7
7 结 语
云峰 发电厂 通信 机 房 监 控系 统通 过 技术 人 员 的研 制 、
6 视 频 部分
在 云 峰 站 安 装 两 个 视 频 服 务 器 , 采 集 4路 视 频 信 号 , 可
开发 、 实施 , 完成 预定 的设计 目标 , 达到 了实用 化 的要求 , 该
系统功能 齐全 , 设计合理 , 实现 4遥功 能 ( 遥信 、 遥测 、 控 、 遥 在集 安站 安装 两个 视 频 服 务 器 , 集 3路 视 频 信号 。通 过 遥 视 ) 采 。应 用 程 序 人 机 界 面 好 , 据 显 示 美 观 、 晰 , 有 易 数 清 具 2 通 道 , 用 视 频 监 控 软 件 , 在 集 安 机 房 监 控 云 峰 机 房 于操 作 、 于维 护 、 M 利 可 便 可靠 性高 、 可扩性好 等特点 。