基于移动互联网的质检信息采集与聚类分析技术浅析(3)

　　（2）分词。中文分词研究已较为成熟，根据是否使用切分词典，可分为有词典切分和无词典切分。根据切分的具体方法，可分为基于规则的方法和基于统计的方法。本模型采用中国科学院汁算技术研究所研制的汉语词法分析系统ICTCLAS，ICTCLAS采用了层叠隐马尔可夫模型，主要功能包括中文分词、词性标注、命名实体识别、新词识别;同时支持用户词典，分词效果良好。

　　（3）过滤。利用停用词表和过滤规则对分词结果进行过滤，停用词表中包括助词、介词、连词等虚词以及词语长度为1的无实际含义的词。设计相应的规则进行过滤。

　　4 移动互联网质检检测现实情境与投诉举报信息的智能分析

　　质检检测现实情境与投诉举报信息智能分析模型的主要功能是实现供热锅炉和压力管线等特种设备的碎片信息的自动分类和推送。

　　通过对质检部门需求和投诉举报数据领域内特征的调查和分析，发现投诉信息自动分类的核心需求是建立对质检部门需求的目标投诉举报数据辨识度高的分类模型。因而通过理顺分类模型的建立过程，质检职能部门与分类类别的对应关系等过程，设计出能够由质检部门自由标记样本文件、灵活选择目标字段、按具体情况选择算法和设置分类参数的投诉举报信息自动分类与推送系统的机制和方案，构建由质检部门依据自己的专业知识支撑分类模型建立和判定分类结果满意度的服务平台，从而提高自动分类的准确度和适应性。

　　模型通过质检用户标识目标样本并确定挖掘字段，来划定当前用户关注的当前类别的学习样本;通过学习、去噪、抽取类特征词集和开放类特征词集，用户修改接口来创建和调整分类空间;为用户提供多种分类算法的选择权限以及提供参数修改权限来实现计算和优化分类结果的目的;通过记录用户行为，主要是记录哪位用户（或哪个用户部门）标记了哪些样本，来确定这批样本代表的投诉举报类别与用户（或用户部门）之间的映射关系，从而建立自动推送模型，以实现分类结果订阅和自动推送的功能。

　　模型通过建立分类空间，并结合不同的分类算法和参数值建立分类模型，分类模型的建立具有依赖部门或质检用户专业知识的特点，因而可以贴合质检用户真正的需求。分类模型是指导自动分类的标准，由于投诉举报信息自动分类数据源和目标结果的强专业性和精细的领域性，因此分类模型也必须具有随时根据用户需求的演变而灵活调整的性质。

　　质检用户根据自身需求标记样本，对样本经过分词处理、去噪和预处理后，确定分类空间，形成分类模型和推送模型，在两模型的指导下对从投诉举报信息收集平台输入的投诉数据完成自动分类和推送的全过程，使部门和用户可以节约大量时间并，及时获得最新的隶属于当前质检用户关注类别的投诉举报信息。最后正确分类的投诉举报信息就可以在闭环系统中流动起来，在不同部门之间传递并最终解决。

　　移动互联网的质检投诉举报信息智能分析模型可按照其具体逻辑功能，分为六大核心部门。

　　投诉举报信息收集平台：提供与投诉信息闭环管控系统的数据交互接口，不同来源的投诉信息在这部分进行汇集和整合，是投诉信息自动分类与推送系统的数据总源。

　　存储单元：投诉举报信息收集平台获得的信息来源广、内容复杂，经过去噪将用户真正关心的内容筛选出来并经过分词和构建索引后存储在系统内部，经预处理将数据转化为方便读取和计算的形式。存储采用增量存储的方式，允许数据不断累加，这同时也是对投诉信息收集平台的数据提供灾备支撑。

　　类别计算中心：这部分是整个系统的核心部分，指导数据分类过程，具有反馈调整的特性。

　　信息推送中心：这部分记录类别与质检用户或质检部门的映射关系，当类别计算中心完成自动分类运算后，信息推送中心执行信息从系统内部到用户或用户部门的传输，支撑运算结果的发送功能。

　　服务接口层：是人机接口和核心计算平台传递数据的通道，执行用户端和服务器端的数据交互功能。

　　人机接口：是用户使用系统、参与操作、查询数据和接收结果的接口，具有载入数据、标注样本、算法选择、选择目标字段、参数设置、调整类别特征词集、推送结果展示共7个部分。