大数据引领我们走向智能化时代

　　摘 要：随着大数据时代的来临，各类智能化新生事物层出不穷。该文通过了解大数据的真正内涵，分析大数据的现状和面临的困境，总结大数据分析的深刻意义，我们对大数据分析的技术与方法以及大数据工作的开展给出了相关建议。

　　关键词：大数据 大数据分析 大数据方法 大数据技术

　　中图分类号：TP31 文献标识码：A 文章编号：1674-098X（2014）07（b）-0052-02

　　现象1：重庆市科学技术研究院成功研发的“智能公交站牌”，不仅能显示本站的公交车车次、途经地点以及首末班车时间，还能准确定位下一班车的位置信息，如距离本站的距离、站数和到达本站的时间，甚至能实时监测下一班车的拥挤程度，方便市民出行的同时为公交线路的合理规划奠定基础。随着智能公交站牌的深入人心，一款结合移动设备便携、强交互特性的生活助手类APP“车来了”应运而生。该应用可以实时查询下一班车的位置信息和拥挤程度，旨在打破在公交站台等车的局限性，彻底解决在各种恶劣天气下等待时间长、候车苦的难题，实现真正意义上的出行无忧。

　　现象2：针对传统教学中学生出现问题但找不到问题所在、被动学习效果越来越差、享受不到优质教学资源、羞于提问而问题越攒越多等现象，中小学优质教育资源共享平台“梯子网”按照教材版本、章节、知识点、难易程度、考试比重等多重属性对拥有的1000多万道题目进行精确定位，通过专业的在线评测结果，提供针对性的专项优化练习并给出可视化的成绩分析。该系统不仅能让学生了解自身学习的真实状况、得到优秀教师的在线答疑，还让那些贫困地区的学生享受到最优质的资源，解决了因地域限制优秀师资难以均衡流动的难题，开创了简单轻松地提高学习成绩的方法。

　　现象3：主打公务员考试、司法考试等成人职业资格考试的智能在线教育产品“猿题库”，提供各科目历年真题及精编模拟题，每题答案和解析均由2位业界名师编审，经过5轮严格审校；根据用户目标考试的考点、考频、难度分布和用户对各个考点的掌握情况，智能调整出题范围和难度，实现一对一智能出题；根据用户的答题情况实时生成个人能力评估报告并给出专业化做题建议，还能精确预测用户参加目标考试可能获得的分数；支持电脑、智能手机和平板电脑三种方式的在线练习，同时支持下载或打印试卷和答题卡，手机扫描答题卡就能自动实现评分、查看答案和解析。

　　现象4：“百度迁徙”利用百度地图LBS开放平台的定位功能，从时间和空间两个纬度全程、动态、即时、直观地展现中国春节前后人口大迁徙的轨迹与特征，通过选择日期、时刻、城市可查看“迁入城市、迁出城市”和“最热线路”等三个数据指标排名。该应用对用户位置变化时间、轨迹、省份等进行挖掘，以可视化图表的形式展示不同城市之间、不同时间段的迁移轨迹，旨在通过对大数据的创新应用服务于政府部门科学决策，赋予科学研究新的观察视角和方法工具，同时为公众创造近距离接触大数据的机会、科普数据价值。

　　现象5：“浪漫指数”，是百度搜索对大数据挖掘的一种新技术形态，展现了各个省份区域网民的实时搜索行为，并通过彩色搜索气泡在地图上的不断闪动显现网民不断变化的关注点。随着区域搜索浪漫词气泡的数量增多，地图颜色也会由浅至深。浪漫指数不仅展示全国各地不同特点的情人节，也可以看到网民们共同演绎的“中国式浪漫”。通过对大数据的分享，可以让更多人洞察到数据之美，意识到数据的价值，并对个人生活和企业决策提供重要的驱动作用。

　　现象6：“快的打车”，是一款立足于LBS的O2O打车应用，将传统出租车与乘客间的被动等待转化为主动联系。用户通过手机号和用户名进行注册，打开地图就能看到自己周边的出租车，输入目的地就能叫车，利用支付宝钱包直接支付车费。该软件为打车乘客和出租司机量身定做，乘客可以轻松发单，随时随地打车或约车；司机可以选择接单，降低空驶率。

　　大数据是一场生活、工作、思维的大变革，就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式。大数据的科学应用将服务每一个人，让每个人受益无穷。

　　1 大数据定义

　　大数据时代的来临，是互联网发展到一定阶段的必然产物。随着互联网的高速发展，互联网中的信息量急剧增加，这些信息有用的部分被称为数据。当数据规模越来越大时，量变就会引起质变，大数据应运而生。大数据的火热并不意味着对于大数据的了解深入，大数据不等于大的数据而是一种全新的概念。如何定义大数据，这是一个仁者见仁、智者见智的问题。

　　百度给出的定义：大数据，或称巨量资料，指所涉及的资料规模巨大到无法透过目前主流软件工具在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

　　大数据概念给出的定义：大数据是一个体量特别大、类别特别大的数据集，并且无法用传统数据库工具对其内容进行抓取、管理和处理。首先，数据体量（Volumes）大，在实际应用中已形成了PB级的数据量；其次，数据类别（Variety）大，囊括了半结构化和非结构化数据。接着，数据处理速度（Velocity）快，在数据量非常庞大的情况下能够做到数据的实时处理。最后，数据真实性（Veracity）高，企业愈发需要有效的信息以确保其真实性及安全性。

　　研究机构给出的定义：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

　　2 大数据分析的现状和面临的困境

　　大数据具有海量、多源、复杂的信息属性和高端、前沿的技术特征，是继云计算、物联网之后又一次颠覆性的技术革命。大数据使人的思维方式、行为模式、管理理念发生全方位变革，在各个领域蕴含巨大的应用潜力和创新空间。为了尽快加入大数据实践的行列，从海量数据中获取价值，把大数据转为企业敏锐的洞察力，驱动业务的长足发展，许多企业和管理者盲目收集数据并进行分析，期待能够得到快速的回报。但很遗憾，大多数企业距离从数据中提取利润都差着十万八千里。

　　2.1 现状

　　数据量：由TB级升至PB级，并仍在持续爆炸式增长。根据WinterCorp的调查显示，最大的数据仓库中的数据量，其增长速度远超摩尔定律增长速度。照此计算，2015年最大数据仓库中的数据量将逼近100PB。数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇。

　　分析深度：由常规分析转向深度分析，数据分析日益成为企业利润必不可少的支撑点。企业已经不满足于对现有数据的分析和监测，而是更期望能对未来趋势有更多的分析和预测，从而增强企业的竞争力。

　　硬件环境：由高端服务器转向由中低端硬件构成的大规模机群平台。由于数据量的迅速增加，并行数据库的规模不得不随之增大，从而导致其成本的急剧上升。出于成本的考虑，越来越多的企业将选择由中低端硬件构成的大规模机群平台。