去年，我开始深入了解网络舆情监测市场，发现了市场上面大大小小的网络舆情监测公司还真不少，然后我就问我做舆情监测分析的同事，他在网络舆情监测市场上面摸爬打滚了几年，解除了不少的网络舆情监测公司，对网络舆情监测市场也是非常了解的，然后我就问他市场上面有哪几家比较知名的网络舆情监测公司，哪几家的数据还可以？然后他就告诉了我几年还有我遇见过的几家网络舆情监测公司，今天小编就来给大家分析一下这几家网络舆情监测公司：
军犬舆情监测系统：这家公司做部队的网络舆情监测市场，做得非常不错，但是做企业这一块知名度一般，前几年这家公司知名度很大，市场占有率很高，好像发展受到限制，最近都没有怎么见这家公司做网络推广。
百分点网络舆情监测系统：这家公司擅长的不是舆情监测系统，应该是数据分析跟其它某个项目，前几天我听一个从百分点出来的同事讲过这事，不过这家公司在业界的知名度还是可以的，不过网络舆情监测出来的数据很一般。
红麦网络舆情监测系统：之前一直以为红麦跟蓝色光标有某种关系，不过听说这家公司被博彦科技收购了，这家公司可是前几年舆情监测行业的龙头老大，不知道怎么的，还是被收购了，今年我用过这家公司系统一个多月，数据还可以，不过不全，听说这家公司还买了北京某家公司的数据。
新浪舆情通网络舆情监测系统：这家公司听说是跟新浪微博有某关系，新浪微博数据做得比较全，不过没有图片文字识别技术，听说跟北京某家公司对比新浪微博数据的时候，好像还没有别人家的多，就是少了新浪微博图片识别功能。这家公司其它网站数据一般，不过系统的UI做得蛮不错的。
蚁坊网络舆情监测系统：这家公司是湖南一家创业板上市的公司，这家公司网络推广做得比较好，而且还有做百度竞价排名，目前这家公司的网络推广是做得最好的一家公司，软件价格是那种比较便宜的，国内网站数据很一般，不过境外数据质量蛮不错的。
云鸽在线网络舆情监测系统：这家公司去年倒闭了，这家公司去年新浪微博、知乎、百度贴吧、微信公众号的数据非常好，可是其它网站的数据不行，去年10月份左右，这家公司系统奔溃了，有等于没有的一个网络舆情监测系统。
人民网网络舆情监测系统：这家公司网络舆情监测系统数据一般，不过它凭借着人民网强大的背景实力，在市场上面有着很大的占有率，他们凭借着人民网专题报道的优势，高出市场很多价格，让很多客户心服口服买单。
百度网络舆情监测系统：这家公司的网络舆情监测系统是去年我接触到的，他们开始只提供网络舆情监测系统的API接口，没有提供实质性的网络舆情监测软件，今年5月份开始，听说舆情监测系统慢慢的开始给客户试用了，前几天我听说一个客户在用他们的系统，具体数据怎么样，小编就不知道了，不过大部分人都是奔着百度这个大公司去的吧。
甲壳虫网络舆情检测系统：这家公司没有实质性的技术骨干，但是他们公司OEM北京一家专门做政府、公关网络舆情监测系统的公司，采用SaaS模式的网络舆情监测系统，凭借着全网数据最全、性价比最高的网络舆情监测系统，在市场上面赢得了很大的占有率。
除了以上网络舆情监测公司，目前还有很多网络舆情监测系统公司，每天都有网络舆情监测公司倒闭，也有很多网络舆情监测系统公司在成立，到底哪家实力强，到底哪家网络舆情监测系统可以主宰明天的浮云？让我们一起拭目以待，相信时间是最好的证明。真正的强者可以笑到最后。
互联网从web1.0时代升级到web2.0时代，再从web2.0时代升级到web3.0时代，再从web3.0时代升级到自媒体时代，这菜短短十年不到的时间。自媒体时代的网络舆情有个特点，人人都是自媒体，人人手上都有麦克风，一只小小的蚂蚁都可以在互联网的大舞台上面激起千层浪，由此可见自媒体时代的网络舆情是多么的重要，今天小编来跟大家共同分享一下该如何治理自媒体时代的网络舆情。
舆情是“舆论状况”的简称。我国学者对舆情及其管理的研讨大约起步于2000年前后。依照我国学术界大都学者的一致，舆情指社会大众环绕公共事务的认知、心情、定见、心情和行为倾向表达的集合，包括着对政府管理的需求与等待，且“暗示着社会成员潜在的政治行为”。互联网的鼓起为大众表达集合供给史无前例的渠道，让舆情显性化并跨越时空阻碍。
2003年孙志刚事情和非典疫情引发我国第一轮以互联网信息传递为枢纽的全国性舆情。2004年十六届四中全会经过的《中共中央关于加强党的执政才能建造的决议》提出，要“高度重视互联网等新式媒体对社会舆论的影响”，明确了我国学术界舆情研讨的政治导向。2007年今后，“华南虎案”、“邓玉娇案”等全国性舆情事情此伏彼起。2010年CNKI数据库篇名包括“舆情”的文献呈爆破式增加。此后，微博自媒体、微信圈群与自媒体、网络直播渠道相继鼓起。国家为推进和指引舆情管理研讨，在战略层面高度重视网络安全与信息化作业，并做出一系列规制安排。截止2017年10月22日15时，检索CNKI数据库，咱们看到篇名包括“舆情”的文献总数高达12561篇。
通观我国舆情管理研讨的现状，尽管取得一定的开展，一起也存在一些问题与瓶颈。一是整体功率不高。曹树金研讨发现，尽管舆情范畴研讨的开展相当迅猛，但常识仍然是线性增加和堆集的。二是开展不充分、不均衡。彭知辉发现，占总量64.6%的文献从政府视角进行研讨的，价值取向尽管呈现从“控制”、“监控”向“引导”、“回应”转轨，但遍及缺少多元共治的管理视角。在学科支撑和着力点上，根据传播学、情报学和信息科学，以“信息”为中心的研讨比较充分，根据政治学、社会学、安排行为学和领导科学，以“主客体”为中心的研讨严重不足。因此，很有必要拓宽与立异舆情管理研讨范式。
说到网络舆情监测系统，这是一个富贵的服务，只有有一定实力，非常重视品牌建设的企业才会想要这项服务，那么今天小编来跟大家分享一下奢侈品品牌该如何做好自己的网络舆情监测服务，该如何建立一个完善的奢侈品品牌网络舆情监测解决方案，这个是很多品牌热切需要了解的话题。也是有非常大的需求的一个网络舆情方案。希望小编今天的分享可以对广大朋友有所帮助。
第一，奢侈品企业信息把握制度化
通过制度建设企业自己的信息库。掌握强大的奢侈品舆情数据库，并且对数据进行智能分析，以及可视化呈现，为奢侈品企业提供日常工作服务根据奢侈品行业舆情特点，量身打造奢侈品舆情分析模型，通过舆情漏斗、情感仪表盘、地域分布模型、竞品对比模型、网民分析模型、事件报告模型等多维度可视化自动分析，生成并导出各类舆情图表。以上工作应列入奢侈品企业日常工作，并通过制度建设保持执行长期化。
第二，奢侈品企业信息监测日常化
通过建立奢侈品行业监测语料库，提供可供检索的关键词数据库，按照一定的规则和专题对收集的奢侈品行业文本内容进行分类和标注，实现文本合并和关键词提取。
第三，奢侈品企业信息处置中心化
奢侈品舆情管理应有事件管理功能，可以自定义建立事件，对特殊的事件进行实时单独监测和分析，避免突发负面舆情，做到实时预警，以便企业能及时对不利内容作出反应处理。
第四，奢侈品企业信息引导社会化
甲鱼奢侈品信息管理还专门为奢侈品行业开发了重大事件实时跟踪管理的功能对于奢侈品企业来说每年中都会有很多重大的事件，比如新品上市产品优惠、奢侈品产品展等，这些事件的圆满召开对企业整体来说是至关重要的。应善于和新闻媒体沟通，有效借助网络管理部门的力量，发挥主流媒体的引导作用。
甲鱼奢侈品行业解决方案服务库
甲鱼建议在以上基础工作建立完成后，甲鱼将对有奢侈品行业信息解决方案需求的合作方，将开放甲鱼行业信息资源库，进行解决方案的深度合作。解决方案行业信息库
主要服务内容有：
专属于奢侈品行业词库
甲鱼建立了庞大的奢侈品关键词库，从不同纬度，不同指标，搭配不同的信 息词库，专业词库，广告词库，舆情词库。其中舆情词库29864个，涵盖10大 奢侈品品类（服装、珠宝、名表、汽车 化妆品 名笔 皮具 手机、配饰、穿戴） 82个指标，700多个奢侈品品牌，全面精准洞察奢侈品舆情。
专属于奢侈品行业的海量数据整合
甲鱼整合互联网奢侈品舆情数据，全面实时掌握奢侈品行业舆情数据。信息 覆盖了8大舆情载体，超过80个主流奢侈品类网站数据，450多个微信公众平台 奢侈品数据、近150位奢侈品大V观点评论数据，以及百度贴吧、各大奢侈品论 坛数据，日更新数据量1000多条。
选择甲鱼奢侈品行业解决方案
甲鱼对奢侈品行业信息有19年经验积累
甲鱼凭借19年来对奢侈品行业信息监测、舆情监测、广告监测的数据积累，依托对全国38类全媒体信息监测系统，通过对10000+家主流媒体（网络、报纸、杂志、电视、广播、新媒体）各类数据的收集和分析，结合中国奢侈品行业数据，形成了一整套属于甲鱼的奢侈品行业解决方案。据此，甲鱼将根据不同的客户实际情况，针对不同的需求，形成个性化服务的解决方案执行案。
满足奢侈品行业舆情个性化需求
甲鱼奢侈品舆情管理不但能够稳、准、快监测分析自身舆情，而且还可以全面监测分析竞争对手舆情与奢侈品行业舆情，自助订阅制定舆情数据，洞察舆情走势，知悉行业动态，从而帮助企业了解品牌舆情动态、预警公关敏感消息等。甲鱼不但专注项目舆情，而且可以智能甄别买主、非买主、水军等进行准确研判。
发现奢侈品企业舆情！对危机作出快速预警！提高网络舆情环境监测能力，增强对于危机的研判能力。建议通过建立企业舆情事件案例库、数据库，探索新媒体环境下企业舆情危机的特征和演变规律。7*24小时不间断的搜集，发现相关的舆情信息及重大负面舆情时候，自动的发送预警。实时发现危机信息，发布准确信息，修复企业形象。
在入职做网络舆情分析师的时候，我就一直在探寻网络舆情监测对于客户的重要性，我在想为什么要做网络舆情监测，我为什么要入职网络舆情分析师，做这个工作一定要体现我的工作价值，那么也是白搭，今天我要来跟大家共同探讨一下网络舆情监测对于企业的重要性。我们要了解舆情监测对一个企业的重要性，首先就必须要对舆情监测这个概念有个基本的认识。
那么，什么是舆情监测？
企业舆情监测就是指：企业依靠特有的互联网信息采集和智能处理技术系统并辅于人工处理，使企业掌握其主体在互联网的舆论导向，目的是为了快速处理好出现的公共危机和更好的调整企业战略布局。
就目前来说，互联网具有虚拟性、隐蔽性、发散性、渗透性和随意性等特点，越来越多的网民乐意通过这种渠道来表达观点、传播思想。当今，信息传播与意见交互空前迅捷，网络舆论的表达诉求也日益多元。如果引导不善，负面的网络舆情将对社会公共安全或者企业形成较大威胁。
那么，舆情监测的意义又在哪呢？
对政府的意义
对相关政府部门来说，如何加强对网络舆论的及时监测、有效引导，以及对网络舆论危机的积极化解，对维护社会稳定、促进国家发展具有重要的现实意义，也是创建和谐社会的应有内涵。
对企业的意义
而对于企业来说，在发展的过程中，会出现很多问题，而最常见却又影响重大的就是公共危机事件。
公共危机事件爆发时，犹如以石击水，常常容易引起群众的广泛关注，造成相关信息在短时间能迅速传递，单位时间内爆发出大量信息。
一些非理性议论、小道消息或负面报道常常在一定程度上激发人们普遍的危机感，甚至影响到消费者对一个企业品牌的认同。网民对事件的关注与反应令企业措手不及。如不及时采取正确的事件分析和应对，会造成难以估计的影响。所以关注行业敏感舆情对于一个企业来说非常重要。
企业要树立良好的公众形象，必须了解自身的网络舆情状况，保证良好的网络舆论环境，对于网络舆情进行监测是十分必要而有意义的。
今日观点
现代企业，在自身发展的情况下更要注重网络舆论，开展网络舆情监测工作，并以创新的精神丰富网络舆情监测工作手段、提高工作效率，充分发挥互联网在企业发展中的重要作用，推动正面声音，引导中间声音，化解负面声音。这样才有利于扩大企业的宣传阵地，有利于增强企业优秀文化及优良传统的辐射力和感染力，有利于推进企业的和谐稳定和长远发展。
那么，当看完这篇文章后，相信大家对“舆情监控对企业来说究竟有多重要”这个问题心里已经有了答案。
可以很肯定的说“如果对于一个企业来说，资金人才的投入决定企业能做多大，而是否掌握舆情监测就深刻的影响着一个企业能走多远！”
抓取数据、清洗数据对于当下的舆情监测系统来说，都不算是什么难题了，难就难在如何从已得到的数据中获得商业洞察，再用这些商业洞察指导实践，而不仅仅是简单的各类数据统计。对于我来说，舆情数据是互联网上的公开数据，就是相较于销售数据、用户数据等企业内部之外的数据，姑且称之为“外部数据”。那么，现在问题就转换为：如何从浩如烟海、杂芜丛生的外部数据中获得对企业有价值的商业洞见？下面，笔者将从理论到实践，从数据获取、数据清洗、可视化最后到数据分析，全方位的呈现如何从外部数据中得到商业洞察。
请注意，前方高能预警，万字篇幅，但从一个实际案例出发，从理论到实践，绝对干货！
现在互联网上关于“增长黑客”的概念很火，它那“四两拨千斤”、“小投入大收益”的神奇法力令无数互联网从业者为之着迷。一般来说，“增长黑客”主要依赖于企业的内部数据（如企业自身拥有的销售数据、用户数据、页面浏览数据等），以此为依据进行数据分析和推广策略拟定。但是，如果遇到如下几种情况，“增长黑客”就捉襟见肘了：假如一家初创公司，自己刚起步，自身并没有还积累数据，怎么破？就算有数据，但自己拥有的数据无论在“质”和“量”上都很差，正所谓“garbage in ，garbage out”，这样的数据再怎么分析和挖掘，也难以得到可作为决策依据的数据洞察……能看到数量上的变化趋势，却无法精准的获悉数值变动的真正原因，比如，近期APP上的活跃度下降不少，从内部数据上，你只能看到数量上的减少，但对于用户活跃度下降的真实动因却无法准确判定，只能拍脑袋或者利用过时的经验，无法让相关人信服。由此，笔者引出了“外部数据”这一概念，尤其是“Open Data”这片“数据蓝海”，“他山之石，可以攻玉”，从海量的外部数据中获取可以对自身业务起到指导作用和借鉴意义的insight，借助外部环境数据来优化自己。
在谈及外部数据的重要性之前，让我们先简单的看一看数据分析的四种类型。1. 四种常见的数据分析类型按数据分析对于决策的价值高低和处理分析复杂程度，可将数据分析归为如下图所示的4种范式：
越远离坐标原点，沿坐标轴正向延伸，价值度就越高，分析处理的难度也就越大。对于数据分析师而言，“描述型分析”、“诊断型分析”和“预测型分析”最为常见，而“规范型分析”涉及比较高深的数据挖掘和机器学习知识，不是我们接下来讨论的重点。
1.1 描述型数据分析描述型分析是用来概括、表述事物整体状况以及事物间关联、类属关系的统计方法，是上述四类中最为常见的数据分析类型。通过统计处理可以简洁地用几个统计值来表示一组数据地集中性（如平均值、中位数和众数等）和离散型(反映数据的波动性大小，如方差、标准差等)。
1.2 诊断型数据分析在描述型分析的基础上，数据分析师需要进一步的钻取和深入，细分到特定的时间维度和空间维度，依据数据的浅层表现和自身的历史累积经验来判断现象/问题出现的原因。
1.3 预测型数据分析预测型数据分析利用各种高级统计学技术，包括利用预测模型，机器学习，数据挖掘等技术来分析当前和历史的数据，从而对未来或其他不确定的事件进行预测。
1.4 规范型数据分析最具价值和处理复杂度的当属规范型分析。规范型分析通过 “已经发生什么”、“为什么发生”和“什么将发生”，也就是综合运用上述提及的描述型分析、诊断型分析和预测型分析，对潜在用户进行商品/服务推荐和决策支持。
（3）甲鱼关于上述工具的使用介绍，请参考笔者之前的文章《万字干货｜10款数据分析“工具”，助你成为新媒体运营领域的“增长黑客》、《不懂数理和编程，如何运用免费的大数据工具获得行业洞察？》。5. 外部数据分析的应用场景最先对外部数据高度重视的先行者其实是政府机构，它们利用大数据舆情系统进行网络舆情的监测，但随着大数据时代的向前推进，外部数据的应用场景也越来越多，包括且不限如下方面：舆情监测企业口碑和客户满意度追踪企业竞争情报分析品牌宣传、广告投放及危机公关市场机会挖掘、产品技术开发创意挖掘行业趋势分析接下来，笔者将以知名互联网社区——“人人都是产品经理”上近6年的文章数据作为实例，进行“360度无侧漏式”的数据分析，来“示范”下如何对外部数据进行挖掘，从中最大限度的“榨取”关于互联网产品、运营方面的insight。6. 外部数据分析实操：以“人人都是产品经理”上的文章数据分析为例“人人都是产品经理”社区创建于2010年，是一个产品经理学习、交流、分享的社会化媒体平台，每天都有更新关于互联网产品、设计、运营等的资讯和文章，由此吸聚了大量的具有互联网背景的读者。据官方宣称，截至2015年，社区共拥有300万忠实粉丝。因此，“人人都是产品经理”在互联网界具有广泛的影响力，是国内互联网发展的一面镜子，分析它上面的文章数据可以达到见微知著、管中窥豹的效果，从中可以发掘互联网界的历史变迁和发展现状，进而展望互联网行业“将发未发”的热点和前进方向。在笔者下面的“数据发现之旅”中，会带着3个目的，主要是：通过该社区的资讯文章中，发掘国内互联网发展的一些特征；发掘互联网某些栏目下的热点及其变动趋势；给笔者的内容创作予以写作风格定位和题材选取方面的指导。以下是笔者抓取的数据的原始形态，抓取了“标题”、“时间”、“正文”、“阅读量”、“评论量”、“收藏量”和“作者”这7个维度的数据，抓取时间区间是2012.05.17~2017.07.31，文章数据共计33,412条。
然后，笔者对数据进行了清洗，主要是“阅读量”，将“k（1000）“、“万（10000）”、“m（1000000）”变成了相应的数字，便于后续的数值计算和排序。同时，新增3个维度，即文章所属的栏目“类别”、“正文字数”和“标题字数”。
6.1全局纵览6.1.1 各栏目下的文章数量分布情况首先，先对各个栏目下的文章数量进行基础性的描述性分析，看看10个栏目类别下的文章数量分布。
从上面的条状图和环形图可以看出，“业界动态”这一栏目下的文章数量最多，为10,452篇，占到了文章篇数总量的31.3%，其次是产品设计和产品运营，分别占到了总数的19.5%和16.87%，反倒是“产品经理”下的文章数量不多。接下来，笔者统计了这10各栏目在过去的6年中的数量变化情况，如下面的热力图所示：
上面的热力图中，色块越深，对应的数值就越大，越浅则数值愈小。其中，互联网的“业界动态”一直是文章发布数量最多的栏目。而“产品经理”的发文数量一路飙升（当然2017年还没过完），间接地可知该职位的热度（关注和写作偏好）蹭蹭的往上窜，成为“改变世界”、拿着高薪的产品经理，是无数互联网从业人员梦寐以求的工作。与此类似的是“产品运营”栏目，发文数量也在稳步上升。另外，“产品设计”方面的文章主要集中在2012年，可以看出以“用户体验”、“UI设计”、“信息架构”和“需求规划”为主要活动的产品设计在2012年蓬勃发展，产生了大量基于实践经验的干货文章。6.1.2 阅读数据分析现在，笔者从“阅读量”、“点赞量”、“收藏量”、“正文字数”和“标题字数”这些能反映读者阅读偏好的数据着手，进行由浅入深的挖掘，从中发现阅读数据中的洞察。在统计分析之前，先去掉若干有缺失值的数据，此时文本数据总量为33,394。（1）文章数据的描述性分析先对所有文章的各个维度进行描述性统计分析，获得这些数据的“初の印象”。
上面的数据过多，为节省篇幅，笔者仅摘取部分数据进行解读：从上表中，笔者发现，单篇文章阅读量的最大值是2,100,000！阅读数高得惊人！在后面的截图中，小伙伴们可以知晓具体是哪一篇文章如此之高的阅读热度。读者的评论热情不高，绝大部分的文章没有评论，这可以从“平均值”、“中位数”和“标准差”这3项指标中看出。绝大部分的文章字数不超过3000，篇幅短小精悍，当然大多数文章都有配图，写得太长，读者懒得看。绝大部分的标题字数不超过20字，太短说不清楚，太长看着招人烦。（2）文章聚类分析在该部分，笔者选取 “阅读量”、“收藏量”、“评论量”、“标题字数”这4个维度作为此次聚类分析的特征（Feature），它们共同构造了一个四维空间，每一篇文章因其在这4个维度上的数值不同，在四维空间中形成一个个的点。以下是由DBSCAN自动聚类形成的图像，因4维空间难以在现实中呈现，故以2维的形式进行展示。
从上图可以看出，此次聚类中，有少数的异常点，由上面的描述型分析可知，阅读量极大的那几篇文章的“嫌疑”最大，现在在源数据中“揪出”它们，游街示众，然后再“除掉”。
从上图中可以看出，虽然因为维度过高，不同类别簇群存在重合现象，但不同的颜色明显的将文章类别进行了区分，按照“阅读量”、“收藏量”、“评论量”、“标题字数”这4个维度进行的DBSCAN聚类可以分为5个类别。（3） 阅读量与正文字数、标题字数之间的关联分析接着，笔者分别对“阅读量”与“标题字数”、“正文字数”做了散点图分析，以期判断它们之间是否存在相关关系。
从上图来看，阅读量和标题字数之间并没有明显的线性相关性，标题字数及其对应数量的散点分布，近似形成了一条左偏态的正态曲线，从图像上印证了上面的描述性分析，而且更新了我们的认知：在10~30这个“标题字数”区间的文章数量最多，而标题字数过多未必是好事。
从上图可以看出，从1000字开始，阅读量和正文字数在大体上呈负相关关系，即文章字数越多，阅读量越小。由此看来，大家都比较喜欢短平快的“快餐式”阅读，篇幅太长的文章看起来太磨人。6.1.3 热门文章特征分析一篇文章的“收藏量”能在一定程度上反映读者对该文章的价值度的认可，较高的收藏量能代表该文章的质量属于上乘。而从一定数量的高收藏量文章中，我们又能间接的从中发掘出读者的阅读偏好，进而界定读者群体的某些特征。在这部分，笔者筛选出收藏量大于1,000的文章，各栏目合计下来，不多不少，刚好60篇。以下是它们在各栏目下的数量分布情况：
从上表中，笔者发现如下信息：“产品经理”栏目下收藏量过1,000的文章数量最多，占到半数；“分析评测”下的文章数量不多，但读者互动最多（平均评论量为90）；“分析评测”、“交互体验”、“业界动态”、“原型设计”入围的文章数量不多，但它们的平均阅读量较高以上3点仅是从数值型数据上获得的认知，但是这些热门文章到底有哪些特征，我们不得而知。由此，笔者统计了这些热门文章的标题中的高频词，并将其制成关键词云：
从上面的高频词，“Axure”、“干货”、“工具”、“新人”、“7天”、“速成”等高频词可以间接的推测出，这些文章的主要面向初学者（按照心理学上的“投射原理”，读者其实也大都是初学者），以干货类、工具类和方法论为主题，并透露出浓厚的“成功学气息”（如“速成”、“7天”、“必学”等词），具有这类标题特征的文章，堪称“眼球收割机”，初学者合并小白喜闻乐见，最是喜欢。6.1.4 文本中一线~五线城市提及次数的地理分布在该部分，笔者先列出了一个国内一、二、三、四、五线城市的城市名录，然后在经过分词处理的333,94篇文本数据中统计这些城市的提及次数（不包含简称和别称），最后制成一张反映城市提及次数的地理分布地图，进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。经处理，制成的数据地图如下：
上图反映的结果比较符合常识，北上深广杭这些一线城市/互联网重镇的提及次数最多。其次是成都、天津、重庆、苏州和青岛这些二线城市，再次是哈尔滨、大连。总结起来的一句废话就——互联网发达的城市主要集中在东南沿海。上面的数据分析大多数是基于数值型数据的描述性分析，接下来，笔者将利用其中的文本数据做深入的文本挖掘。6.2 针对“产品运营&数据分析”栏目的专项文本挖掘因为笔者关注的领域主要是数据分析和产品运营，平时写的文章也大都集中在这两块，所以笔者把这两个板块的数据单独拎出来，从文本挖掘角度，做一系列由浅入深的数据分析。6.2.1 高频词汇TOP200首先是文本挖掘中最常规的高频词分析，笔者从中获取了TOP200词汇。
可以看到，大部分是跟“运营”息息相关的词汇，比如“用户”、“运营”、“内容”、“APP”、“营销”、“微信”等词汇。单独看其中的高频词TOP30，可以发现，这些词大部分跟新媒体运营（“内容”、“微信”、“微博”、“文章”等）、用户（“用户”、“粉丝”、“需求”、“社群”、“客户”、“消费者”等）有关系。
6.2.2 Bicluster文本聚类分析刚才笔者提到了基于关键词归纳主题的做法，在上面的高频词中，这种主题特征不甚明显，因而笔者采用更强有力的Bicluster文本聚类分析，从“数据分析&产品运营”的数千篇文章中“析出”若干“子主题”，并进行“发布年份”&“主题构成”之间的关联分析。基于谱联合聚类算法（Spectral Co-clusteringalgorithm）的文档聚类，这部分的原理涉及到艰深的数学和算法知识，可能会引起小伙伴们的阅读不适感，如果是这样，请快速跳过，直接看后面的操作和结果。先将待分析的文本经TF-IDF向量化构成了词频矩阵，然后使用Dhillon的谱联合聚类算法（Spectral Co-clusteringalgorithm）进行双聚类（Biclusters）。所得到的“文档-词汇”双聚类（Biclusters）会把某些文档子集中的常用词汇聚集在一起，由若干个关键词构成某个主题。正式分析之前，先对保存在Excel中的文本数据做一定的预处理，使用“乾坤大挪移”，将Excel中的文本数据按年份一条条的归到不同的文件夹下面，具体步骤如下图所示：
上面的分析结果中，Bicluster1的话题区分度不明显，且仅包含2个文档和16个关键词，所以排除掉这个主题，仅留下其他5个主题，排除噪声，从这些子话题中的主要关键词来归纳其要旨。为了看得更清楚，笔者将这些数据整理成二维表格的形式：
从上表可以看出，“数据分析&产品运营”下的子话题中，涉及“新媒体运营”的内容最多，占到文档总量的35.62%，其次是“APP运营”和“智能硬件”方面的话题，分别占到文档总量的23.72%和19.6%。而“数据分析”话题下的文档数最少。将子话题和年份进行交叉分析，可以从中了解到各个子话题在各年份的信息分布量，从某种意义上讲，也就是话题热度。
从上表可以看到，“智能硬件”的子话题在2012和2013年的热度最高，而“APP运营”和“数据分析”在2016和2017年开始火了起来，而“新媒体运营”在近3年也是风光无限。而单独从2016年来看，除了“智能硬件”方面的话题不火外，其他三个话题均有较高的热度，达到了近5年来热度峰值，看来2016年是个特殊的年份。总体上，除了“智能硬件”这个子话题外，其他3个子话题热度都呈现出不断上升的趋势，当然，笔者假设2017年的4个月过完的时候还是如此。6.2.3 基于“数据分析&产品运营”语境下的关联词分析接下来进行的是基于Word Embedding的Word2vec词向量分析，将正文分词文本直接进行词向量模型训练，然后用来进行关联词分析。Word2vec是Word Embedding（词嵌入）中的一种，是将文本进行词向量处理，将这些词汇映射到向量空间，变成一个个词向量（WordVector），以使这些词汇在便于被计算机识别和分析的同时，还具有语义上的关联性，而不仅仅是基于词汇之间的共现关系。类似的例子可以参看笔者之前的文章《用数据全方位解读<欢乐颂2>》、《以<大秦帝国之崛起>为例，来谈大数据舆情分析和文本挖掘》。由此，通过Word2vec，我们可以查找到在“数据分析&产品运营”语境下的各个词汇的关联词。先看看笔者最关心的“数据分析”，在“数据分析&产品运营”语境下有哪些词与之关联度最高，这里采用的method是’predict_output_word’，也就是把“数据分析”单个词当做语境，预测在“数据分析”语境下的关联词。
在这种情况下，“数据分析”与自身的关联度不是1了，因为它可能在一段话里出现两次。后面关联度较高的词汇依次是“统计分析”、“数据挖掘”、“BI”、“Excel”等，从其中的几个数据工具（Growing IO、神策和友盟等）来看，厂家的品宣软文做的还是蛮好的。再来看看“数据挖掘”+“运营”下的关联词有哪些，这次采用的method是’most_similar’，结果如下：
结果显示，这2个词的组合得到的关联词，除了“数据分析”外，还有“精细化”、“BI”、“统计分析”、“（用户）画像”、“数据模型”、“指标体系”、“产品策划”等关键词，它们是数据运营中涉及较多的概念。下面是“pm”和“运营”的共同关联词，它们能较好的说明运营和产品之间的存在的某些“公共关系”。
本来，这两个职位由于跟进流程多，涉及面广，需要干各种“杂活”，因而很多产品或运营抱怨自己就是 “打杂”的。近一段时间，互联网界某些专家适时造出“全栈产品”和“全栈运营”这两个新概念，认为必须在这两个岗位上掌握更多的“斜杠”技能，熟谙相关领域的各个“工种”，最好精通各个流程。要做好这两个“非技术”的岗位，很多方面不仅要“略懂”，还要扮演“多面手”的角色，比如“技术开发”、“产品策划”等，如此才能在实际工作中“独当一面”。接下来，笔者从中挑选出出90个跟“数据分析”具有较高关联度的词汇，看哪些词汇在该语境下中提及次数最多，以及这些词之间的共现关系（Co-occurrence Relation），通过词汇链接关系的多寡，找到重要性程度最高的词汇。
从字体大小来看， “数据”、“数据分析”、“运营”、“数据挖掘”“数据库”、“预测”等词链接的词汇最多，它们的重要性程度在这90个词汇中的重要性程度最高。从颜色上来看，这90个词根据“关系亲疏（共现关系）”聚集为5个社群（Community），最为突出的是3个社群，分别是：橙色系的“SPSS”和“SAS”，数据分析工具类；紫色系的“数据”、“数据分析”、“数据挖掘”等，数据分析相关重要的概念；绿色系的“营销”、“社会化媒体”、“监测”等，品牌营销类。其中，“社会化媒体”与“营销”之间的线条最为明显，代表它们之间有很强的关联度—因为社会化媒体正式营销活动的载体，营销活动必须在各类社会化媒体（微信、微博、头条号等）实施。6.2.4 Lexical dispersion plot（词汇分散图）接下来，笔者想了解“产品运营&数据分析”栏目中的某些词在2012.05~2017.07之间的数量分布情况，以及它们出现的位置信息（the location of a word in the text），这时可以利用Lexicaldispersion plot（词汇分散图）进行分析，它可以揭示某个词汇在一段文本中的分布情况（Producea plot showing the distribution of the words through the text）。笔者先将待分析的文本按时间顺序进行排列，分词后再进行Lexicaldispersion plot分析。因此，文本字数的累积增长方向与时间正向推移的方向一致。图中纵轴表示词汇，横轴是文本字数，是累加的；黑色竖线表示该词汇在文本中被提及一次，对应横轴能看到它所处的位置信息，空白则表示无提及。
从上图可以看出，在近4,500,000词汇量的文本中，“运营”、“微博”和“电商”在近6年里的提及次数极高，中间的间隙较少，贯穿始终，它们是作家谈论最多的三个词汇/话题。像“新媒体”、“微信公众号”、“用户运营”、“社群”等词汇，在头两年的提及热度不高，但后来居上，提及量呈现逐渐上涨的趋势。而“BI”、“CRM”在近六年内呈零星分布，提及量较少，在“产品运营&数据分析”栏目中属于冷门话题。6.2.5 利用DTM模型（Dynamic Topic Models ）分析主题下的热点变迁上面的分析是针对某个词汇的时间动态分析，这里笔者要分析的是某个话题随时间的变迁情况（This implements topics that change over time）。笔者运用的模型是DTM模型 （Dynamic Topic Models ），它是“概率主题模型”家族的一员，用于对语料库中主题演变进行建模。它基于这样的假设：蕴含时间因素的主题，尽管它包含的关键词会随着时间的变化而产生相应的变化，但它如构成要素不断更新换代的“忒修斯之船（The Ship of Theseus）”一般，即使同一主题下的开端和末尾中的主题词没有一个是相同的，但还是原先的主题，保留有相同的语境。（By having a time-basedelement to topics, context is preserved while key-words may change.）首先，从“产品运营&数据分析”中“解析”出如下6个子话题，它们是“运营”、“商业模式”、“流量运营&数据分析”、“品牌营销&数据分析”、“电商运营”和“内容运营”，如下表所示：
笔者对Topic2，也就是“流量运营&数据分析”在2012.05~2017.07间的话题变迁情况感兴趣，于是将这6年间出现的主题词重新整合，制成下面的热力图：
上图中纵轴是主题词，横轴是年份，颜色由浅入深代表数值的由小到大。从中可以明显的看出，“流量运营&数据分析”子话题下的“数据”、“数据分析”、“运营”和“业务”在该话题中始终处于“核心地位”，保持较高且稳定的word_prob值。而“渠道”、“游戏”、“互金”在近3年的word_prob值有了较大的提升，说明社区的作者在近期比较关注这3个主题词所代表的领域，间接表明它们在互联网中的话题热度呈现上升趋势。6.2.6 利用ATM模型（Author-TopicModel）分析作家写作主题分布在这个版块，笔者想了解“人人都是产品经理”上作家的写作主题，分析某些牛X作家喜欢写哪方面的文章（比如“产品运营”、“数据分析”、“新媒体运营”等）写作了啥，主题相似度的作者有哪些。为此，笔者采用了ATM模型进行分析，注意，这不是自动取款机的缩写，而是author-topic model：ATM模型（author-topic model）也是“概率主题模型”家族的一员，是LDA主题模型（Latent Dirichlet Allocation ）的拓展，它能对某个语料库中作者的写作主题进行分析，找出某个作家的写作主题倾向，以及找到具有同样写作倾向的作家，它是一种新颖的主题探索方式。首先，先从文本中“析出”若干主题，经过探索，10个主题的区分度正好。根据各个主题下的主题词特征，笔者将这10个主题归纳为 ：“行业动态”、“电商运营”、“商业模式”、“产品运营”、“社交媒体”、“互金产品”、“数据运营”、“用户研究”、“产品设计”和“新媒体运营”。
同时，在数据处理的过程中，模型建立了作者（author）、主题（topic）及文档（document）之间的映射关联关系，以dict的形式保存数据
模型训练完毕，先看看笔者自己的写作主题分布吧。值得注意的是，这里的文档数据经过甄选，并不是全部的文档数据，因此数量会少于网站上所看到的文章数。
上面的“Docs”中的元素是文章对应的文档ID编号按照时间顺序排列的，“Topics”中的元素有两列，一列代表主题，一列代表主题的权重大小。很明显，笔者的写作主题主要集中在“数据运营”、“新媒体运营”和“用户研究”这3个主题上，有些直接从标题即可看出，有些“潜藏”在文章的正文论述之中。
再看看运营大神韩叙的写作主题分布，很明显，他侧重于写产品运营方面的干货文章，而且写作主题很明确。
再看看另一位专栏作家类类的写作主题分布，他倾向于写产品运营、用户研究和社交媒体方面的文章，看过他文章的人都知道，他尤其擅长基于社区的用户运营。
再看看另一位运营大神——张亮，他的写作主题跟类类几近一致，也是产品运营、用户研究和社交媒体方面的干货分享。
接下来，根据上述作者的写作主题分布，笔者找出与他们写作相似度最高的作家，为保持准确度，笔者有一个限制条件——发文数量不小于3篇。结果以表格的形式展示，主要的维度有“作者（Author）”、“相似度得分（Score）”和“文档数量（Size）”。以下是“韩叙”“类类有话说”和“张亮-leo”的相似作者名单TOP10，限于篇幅，笔者就不做过多分析了。
6.2.7 LSI相似标题索引最后，笔者想通过文章标题之间的语义相似关系来找到相同主题的文章，而这种语义相关性不仅仅是字面上的（不包含相同的词汇，但其中的词含义相近）。利过LSI（Latent Semantic Index，潜在语义索引）就可以做到这一点。通过“词袋模型（bag-of-words）”将语句映射到特定的Vector Space Model (VSM)中，比较语句向量化后的余弦夹角值（介于0-1之间），值越大，就代表相似度越高。详细的原理推导，小伙伴们可以自行Google脑补。从标题中找出主题相似的文章，检索感兴趣的内容，不仅仅是通过关键词检索，潜在语义分析。在这里，笔者先后对如下三篇文章进行LSI语义索引：当数据分析遭遇心理动力学：用户深层次的情感需求浮出水面（万字长文，附实例分析）万字干货｜10款数据分析“工具”，助你成为新媒体运营领域的“增长黑客”数据运营实操 | 如何用聚类分析进行企业公众号的内容优化结果显示如下：
从上面的索引结果可以看到，搜寻到的语句和原语句之间即使没有包含相同的词汇，但语义上是相关的，分别从属于4“用户研究”、“运营实操根据”和“内容运营”这三个话题。笔者通过这种文本相似度索引，就可以找到自己感兴趣的内容，进行更进一步的文本挖掘。结语限于篇幅，上述许多模型的用途/使用场景，笔者并未展开详说，比如Lexical Dispersion Plot、Bicluster文本聚类和DTM模型可以预测词汇和主题的热度，从而为写作选材和热点追踪提供参考；而LSI相似文本索引和ATM模型可以在内容创作中进行竞品分析，找到与笔者写作主题相近的作家和内容进行针对性的分析，知己知彼，做好自己的写作风格定位。拿笔者的分析实践为例，在“数据分析”栏目中，采用上述分析手段，笔者发现相关文章大都是理论型和设想型的论述，缺少真实的数据分析实例支撑，真正投入到实际工作中的效果也未可知；同时，很多是常规的、基础性的数值型分析，介绍的工具则是Excel、SQL、SPSS，难以满足当今大数据背景下的数据分析实践。因此，笔者的写作风格倾向于“少许理论+实操”，尽量少扯“看起来对、看过就忘”的理论，在数据分析工具和方法的使用上尽量做到多样化，实例分析不为得出具体的结论，重在开拓读者的数据分析思路，授人以鱼。最后，透过上面的外部数据分析实例，笔者想阐明如下3点：要厘清不同数据类型的特征，如本例中的数值型数据、文本型数据以及从中抽取的关系型数据，对其采用合适的分析思路和挖掘方法；数据分析的方法要尽可能的多样化，如本例中采用了多种分析方法和模型，如交叉分析、高频词分析、关键信息抽取、词汇分散图分析和ATM模型等；在分析层次上，以业务逻辑为轴线，由浅入深，由简入繁，由表及里，既有描述型的统计分析，也有诊断型的数据挖掘，还有基于演变规律（如动态主题模型）的预测型分析。
舆情监测系统——系统
舆情数据——数据
舆情分析报告——服务
这样的话比较一目了然。系统的优势在于抓取的全面性和相对的即时性，如果只是需要看每天的关键词群及专题性信息，系统能够最大化地迭代由于人手不足或者操作性弱带来的负面效应，也就是说，舆情监测系统能够让需求方一目了然明确最主要（或者最感兴趣）的信息所指和分布；适用的用户群体包含如下几类：
1、需要明确提示出重要信息的客户；
2、信息体量及基数在互联网中有限的客户；
3、有明显投放及运营阵地倾向的客户。
数据是所有产品的枢纽，同时也是服务响应的根本。不谈数据的获取能力，从海量数据本身，其存在就意味着有完成增值的潜力。同理大数据概念，没有数据还谈个毛线，行业中仍有不少基础数据抓取（非平台/系统集成）的供应商企业，能赚到钱，就说明有市场。额。。。好像说远了。舆情数据假设以关键词群和专题化作为统计维度，它在定量与定性上能够辅助形成传播趋势、分布平台等统计，同时形成一些概述论点形成；适用的用户群体包含如下几类：
1、对数据有KPI考核指标的客户（如营销稿件的投放/公关稿件的露出）；
2、需要针对专项事件（负面）或专题监测（正面/负面）中施加动作的客户；
3、通过体量和趋势特征做下一阶段研究及预判的客户。
舆情分析报告有难有易，这里以需要舆情分析师介入完成的报告为参照（简单统计和数据呈现报告不算在内），报告本身对于品牌/事件/环境/舆论/趋势/研判都面面俱到的辣种。适用的用户群体包含如下几类：
1、需要外部意见帮助解决当下危机与专项的客户；
2、对于内部营运管理及KPI考核有明确定义及要求的客户；
3、emmm….可以作为提案展示的客户啦。
至于如何高质量的获取，这个嘛。。。舆情系统市面上有很多，每家都说自己好的，我不是销售，自己本身也在行业中苟且偷生，不好评价；但是从技术上说，该攻不破的壁垒就是攻不破的，其余的都看公司在技术上/运维上投入多少钱，支持多少人了；另外需要关注的就是，是否有平台特长，比如专做微信，专攻APP抓取的，在细分媒体上maybe有些优势。 有了系统也就间接地获取了数据，所以购买的时候，对于覆盖的信源网站、抓取的频次、运维的频次及数据保留/对接的字段明确定义好，数据总跑不了了。（漏了就扣钱呗）
服务，是最后比较难界定的。有些公司技术强，配人少，有些公司技术弱点但是服务团队强大。。。如果想要买到好的服务，一定要有先期的试用和沟通，确保不是系统和数据给了之后就不管不顾就行惹。
记得刚入职那几天，我就因为一个单子的事情跟公司闹得有点不爽，跟客户打交道比跟公司打交道困难多了，我想这就是当年我的肖总给我上的一节课吧，在职场，我还是太嫩了，没有那些老鸟玩得转，那些老鸟可以说在职场玩得风生水起，他们不需要能力，也不需要什么交际圈子，只需要会玩，会玩什么呢？玩职场，职场上面的东西只要他们会玩就够了。光凭欺负那些菜鸟就够了，欺负那些菜鸟他们就可以靠压榨菜鸟的那些东西来获得一定的资本跟能力圈子了。
最近小编就遇到一个很不顺心的事情，小编参加了深圳某个公司的招投标项目，稳稳的控的标，但是小编不在深圳，就叫深圳同事过去谈一下，小编就给了深圳同事一半的抽成，后面深圳的同事看到这个事情应该可以有把握拿下这个单子，就找小编讨价还价，要求小编给业绩全部给她，小编就没有搭理她。同事之间本来帮助一下很正常的事情，但是这样勾心斗角，明着喊价就有点过份了。
更可恨的是小编公司的领导居然也漫天提要求了，我当时答应全部的业绩给公司另一个同事，但是抽成我一分不给，领导当时也同意了，今天她竟然给我提了一个比较过份的条件，说什么要我也分抽成给我那个同事，还提之前怎么样怎么样的事情，小编就不解了，我对那个小姑娘比她对那个小姑娘厚道多了，请她吃饭，端午节公司发的福利也都给她了，叫她去一个客户那边也发了一个200的红包。而领导呢，帮她去见一个客户还要分人家业绩，么有业绩要求也要分人家的业绩，这个有点过份了。
这样的职场，小编不喜欢，也不喜欢跟这群人混一起，该找找新的出路了。
在三月中型，我们甲鱼网络舆情监测公司招聘了一批网络舆情监测软件的销售人员，主要针对全国各地的办事处，各大分公司的销售，主要有政府销售经理，还有一批企业销售经理，主要的销售要求就是把我们公司的产品：网络舆情监测系统，网络舆情监测软件，网络舆情监测报告，网络舆情事件分析报告，竞品事件分析等产品，一个也就几万块钱吧，我们公司对销售的要求是6个月以内必须出单，否则辞退，如果三个与没有任何销售商机跟机会等，那么也将辞退，但是快要3个月了，还有一大批人没有出过单子，还有大部分没有一点商机，他们到底是来打酱油的还是舆情监测软件的销售真的就是有这么难啊。
小编访问了上海分公司的一个同事，他的底薪是4000，绩效工资是1000，房补是1000，还有其他补助加起来也有1000多，这样的待遇对于一个销售来说是很不错的了，出单了还有抽成，但是那些销售好像不是很给力，每天基本上就是在刷自己的朋友圈，感觉就是在混工资，混日子的。他们好像很恐惧出单，很恐惧做一个销售，很恐惧销售网络舆情监测软件。做一个合格的网络舆情监测软件销售就有这么难吗？
今天，小编看到一则这样的新闻，百度跟一些医疗机构媒体签订了某种协议，他们的在网络上面发布的内容只能被百度搜索引擎抓取收录等，不能被其他媒体收录转载，看到这则消息，小编就惊讶了，这样做有2种可能性，一种就是这些媒体平台做了蜘蛛爬虫访问限制，也就是一个robot.txt文件，里面设置了禁止某些搜索引擎收录，这种技术非常简单，但是其他媒体，自媒体等还是可以通过火车头采集器来采集这些文章跟内容，发布到自己的网站，这样他们的网站在搜狗，360等搜索引擎上面就会有一个非常好的排名。那样被转载的那个网站反而在这些平台没有收录，只能依赖百度；他们还有一种技术就是跟小红书一样，做反爬虫技术，在网站里面做了反爬虫技术，还有限制复制黏贴等功能，这样一般的人，没有一点技术的人是很难从这些平台拿到数据的。还有最后一种也是基本上不会出现的可能，那就是他们这些网站做了访问限制，需要指定的账号密码才可以登陆。
通过百度这个了搜索引擎垄断事情，小编可以看出，百度开始有动作了，而且动作还不小，他目前主要是针对一个行业类的垄断，但是慢慢的他会向更多行业的网站垄断，而且百度也在做网络舆情监测系统，他们是否会对这些合作的媒体提供反爬虫技术，如果这些反爬虫技术一旦发出来，我相信没有哪家公司的技术有这个实力可以打败百度公司的技术，可以从百度的做了技术处理的网站爬出数据。这样的话，可能只有百度自己公司可以去爬这些网站的数据，到时候舆情监测网站监测不出那些比较重要的网站，那么这套舆情监测系统还有用吗？可能只有百度公司有这么牛逼，以后可能只有他们家的网络舆情监测系统会在互联网上面有一席之地了。其他的喝粥都喝不到。这个目前对所有的网络舆情监测公司都是一大挑战，希望广大朋友可以迎难而上。应对这个难关，打败百度这个系统。
记得3月份的时候，我花了2天的时间，带出来了一个网络舆情分析师，他是一个刚毕业的实习生，就花了短短2天的时间，就学会了网络舆情分析监测，做网络舆情监测日报、周报、月报等，不过这个算是入门非常块的那个了，这个刚毕业的娃娃，连基本的办公软件都不会用，什么word\PPT\excel 什么的都是我教的，他只会打游戏，不过还好，皇天不负有心人，终于教会了他，真的快要把老师给气死了，花了很多的时间来教他，现在毕业生怎么样什么都不会，我记得我毕业那会好歹还会玩点东西，不过他这个完全就是大学打了4年的游戏，就短短工作了1个多月，就有人开始来挖他去做舆情分析师，一个其他公司的HR要求他去他们公司做网络舆情分析师，这个真的有这么好的福利待遇吗？他现在的待遇是5K每个月，就短短的几个月时间，一个刚毕业的实习生就2000多一个月，一夜之间，身家暴涨，涨到了5000多，而且挖他的公司给他开到7000左右，五险一金都有，这对于一个刚毕业的实习生来说，是多么大的诱惑啊。
但是网络舆情分析师真的有这么吃香吗？我有个同事做了5年以上的网络舆情分析师，工作经验非常丰富，还是一个上海人，每次换工作都是8000到9000徘徊，而且工作也不好找，说真的，网络舆情监测行业以及达到饱和了，特别是网络舆情分析师，你工资就有一定的上限，想要跳出这个上线就比较困难了哦。所以网络舆情分析师不是很吃香，他们看重的不是你的才华，而是你可以给他们带来的财富。请不要以为自己很吃香，其实几年后的你还是跟现在的你一样。