酷玛DS - 2018年1月
type: channel
link: https://www.culmart.com/ds/2018/01/
description: 酷玛实验室数据科学和人工智能
items: 如何使用excel做数据分析
items: 数据科学、机器学习和人工智能有什么区别？

如何使用excel做数据分析
type: item
date: 2018-01-26T16:11:00+08:00
description: 数据分析是什么？把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出研究对象的内在规律。帮助管理者进行判断和决策，以便采取适当的策略和行动。分类：描述性数据分析：（初级数据分析 常见分析方法：对比分析法、平均分析法、交叉分析法）探索性数据分析：高级数据分析，侧重于在数据之中发现新的特征验证性数据分析：高级数据分析，高级数据分析，侧重于验证已有假设的真伪性数据分析5个阶段数据收集 第一手数据：主要指可直接获取的数据;第二手数据：指经过加工整理后得到的数据数据处理 目的：从大量的、杂乱无章、难以理解的数据中抽取并推导出对解决问题有价值、有意义的数据数据分析 数据挖掘：一种高级的数据分析方法。主要侧重解决四类数据分析问题：分类、聚类、关联、预测数据展现 常用数据图：饼图、柱形图、条形图、折线图、散点图、雷达图、金字塔图、矩阵图、漏斗图、帕雷托图报告撰写 有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然，需要有明确的结论，有建议或解决方案而本题讲的主要是使用excel做数据分析。其他的SPSS Statistics等暂且不提。1、数据收集阶段：这个阶段可以参考这个问题：国内外有哪些比较权威的统计数据网站？ - 互联网，格各位知友都很热心。2、数据处理阶段：这个时候要用到excel了。首先要对数据进行一次大清洗！将多余重复的数据筛选清除，将缺失数据补充完整，将错误数据纠正或删除。这个时候要用到一系列excel函数：数据重复【（COUNTIF函数），删除重复项】缺失数据【IF And Or 嵌套函数等】数据抽样【Left，Right，CONCATENATE(文本1，文本2....)，VLOOKUP】数据计算【AVERAGE、SUM、MAX、MIN，Date，If】数据分组【VLOOKUP函数，采用近似匹配，SEARCH函数】数据抽样【RAND函数，RAND()】以上只是一些简单的说明，具体问题需要根据需求进行分析。3、Excel数据分析阶段：excel数据分析-CPDA数据分析师对比分析法：常见的如完成值与目标值的差距，这个月与上个月的对比，同公司间各部门的对比，竞争对手行业内对比，这里要注意的是计算范围计算方法要一致，对象要一致，指标类型要一致。结构分析法：结构相对指标（比例）的计算公式为：结构相对指标（比例）=（总体某部分的数值/总体总量）×100%结构分析法的优点是简单实用，在实际的企业运营分析中，市场占有率就是一个非常经典的应用。市场占有率=（某种商品销售量/该种商品市场销售总量）×100%平均分析法：算术平均数的计算公式为：算术平均数=总体各单位数值的总和/总体单位个数算术平均数是非常重要的基础性指标。平均数是综合指标，它的特点是将总体内各单位的数量差异抽象化，它只能代表总体的一般水平，掩盖了在平均数后各单位的差异。平均分析法要结合各种分组和指标对比来进行。比如分析不同行业、地区的平均从业人数、平均营业收入等。总之，对于所有数量指标都可以依据不同的分组用单位数来平均，进行对比与分析。交叉分析法：交叉分析法通常用于分析两个变量（字段）之间的关系，即同时将两个有一定联系的变量及其值交叉排列在一张表格内，使各变量值成为不同变量的交叉结点，形成交叉表，从而分析交叉表中变量之间的关系，所以也叫交叉表分析法。交叉表当然也有二维以上的，维度越多，交叉表就越复杂，所以在选择几个维度的时候要根据分析的目的决定。下面我主要介绍二维交叉表分析法。综合评价分析方法：综合评价分析法的基本思想是将多个指标转化为一个能够反映综合情况的指标来进行分析评价，比如不同国家的经济实力，不同地区的社会发展水平，小康生活水平达标进程，企业经济效益评价等，都可以应用这种方法。进行综合评价分析，主要由5个步骤，如图所示。杜邦分析法：杜邦分析法利用各个主要财务比率之间的内在联系，建立财务比率分析的综合模型，来综合地分析和评价企业财务状况和经营业绩的方法。采用杜邦分析图将有关分析指标按内在联系加以排列，从而直观地反映出企业的财务状况和经营成果的总体面貌。漏斗图分析法：漏斗图不仅能够提供用户在业务中的转化率和流失率，还揭示了各种业务在网站中受欢迎的程度。虽然单一漏斗图无法评价网站某个关键流程中各步骤转化率的好坏，但是通过前后对比或是不同业务、不同客户群的漏斗图对比，还是能够发现网站中存在的问题。矩阵关联分析法：关联矩阵法是常用的系统综合评价法，它主要是用矩阵形式来表示每个替代方案有关评价指标及其重要度和方案关于具体指标的价值评定量之间的关系。其他高级分析法：数据透视表：这也是一个大块，需要深入的学习，有机会也会写个简单的答案。 这也是一个大块，需要深入的学习，有机会也会写个简单的答案。4、数据展现：根据数据关系选择图表这部分在另一个答案里有详解的讲解对…

数据科学、机器学习和人工智能有什么区别？
type: item
date: 2018-01-10T11:46:00+08:00
description: 当我作为数据科学家介绍自己的时候，我经常会遇到像“数据科学和机器学习有什么区别”或者“这是否意味着你在从事人工智能研究？”这样的问题，我已经回答了无数遍，这些回答已经符合了我的 “三次准则”：当你写相同的代码写了三遍时，你就应该去写一个函数当你给出相同的个人建议三次时，你就应该将建议写在博客里这些领域确实有很多重叠之处，再加上三个领域都充斥着媒体的营销炒作，导致人们很容易对他们产生混淆。 但是它们之间是不可混淆的：大多数这些领域的专业人员都能够去直观地理解一些特定的工作是如何被归类为数据科学、机器学习或人工智能的，即使这很难用语言去表达。所以在这篇文章中，我提出了一个“这三个领域之间差异”的简单定义：数据科学产生见解机器学习产生预测人工智能产生行为要清楚的是，这个定义并不是绝对的权威的：并不是所有符合这些定义的事物都是这个领域的一部分。（算命先生每天都在预测，但是我们永远不会说他们搞机器学习！），同样这也不是一个确定某人角色或职位的好方法（“我是数据科学家吗？”），定义只是偏重各自领域的重点和不同的经验。（任何工作描述都是如此：写作是我工作的一部分，但我不是一个专业的作家）。但是我认为这个定义仍然是区分这三种概念的一个有效的方法，并且当你谈论它们的时候不再会听起来很愚蠢。值得注意的是，我采取的是描述的方法而不是只对他们下定义：我感兴趣的不是这些术语“应该是什么意思”，而是这个领域的人们通常如何使用这些术语。数据科学产生见解数据科学与其他两个领域是有显著区别的，因为它的目标与人类的目标尤为契合：去获取见解和理解力。杰夫·李克（Jeff Leek）对数据科学提供的见解的类型给出了一个很好的定义，他认为数据科学应包括描述性（“普通客户有70％的可能再次续订”），探索性（“不同的销售人员有不同的续订率”）和因果关系（“随机实验表明分配给Alice客户的续订率比分配给Bob客户的续订率更高”）。同样，并非所有可以产生见解的数据都有可以被认为是数据科学（数据科学的经典定义是它包含统计学，软件工程和领域专业知识的结合）。但是我们可以用这个定义来将数据科学与机器学习和人工智能区分开来。它们的主要的区别在于，在数据科学中，人是循环中不可缺少的一部分：算法得出数据结果，人们通过数据得到见解，或从结论中受益。这使得我们说“围棋演算法是使用数据科学来选择下一步”或“Google地图是使用数据科学来推荐行车路线”变得毫无意义，因为围棋算法与google地图推荐行车路线根本不需要人来帮助。数据科学的定义强调的是：统计推断数据可视化实验设计领域知识沟通数据科学家可能会使用一些简单的工具：他们计算报告百分比，并根据SQL查询制作线性图。 他们也可以使用非常复杂的方法：使用分布式数据存储来分析数以万亿计的数据记录，开发尖端的统计技术，并构建交互式可视化模型。 无论他们使用什么，目标都是更好地解读他们的数据。机器学习产生预测我认为机器学习是属于预测领域的：“给定具有特定特征的样本X，预测它的Y值”。这些预测可能是关于未来（“预测这个病人是否会得败血症”），但也可能是一些对计算机而言的弱势领域（“例如预测这个图像中是否有鸟”）。几乎Kaggle的所有比赛项目都可以被认为是机器学习问题：他们提供一些训练数据，然后看看选手们能否使用自己的模型对新的示例做出准确的预测。数据科学和机器学习之间有很多重叠之处。例如，逻辑回归可以用来获取各种数据之间的关联并做出预测（“用户越富有，他们会购买我们的产品的可能性越大，因此我们应该相应的改变我们的营销策略，如果这个用户有53 ％的可能性购买我们的产品，那我们就应该去向他推销”）。像随机森林这样的模型可解释性稍差，而且更适合“机器学习”算法去描述，而深度学习等方法则是十分难以解释的。如果你的目标是获取见解而不是做出预测，那么机器学习并不适合你。因此，我们可以想象机器学习和数据科学之间有一个简单的界限，更多可解释的模型倾向于数据科学，更多的“黑盒”模型则在机器学习方面。大多数从业者可以非常轻松地在这两个领域之间来回切换。 我就会在工作中同时使用机器学习和数据科学：我可能会使用堆栈溢出流量数据建立一个模型来确定哪些用户可能正在寻找工作（机器学习），但与此同时我也需要就模型为什么能起作用给出总结并进行可视化测试（数据科学）。这是发现你模型中的缺陷，并与算法偏差作斗争的重要途径。 这是数据科学家经常负责开发产品的机器学习组件的原因之一。人工智能产生行动人工智能是迄今为止这三个领域中中最古老也是最社会认可度最高的，因此定义它最具有挑战性。 人工智能被大量的炒作所包围，这要“归功于”研究人员，记者以及一些寻求金钱或者关注的创业公司。物极必反，这导致我对它感到很悲观，因为这意味着一些本应被称为人工智能的工作却无法得到它应有的描述。一些研究人员甚至…