酷玛DS - 2020年1月
type: channel
link: https://www.culmart.com/ds/2020/01/
description: 酷玛实验室数据科学和人工智能
items: 数理统计学（Mathematical statistics）
items: 斯坦福大学2019年人工智能指数报告
items: Excel 的数据分析工具

数理统计学（Mathematical statistics）
type: item
date: 2020-01-12T11:59:00+08:00
description: 数理统计（英语：Mathematical statistics）是统计学的数学基础，从数学的角度去研究统计学，为各种应用统计学提供理论支持。数理统计是将概率论（数学的一个分支）应用于统计，而不是用于收集统计数据的技术。用于此目的的特定数学技术包括数学分析，线性代数，随机分析，微分方程和测度理论。数据集上的线性回归图。回归分析是数理统计的重要部分简介统计数据收集与研究计划有关，特别是与随机实验的设计以及使用随机抽样的调查计划有关。数据的初始分析通常遵循进行研究之前指定的研究方案。还可以对研究数据进行分析，以考虑受初始结果启发的次要假设，或提出新的研究建议。计划研究的数据的辅助分析使用了数据分析的工具，而这样做的过程是数学统计。数据分析分为：描述性统计 -描述数据的统计部分，即概述数据及其典型属性。推论统计 -从数据得出结论的统计部分（使用某种数据模型）：例如，推论统计包括选择数据模型，检查数据是否满足特定模型的条件以及量化涉及不确定性（例如使用置信区间）。尽管数据分析工具最适用于随机研究的数据，但它们也适用于其他类型的数据。例如，根据自然实验和观察研究，在这种情况下，推断取决于统计学家选择的模型，因此是主观的。重要主题：概率分布甲概率分布是一个函数指派一个概率给每个可测量子集的随机的可能结果的实验，调查，或过程的统计推断。在样本空间为非数值的实验中可以找到示例，其中的分布将是分类分布。样本空间由离散随机变量编码的实验，其中的分布可以由概率质量函数指定; 以及使用由连续随机变量编码的样本空间进行的实验，其中的分布可以由概率密度函数指定。更复杂的实验，例如那些涉及连续时间定义的随机过程的实验，可能需要使用更一般的概率测度。概率分布可以是单变量或多变量。单变量分布给出单个随机变量采用各种替代值的概率；多元分布（联合概率分布）给出采用各种值组合的随机向量（两个或多个随机变量的集合）的概率。重要且常见的单变量概率分布包括二项式分布，超几何分布和正态分布。该多元正态分布 是常见的多元分布。特殊发行正态分布，最常见的连续分布伯努利分布，针对单个伯努利试验的结果（例如成功/失败，是/否）二项分布，对于给定的固定独立发生总数，“正发生”的数目（例如成功，赞成票等）负二项分布，用于二项式观察，但其中关注的数量是在给定成功次数之前发生的失败次数几何分布，用于二项式观测，但是关注的数量是首次成功之前的失败数量；负二项式分布的一种特殊情况，成功次数为1。离散的均匀分布，用于有限的一组值（例如，公平死亡的结果）连续均匀分布，用于连续分布的值泊松分布，对于给定时间段内泊松型事件的发生次数在下一次泊松型事件发生之前的时间内的指数分布Gamma分布，表示接下来的k个Poisson型事件发生之前的时间卡方分布，标准正态变量平方和的分布；有用，例如，用于推断正态分布样本的样本方差（请参见卡方检验）学生t分布，标准正态变量与比例卡方变量的平方根之比的分布; 对于关于推理有用平均正常分布的样本与未知的方差（见学生t检验）Beta分布，具有单个概率（0到1之间的实数）；与伯努利分布和二项式分布共轭统计推断统计推断是从数据中得出结论的过程，这些数据可能会发生随机变化，例如观察误差或采样变化。这种推理和归纳程序系统的最初要求是，该系统在应用于定义明确的情况时应产生合理的答案，并且应具有足够的通用性以适用于各种情况。推论统计用于检验假设并使用样本数据进行估计。而描述性统计描述的样本，推断统计推断人口较多的样品能代表预测。统计推断的结果可能是对“下一步应该做什么？”这个问题的答案，这可能是做出进一步实验或调查的决定，或者是在实施某些组织或政府政策之前得出结论的决定。在大多数情况下，统计推断使用有关人群的命题，这些数据是通过某种形式的随机抽样从感兴趣人群中得出的。更一般而言，有关随机过程的数据是从有限时间内观察到的行为获得的。给定一个参数或假设，希望进行推断，统计推断最常​​使用：当使用随机化时，已知应该生成数据的随机过程的统计模型，以及随机过程的特定实现；即一组数据。回归分析在统计中，回归分析是用于估计变量之间关系的统计过程。当关注于因变量和一个或多个自变量之间的关系时，它包括许多用于建模和分析多个变量的技术。更具体地说，回归分析可帮助人们理解，当任何一个自变量发生变化而其他自变量保持固定时，因变量（或“标准变量”）的典型值将如何变化。最常见的是，回归分析会在给定自变量（即平均值）的情况下估算因变量的条件期望自变量固定时因变量的大小。较不常见的是，焦点放在给定自变量的因变量条件分布的分位数或其他位置参数上。在所有情况下，评估对象是一个函数调用的自变量的回归函数。在回归分析中，表征因变量围绕回归函数的变化也很有趣，这可以用概率分布来描述。已经开发出许多用于进行回归分析的技术。熟悉的…

斯坦福大学2019年人工智能指数报告
type: item
date: 2020-01-09T15:41:00+08:00
description: 斯坦福人工智能研究所（Stanford HAI）发布了“2019年人工智能指数报告”（Artificial Intelligence Index Report 2019）。报告显示，欧洲一直是最大的AI论文出版源，2018年Scopus追踪的人工智能出版物中，欧洲的论文比例上升到27%以上。中国发表的论文占全球人工智能文章的比例从2000年的10%增长到2018年的28%。不包括学术界，在中国和欧洲，政府附属机构贡献的人工智能出版物数量最多；而在美国，企业则是人工智能论文发布的主要主体。2018年，中国政府机构发表的人工智能论文几乎是中国企业的三倍。自1998年以来，中国政府发布的人工智能论文也增长了300倍，而同期企业人工智能论文增长了66倍。2018年，美国企业发布的人工智能论文的数量是中国企业人的7倍多，几乎是欧洲的两倍。在所有三个地区，学术论文远远超过政府、企业和医学论文，占中国人工智能论文的92%，欧洲为90%，美国为85%。近年来，专注于人工智能的公司与学术界合作进行研究的情况越来越常见。机器学习（ML）是人工智能领域最活跃的研究领域之一。其中，深度学习（DL）方法近年来变得越来越流行。在arxiv上发表的深度学习（DL）论文的数量在所有地区都在增加。调查发现，2018年北美发表的DL论文数量最多，其次是欧洲。来自东亚的DL论文数量在2018年达到了与欧洲相同的水平。新加坡、瑞士、澳大利亚、以色列、荷兰和卢森堡在arxiv上发表的人均DL论文相对较高。报告下载 - Artificial Intelligence Index Report 2019更多报告斯坦福人工智能研究所从2017年开始，每年发布人工智能指数报告。

Excel 的数据分析工具
type: item
date: 2020-01-08T10:02:00+08:00
description: Microsoft Excel是Microsoft为使用Windows和Apple Macintosh操作系统的电脑编写的一款电子表格软件。Excel最基础的功能是运算和图表的制作，进一步的数据分析功能是函数和数据透视表，还包括VBA和宏等高级数据分析功能。高级的数据分析，也就是涉及统计学的专业分析方法（如回归分析、方差分析和T检验等）和原理的时候，可以求助于SPSS、SAS这类专业的分析工具，但在实际工作中，Excel仍旧可以胜任。数据清洗基础运用描述性统计命令观察数据的离散程度等基本情况：通过添加“分析工具库”加载项找到数据-数据分析-描述统计，可以得到这组数据的中位数、众数、峰度、偏度等基本指标，观察这组数据的特征。此外，数据分析中还有方差分析等其他命令。运用 VLOOKUP 将数据合理分组，收放自如：VLOOKUP 函数是 Excel 中的一个纵向查找函数，可以用来核对数据，多个表格之间快速导入数据等函数功能。功能是按列查找，最终返回该列所需查询列序所对应的值。运用数据透视表分组求平均数、标准差、计数等多个指标：数据透视表是一个非常容易上手的分组工具，对于简单的数据处理甚至在便捷程度上打败了很多编程工具。运用条件函数计算融资缺口，检查配平：比如在预测财务报表时，我们常常要判断资产是否等于负债+所有者权益。此时可以用 IF 函数 （资产=负债+所有者权益，TRUE，FALSE）如果是配平的，直接返回 TRUE。此外，还有一些函数如 IRR 可以计算项目的投资回报率。以下还会介绍到微软的数据清洗神器PowerQuery。数据透视表数据透视表是计算、汇总和分析数据的强大工具，可助你了解数据中的对比情况、模式和趋势。Excel 分析工具库Excel 加载分析工具库和分析工具库 - VBA。如果您需要开展复杂的统计或工程分析，则可使用分析工具库以节省步骤和时间。 为每项分析提供数据和参数，此工具将使用适当的统计或工程宏函数来计算并将结果显示在输出表格中。除了输出表格，某些工具还生成图表。如前述运用描述性统计命令观察数据的离散程度等基本情况，描述性统计命令包含在Excel 分析工具库中。分析工具库 - VBA用于分析工具库的 Visual Basic for 应用程序 (VBA) 函数。Microsoft Visual Basic for Applications（VBA）是Visual Basic的一种宏语言，是微软开发出来在其桌面应用程序中执行通用的自动化(OLE)任务的编程语言，也可说是一种应用程序视觉化的Basic Sc​​ript。VBA主要能用来扩展Windows的应用程序功能，特别是Microsoft Office软件。通过 Excel 的开发工具—Visual Basic 命令，或者快捷键 Alt + F11 可快速打开 Microsoft Visual Basic for Applications 编辑器。Excel 三大数据分析工具Power Query - 数据连接Power Pivot - 数据建模Power View - 数据可视化Power QueryPower Query 是一种数据连接技术，可用于发现、连接、合并和优化数据源以满足分析需要。Power Query 用于搜索数据源，创建连接，然后按照可满足需要的方式调整数据（如删除列、更改数据类型或合并表格）。调整数据之后，可以共享发现或使用查询创建报表。Power Query 的功能在 Excel 和 Power BI Desktop 中可用。M语言是操作Power Query的语言，目前由700多个函数组成。Power Query作为微软的数据清洗神器，适合各种数据转换、处理，可以极大的提升工作效果，从重复单调的工作中解脱出来，从而更有时间去关心更核心的业务分析问题。Power PivotPowerPivot 是一种数据建模技术，用于创建数据模型，建立关系，以及创建计算。 可使用 PowerPivot 处理大型数据集，构建广泛的关系，以及创建复杂（或简单）的计算。PowerPivot 以 Excel 加载项的形式提供，你可以通过执行一些简单的步骤启用。 Microsoft 提供的 Power BI 服务中的 Power BI Designer 内也可以找到 Power Pivot 中采用的基础建模技术。可以在Power Pivot 窗口查看和管理数据模型、添加计算、建立关系以及查看您的 Power Pivot数据模型的元素。可使用 PowerPivot 处理大型数据集，构建广泛的关系，以及创建复杂（或简单）的计算，这些操作全部在高性能环境中和所你熟悉的 Excel 内执行。Power Pivot被称为微软近20年来最伟大的发明，也是PowerBI的…