酷玛DS - 2018年12月
type: channel
link: https://www.culmart.com/ds/2018/12/
description: 酷玛实验室数据科学和人工智能
items: 2019 年关于数据科学、机器学习和人工智能的五大预测
items: 商业智能（Business Intelligence, BI）

2019 年关于数据科学、机器学习和人工智能的五大预测
type: item
date: 2018-12-17T15:51:00+08:00
description: 每年的这个时候，我们都会回顾过去，展望未来。对于数据科学、机器学习和人工智能来说，则是看看什么趋势会加快、什么事情会真正发生、什么事情在未来一年不会发生。我们一整年都在观察和报道这些趋势，并且我们搜索了网络，咨询了我们的一些专家以了解其他人的想法。以下是我们对2018年预测的快速回顾。我们曾预测：模型制作和数据准备都将变得越来越自动化。更大的数据科学操作将汇集到单个平台上（有很多可用的平台）。这两个趋势都是对追求效率和效益的响应。简而言之，就是少数几名数据科学家可以做许多科学家的工作。预测正确。无代码数据科学正在崛起，高级分析平台中端到端的集成也是如此。我们曾预测：数据科学将越来越专业化，这意味着神话般的“全栈”数据科学家将消失。预测正确。现在谈论更多的是数据工程师而非数据科学家。数据工程师是让数据科学模型在现实世界中工作的那些人。我们曾预测：非数据科学家将比数据科学家做更多相当复杂的分析工作。预测正确。数据可视化和可视化分析技术的流行，让非数据科学家可以从复杂的数据科学工具中获取更多价值。我们曾预测：深度学习是复杂且艰难的。没有很多数据科学家专长于此领域，这将阻碍人工智能的应用，直到深度学习平台明显地得到简化和产品化。微软和谷歌都于 2018 年推出了自动化深度学习平台。这些平台都是从迁移学习开始，但在向着全面 AutoDL 的方向发展。还有一些整合了 AutoDL 平台的初创企业。今年早些时候，我们考察了具有全面 AutoML 和 AutoDL 平台的 OneClick.AI 。Gartner 最近提名 DimensionalMechanics 为具有 AutoDL 平台的“5 大酷公司”之一。我们曾预测：尽管有炒作，但人工智能和深度学习在更广阔市场的渗入比我们想象的更有限而且速度也更慢。除了聊天机器人的出现，真正的人工智能在企业中的应用是有限的。它们在实现的路上，但还未完成。我所见过的最全面的研究表明，只有 1/5 或 1/3 的大型企业在“大规模”地实施人工智能，这意味着他们在实施全场紧逼战术，给对手以最大的压力。在规模小一点的公司中，这样的公司所占的比例要小得多。我们也不能真正确定它们是否意味着“真正的”人工智能。我们曾预测：公众（和政府）将会认真看待人工智能对社交和隐私的影响，包括有意和无意的影响。只要看看新闻和报道，那些顶级社交媒体的高管们被政府和欧盟召唤去参加听证会。开始看起来像游街示众。政府将开始监管，如果不在联邦政府层面，那么会更加混乱，每个州各行其是，如即将生效的加州隐私规定或澳洲的强制性反加密要求。因此，我们去年的 6 个预测都实现了。尽管去年的很多预测对明年来说也有效，但是，我们打算做得更具体些。以下是我们对 2019 年的趋势预测。预测1：数据变得比算法更重要无论是在深度学习还是在经典机器学习领域，我们已经有 1 年多时间没有取得任何重大突破。有一些渐进的改进，比如，利用时间卷积网络（Temporal Convolutional Nets，简称 TCN）而不是 RNN 来减少 NLP 中的延迟，但是没有重大创新。性能最好的算法都是众所周知的算法，或者利用自动机器学习很容易发现。随着各个企业踏上数字化转型之旅，拥有更多更好的数据是成功的关键，而我们正处于这样的时期。实际上，这给向不同方向发展的数据相关的解决方案提供了竞争机会。一方面，获取准确标记的图像或文本训练数据仍然相当昂贵和耗时。像 Figure Eight 这样专注于标记数据的公司正在推广智能成本效益策略，如：主动学习，它让客户决定标记数据和模型准确性之间的最佳权衡。这涉及添加人工标记或机器标记数据，然后重新训练，通过多次迭代以找到最佳权衡。另一方面是对第三方数据的访问。像 DymstData 这样的服务公司已经进入了该领域，作为数百种附加数据的结算机构。他们还承担着保护敏感 PII 这个任务繁重的角色，其用户能够基于角色以访问在金融和健康服务领域特别重要的敏感信息。第三个方面是自动跟踪和记录模型中所用的数据源。特别地，当集成来自很多数据源并随着时间而变化的流数据时，了解数据的来源以及如何使用数据，对准确性和合规性都至关重要。Tibco 和其他一些分析平台正在引入这个功能。围绕数据的服务产品今年今年有望大幅增长。预测2：随着人工智能 / 机器学习从分析平台转移到特定于行业或流程的应用程序，一切都将变得更容易。纵观人工智能 / 机器学习初创企业的世界，就能看出竞争正在转向特定于行业或流程的应用程序。这些应用程序或迷你平台专注于解决行业中特定的业务问题，如市场营销、B2B 销售、医疗保健、金融科技以及其他大约十几个已经明确定义的领域。要想有一个快速地了解，请参考下图（CB Insights 年度人工智能 100 家优胜者）以及他们按行业或流程进行分…

商业智能（Business Intelligence, BI）
type: item
date: 2018-12-02T11:26:00+08:00
description: 商业智能（Business Intelligence, BI），又称商业智能或商务智能，指用现代数据仓库技术、在线分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能一词最早出现在 Richard Millar Devens 的《商业和商业轶事百科全书》（1865 年）一书中。该书描述了银行家Henry Furnese 爵士如何通过对其收集的数据进行结构化分析来击败竞争对手。1958 年，IBM 计算机科学家 Hans Peter Luhn 撰写了一篇文章，描述了通过使用技术收集商业智能的潜力。商业智能的概念经由Howard Dresner（1989年）的通俗化而被人们广泛了解。当时将商业智能定义为一类由数据仓库（或信息市集）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。当前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商数据及来自企业所处行业和竞争对手的数据，以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策既可以是作业层的，也可以是管理层和策略层的决策。为了将数据转化为知识，需要利用数据仓库 (data warehouse)、在线分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它只是ETL、数据仓库 (data warehouse)、OLAP、数据挖掘 (data mining)、数据展现等技术的综合运用。把商业智能看成是一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。定义商业智能可以定义为一系列商业活动行为的数据收集与信息转化作业，透过持续性的过程，搭配技术进行测量、管理与监测，能够容易分析、综合营运及策略的定量化信息应用，即时且交互的对企业的关键性的衡量指针进行评估，进而发觉企业面临的潜在问题或机会，促使用户能够运用大量而完整的信息，进行交叉分析并了解其中趋势，协助企业制订出最佳的策略主题与策略目标的一种决策支持的工具。BI技术运用数据分析：Power BI, Tableau, Smart eVision数据仓储：Teradata Aster Data, EMC GreenPlum, HP Vertica数据集市：QlikView, Tableau, Yonghong Data Mart数据采集：KettleOLAP（分布式数据分析）决策支持系统企业导入BI的优点随机查询动态报表掌握指针管理随时在线分析处理可视化之企业仪表版协助预测规划导入BI的目的促进企业决策流程（Facilitate the Business Decision-Making Process）：BIS增进企业的信息集成与信息分析的能力，汇总公司内、外部的数据，集成成有效的决策信息，让企业经理人大幅增进决策效率与改善决策质量。降低整体营运成本（Power the Bottom Line）：BIS改善企业的信息获取能力，大幅降低IT人员撰写程序、Power user制作报表的时间与人力成本，而弹性的模块设计接口，完全不需撰写程序的特色也让日后的维护成本大幅降低。协同组织目标与行动（Achieve a Fully Coordinated Organization）：BIS加强企业的信息传播能力，消除信息需求者与IT人员之间的认知差距，并可让更多人获得更有意义的信息。全面改善企业之体质，使组织内的每个人目标一致、齐心协力。BI的延伸社会型BI（Social BI）移动BI （Mobile BI）云技术型BI（BI in the Cloud）