通过Snowflake和Plotly的Dash,将机器学习和大数据融入实时商业智能

2020年6月5日
通过

[本文最初发表于R -现代数据,并对188bet app]. (您可以在此页面上报告有关内容的问题金宝搏网址这里)
要共享R-博客内容?188bet app188bet app 如果你有一个博客,或这里如果你不这样做。

商业智能(BI)是许多(即使不是大多数)现代组织不可或缺的工具。BI涵盖了从数据挖掘到报告的所有端到端活动,所有这些活动都是以协助关键业务决策为核心目标进行的。

BI有多重要?这张谷歌趋势图显示了它在过去五年的搜索流行度,从中可以看出它的流行度。

谷歌趋势数据 - BI VS机器学习

这张图表显示,在过去五年中,商业智能的搜索量有了稳定而可观的增长。事实上,它一直保持在甚至高于机器学习的容量,机器学习是另一个经常支持BI活动的关键业务能力。

现代BI活动已经发展到几乎认不复杂的形式,即使自1990年代或2000年代,从来没有介意使用大型计算机上世纪50年代和60年代的萌芽天。

很简单,商业智能就在这里,它与大数据领域紧密相连。

例如,看看客户的反应或竞争对手的活动监控。

如今,自然语言处理(NLP)工具可能被部署来分析和分析数以百万计的跨多个平台的社交媒体帖子,更不用说新闻稿、网站和在线论坛了。或者,可以构建内部系统来搜索和分析包含文档、电子邮件、内部聊天日志和客户反馈中的数千万文本的内部文本数据集。

简单地说,商业智能在这里留下来,这是大数据的域和真正交织;它的必然结果一直是机器学习/ AI工具现在不可磨灭的联系为他们在分析数据的数量庞大的必要性。

在BI活动日益复杂的一个副作用已增加的需求为那些建筑的底层基础设施,如数据管理平台。事实上,许多企业这些天一直回避建立自己的解决方案联系外部服务提供商,如雪花来满足他们的数据仓库需求。

雪花

雪花-概述

Snowflake是领先的数据仓库服务提供商之一,提供“接近零维护”服务,并为客户提供独特的去耦合、“接近即时”的可扩展性。这意味着Snowflake的计算能力或存储是独立可伸缩的,允许用户根据需要将一个或另一个向上或向下缩放任意长(或短)时间。

由于这些原因,Snowflake在数据管理和仓库领域非常流行。

但是,收集数据和快速访问数据只是难题的一部分。为了实现BI帮助业务决策的目标,必需的系统必须有效地分析最新和最大的数据集,并随后将其关键发现传递给相关的利益相关者。换句话说,它需要底层数据、分析层和用户界面之间的紧密集成。

配对Plotly的仪表板与雪花

短跑我们在设计时就考虑到了这些目标,这就是为什么它是像雪花这样的优质数据服务提供商的天然合作伙伴,不仅提供普通的、静态的、BI,而且提供集成的、响应性的BI系统,包括机器学习分析层。Dash不仅仅是一个可视化现有数据的简单工具,而是一个用于机器学习和数据科学模型的集成用户界面层。

短跑和雪花之间的婚姻成功的例子都可以在此看到Dash应用程序演示,旨在搜索和亚马逊分析了五十多万用户评论。

破折号/雪花驱动截图BI应用

此应用程序允许用户对基础数据集执行搜索,并分析审阅文本,无论是来自搜索结果还是由用户手动键入。

当用户更新过滤器或执行搜索时,Dash将查询发送到Snowflake,Snowflake在不到眨眼的时间内从50万条记录中返回搜索结果(几十毫秒内)。然后,Dash将返回的结果集生成一个仪表板报表,其中不仅包含宏级别的统计信息,还包含自然语言处理分析输出,这些输出是动态生成

换句话说,Dash驱动的BI dashboard不仅可以包含实时数据,还可以包含实时机器学习分析层。

对于传统的系统,数据库、数据分析和仪表板输出必须由不同的个人或部门分别更新。将这些组件组合起来,建立一个与Dash和Snowflake相同的系统,将需要更多的时间和成本,更不用说它会很慢,而且容易出现错误或不一致,因为有些管道更新速度比其他管道更快。

短跑动力BI仪表盘可以将不仅实时数据,但现场机器引擎盖下学习分析层。

Dash可以帮助集成这些组件和自动化中间任务,从主数据库中提取显示的数据,并实时运行所需的分析或ML模型。这确保了整个组织是一致的,并使用来自一个数据集的共同基础真理。

通过将Dash与Snowflake连接,分析输出将始终是最新的,并与主要数据同步;不需要进一步的中间处理,在部门之间来回传递数据,以及单独更新应用程序。请查看正在运行的应用程序:

破折号在动作 - 响应滤波&NLP输出(应用程序)

正如动画所示,Dash应用程序通过触发一系列进程来响应用户的输入,从向雪花传递查询开始,然后处理返回的数据集。

应用程序在后台进行统计分析,更新相应的图形,并触发用于情绪分析和命名实体识别(NER)的NLP分析。

当然,Dash很容易定制。在上面的动画中,您可以看到多个输出同时更新,应用程序的多个或少个输出可以由特定的输入触发。

下图显示了从审查取出由过滤后的结果集,或者点击随机审查通过对命名实体的一个用户执行新的搜索。再次,新的评论被填充,自动触发短跑运行NLP引擎查找名为实体,在结果中显示在他们面前。

获取数据并触发NLP分析(应用程序)

除了像滑块,下拉菜单和按钮,短跑支持更高级的交互的可能性,如自由格式文本输入的即时处理与实时模型执行简单的BI-式控制。为了证明这一点,在此应用程序的用户甚至可以在自己的审查显示在下面的动画类型。一旦用户完成输入和点击从文本框离开,短跑再次引发情感分析和NER分析,更新的结果。

触发NLP上用户输入的数据进行分析(应用程序)

它不仅是单纯可能的要使用Dash构建这些可重复的分析层来简化分析和报告,实际上非常容易。秘诀就是利用Dash的优势打回来函数换到输入和输出的功能,例如改变到滤波器参数到输出曲线图。

编写回调函数来更新仪表板元素只需要几行代码;下面是一个例子:

@app。回调(Output(' file -ner-count', 'figure'), [Input(' file -params', 'children')])返回图

此,并且到输出元件的参考,是所有需要用于短跑函数来检测的更新搜索参数和更新仪表盘上的相关图表。

Dash允许数据科学家用他们喜欢的语言(如Python、R或Julia)以及前端对分析模块进行编码,这一点非常重要。别小题大做,小心。

我们已经看到,Dash使许多数据科学团队能够控制整个数据仪表板,而不是构建分析或机器学习层,并将输出交给单独的前端工程师。

通过将Dash与强大的服务(如Snowflake)结合使用,您和您的组织可以充分利用所有的投标数据,同时最大程度地减少分析和沟通所涉及的麻烦、不一致性和劳动。

如果你已经做了这么多,还没有看到这款应用的实际应用——你还在等什么?去看看。

我们很高兴看到您使用这些工具构建了什么,并期待看到来自我们社区的惊人创造令人难以置信的,创造性的冲刺用户。如果您想了解更多有关Dash及其功能的信息,请查看我们的金宝搏网址每周现场演示!

发表评论对于作者,请点击链接并在他们的博客上发表评论:R -现代数据

188bet appR-bloggers.com提供了每日电子邮件更新金宝搏网址 R有关的新闻和教程金宝搏网址金宝搏网址 还有很多其他的话题。如果你正在寻找一份R/data-science的工作,请点击这里
要共享R-博客内容?188bet app188bet app 如果你有一个博客,或这里如果你不这样做。



如果你走到这一步,为什么不订阅更新从这个网站吗?选择你的味道:电子邮件,推特,1188bet app,或脸谱网

评论已关闭。

搜索R-blo188bet appggers

赞助商

永远不要错过更新!
订阅R-博客188bet app接受
包含最新R文章的电子邮件。
(您将不会再看到这条消息。)

单击此处关闭(此弹出窗口将不再显示)