大数据基础套件（鲁班）-百度AI开放平台

方案概述

百度鲁班是百度提供的面向大数据分析处理的基础套件。主要提供数据仓库、日志分析和数据挖掘服务，另外还包括相应的一些基础服务。百度鲁班底层依赖由计算和存储构成的基础设施服务，可以运行在私有云、公有云和混合云的基础设施环境，同样我们也提供一体机的解决方案。

方案架构

方案构成

百度大数据传输Minos

提供通用的大数据传输服务，负责进行各种异构介质间的数据传输，例如MySQL、HDFS、Kafka、LocalFileSystem等等。业务方可以通过Minos收集这些数据，供离线和在线系统分析使用，从而充分发挥大数据的价值。

了解详情

百度离线处理Pingo

Pingo是统一的批量和流式数据处理系统。它在弹性计算资源管理和优化的数据访问管理层之上，运行优化的Spark计算引擎，提供SQL分析和DataFrame API，支持低延时的流式数据加工和处理，对外提供REST Service任务执行接口。

了解详情

百度数据仓库Palo

全托管的PB级别的MPP架构数据仓库服务，以较低的成本提供在大数据集上的多维分析和报表查询功能。ETL后的结构化数据导入到Palo中，便可以使用业界主流的BI工具进行实时分析和可视化展示，探索数据价值。

了解详情

百度Elasticsearch

百度Elasticsearch是开源的全文检索和分析引擎Elasticsearch的托管服务，提供自动运维和调优，减少客户自行管理基础设施的开销，并完全兼容开源接口，便于您现有业务零成本迁移。

了解详情

百度在线计算IntelliS

一站式大数据在线智能计算平台，助力用户快速搭建模型预测服务、在线特征计算、在线数据服务等。支持HDFS、KV数据库SimpleDB、图数据库GraphDB等多种数据源，帮用户实现从原始数据源到在线集群查询的全流程服务。

了解详情

百度大数据可视化Habo

Habo是一站式的大数据商业智能可视化平台，它集成了多人协作、数据探查、交互式的可视化分析和灵活的作业调度等功能，帮助用户更快、更好的探索海量数据中隐藏的商业价值。

了解详情

场景化解决方案

数据仓库

提供一站式数据存储、处理、分析和可视化的大数据平台服务，内嵌Apache Spark计算框架和Impala的MPP高性能查询引擎，无需经过繁琐的数据ETL/ELT过程，就可以通过一个简单易用方式，进行数据访问、加工处理、探查分析和数据可视化。

了解详情

日志分析

提供完整的日志分析解决方案，覆盖日志收集、存储、分析、可视化展现等环节，能够快速的将存储在不同系统中的日志数据，转化为可以被搜索的事件，帮助企业在统一的系统中快速实现运维监控、危险预警、安全审计、故障排查等业务目标。

了解详情

数据挖掘

内置数据预处理、特征工程，支持机器学习和深度学习等丰富的高层算法和框架，集成知识图谱、用户画像、个性化推荐等功能，覆盖模型训练、预测和部署的全流程。提供一站式、交互式、可视化的数据挖掘解决方案。

了解详情

应用场景

报表平台搭建

Habo底层支持多种数据源，并提供种类繁多的可视化图表，提供了从数据源到报表转化的能力，方便用户快速构建报表平台。

文本检索

文本检索助力企业快速简便地实现对于非结构化数据的搜索功能。在大数据时代，百度提供了私有化及云端的文本检索解决方案，为企业搭建文本检索系统提供指南。

实时特征计算

通过IntelliS助力企业便捷地实现在线的数据特征抽取、Join等计算服务，使企业聚焦于计算逻辑研发，省去部署、运维及服务化的成本，从而快速实现商业目标。

在线模型预测

IntelliS内置多种深度学习模型，便捷的版本管理机制，便于企业快速实现在线预测服务，高效地版本迭代，从而快速实现商业价值最大化。

数据库同步

企业借助Minos，可以轻松实现各种异构介质间的数据传输，以及MySQL等数据库与HIVE或者其他的MPP数据仓库的实时同步。

智能运维

通过日志分析解决方案可以将散落在数千台机器上的日志集中整合，通过强大的查询语言快速的定位故障，更快的解决问题，缩短业务不可用时间，有效的提升服务质量。

业务分析

借助日志分析解决方案，企业可以基于用户访问日志及业务流程日志的采集及分析，更加清晰的了解用户行为特征，更加全面的掌握业务运营状况，构建用户及业务模型，科学把握业务发展方向。

模型开发

借助数据挖掘解决方案，企业可以在特征库中选择所需的特征，尝试不同的模型，并观察模型的评估结果，支持期间频繁增减特征，调整模型参数，多个版本之间对比，最终选择最优模型。