WeDataSphere是一套金融级、一站式、开源开放的大数据平台套件。基础平台由数据交换、数据分发、计算、存储四大层次组成，关注底层数据传输计算存储能力；功能平台由平台工具、数据工具、应用工具三大层次组成，关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系，提供一站式的丰富数据平台组件及功能支撑。
Linkis是一个打通了多个计算存储引擎如：Spark、Flink、Hive、Python和HBase等，对外提供统一REST/WS/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的数据中间件。
Scriptis是一款支持写SQL、Pyspark、HiveQL等脚本，提交给Spark、Hive和Python等计算引擎执行的交互式数据分析Web工具，且支持UDF、函数、资源管控和智能诊断等企业级特性。
更多开源组件，敬请期待...
-
基础能力
基于开源社区的各种开源组件，如：Hadoop、Spark、Hbase、KubeFlow和FFDL等，构建金融级可靠基础计算存储数据交换能力，及强大的机器学习能力。并在开源版本基础上做加法，解决实际应用场景中遇到的安全、性能、高可用、可管理性等问题及各种bug修复。 -
平台工具
提供平台门户、数据中间件Linkis和运营管理系统。平台门户支持产品地图、多租户管控、财务计费、接入方案智能推荐、运营报表和云服务申请；Linkis打造数据中间件，提供金融级多租户、资源管控、权限隔离等能力，连接上层应用和下层计算存储系统，主动填补开源社区和行业空白；运营管理系统涵盖集群管理、配置管理、变更管理、监控管理与服务请求自动化，支持一键安装、一键升级和图形化运维，并提供了预警、健康监测诊断、故障自愈等功能，简化平台的运维过程。 -
数据工具
提供数据地图、数据脱敏工具、数据质量工具和跨Hadoop集群的数据传输工具。数据地图管理全行数据资源，包括元数据管理、数据权限、数据血缘，及开发中的数据质量、数据模型等功能模块。数据脱敏工具支持对高密级数据进行脱敏，避免用户直接接触高密级原始数据。数据质量工具提供一整套统一的流程来定义和检测数据集的质量并及时报告问题。跨Hadoop集群的数据传输工具支持数据传输任务调度、状态、统计、监控等管理工作。 -
应用工具
提供开发探索工具Scriptis、图形化工作流调度系统、数据展现BI工具和机器学习支持系统。Scriptis支持对接多种计算存储引擎，并提供图形化、多编程语言支持。调度系统提供图形化界面做工作流定义和定时调度执行、依赖展示、状态查看、历史统计、监控配置等功能。BI工具支持通过图形化界面拖拽和简单脚本编写，生成各种图报表，同时支持邮件定时发送功能。机器学习支持系统提供多种模型训练调试方式，集成自研的机器学习算法和多种开源机器学习框架，具备异构高性能集群的多租户管理能力。
-
丰富的功能工具
平台工具、数据工具和应用工具的三层工具体系与强大的机器学习能力，构建完整的企业级大数据解决方案 -
两地三中心，跨集群同步
大数据集群数据跨集群、跨IDC之间高效可靠传输，提供完善的数据备份和容灾解决方案 -
安全可靠
统一安全管控，全容器化和微服务化、各层级多租户隔离 -
经纬方向打通孤岛
独有的数据中间件Linkis，打通上下层各系统，使数据血缘、代码通用性、用户资源全部融会贯通。
如果您想得到最快的响应，请给我们提issue，或者您也可以扫码进群：
