解决方案

Solutions

大数据综合处理分析“PaaS+”平台

数据分析处理平台一般可分为数据收集、存储、计算、挖掘和数据可视化展现等几部分,每一部分都有相关的技术支撑,奇观大数据综合应用分析平台也是由采集平台、数据存储、数据计算、数据挖掘、数据可视化几个部分构成。其中数据数据存储、数据计算、数据挖掘、数据可视化于一体的工具,在开源Hortonworks Hadoop生态体系框架之上,基于行业用户需求,集分布式采集、存储、计算和管理于一体,能够为海量的结构化、半结构化数据提供处理与分析。通过云计算技术为大数据的存储和处理提供一个高性能、高可扩展和低成本的平台,面向工业界及其他行业发布。 奇观技术的综合应用分析平台,实际上原始PaaS平台的一次革新,一次升级,称之为“PaaS+”平台。

建设目标

一、DigSpider数据采集系统 DigSpider数据采集系统使用高速并发数据采集技术,既可以满足多种类型数据源的采集,又能够满足海量数据的实时非实时采集。所搭建的统一数据采集平台具有采集实时性、数据结构多样化、插件灵活化、处理并行化等优点。可以根据用户提供的关键字和网络地址进行深度及广度采集。自定义存储格式,可以在线采集也可以离线采集。方便用户获得互联网任何信息。 二、 Pikanet数据分析平台 Pikanet平台提供一站式大数据开发环境和工具,包括数据存储、分布式计算、分析挖掘及数据可视化的整套支持,从而大大降低部署、应用大数据的时间及人力成本。 三、Pikanet平台架构 Pikanet平台所包含的四大模块,分别为多源异构数据整合接入、多维交互计算存储、智脑深度学习数据挖掘和多模态高效数据展示。Pikanet平台基于大数据处理分析的整个工作流,功能模块组件化设计,屏蔽多源异构数据的差异性,提供交互式计算存储能力,加强数据挖掘与深度学习的力度,基于数据多模式、状态高效的展示与知识呈现,开放API编程接口为二次开发及SASS平台的设计提供底层支持。 四、Pikanet分析平台 Pikanet底层数据源可采集各种类型的数据,经过数据清洗、预处理,转移至上层计算存储平台,该平台包含各种现有的数据计算和存储服务,以组件化方式提供使用。用户可以在Pikanet平台上存储、分析、挖掘海量数据及其内在价值,完成整个数据流的相关工作。此外,用户也可以基于该大数据管理平台,开发上层应用,比如,数据可视化、电子商务个性化推荐系统、用户画像标签体系等,通过对数据的深度挖掘和整合分析,有效实现业务提升与创新,创造数据价值。经过计算和存储之后的数据挖局与机器学习平台,提供多种工具集,可一站式完成数据分析任务。顶层数据可视化服务,基于多模式、多样例、多维度进行数据展示与知识呈现。Pikanet平台真正实现了一份数据,一次采集,一次存储,全量分析的系统功效。

Pikanet的主要功能 (1)多数据源整合 面向各类数据资源,可提供统一、完整的数据接入服务,屏蔽多源数据的异构性。 (2)高性能计算存储 基于HDFS文件系统、MapReduce计算框架,可实现高效、快速、安全的计算和存储服务。且通过上层组件方式提供透明化处理,不需要认为进行MapReduce操作和编写,全自动生成。 (3)一站式数据分析处理 以可视化、控件拖拽方式,提供多种数据挖掘、机器学习算法工具集。 (4)多形态结果展示 提供丰富的可视化效果展示平台,灵活的报表展示方案。

平台特点

未来每个行业都会有自己的SaaS服务,具有明显的定制化特征。大数据最为辉煌的时候,即各行各业的SaaS服务相互交织,构成整个大数据产业。助力中国第一、二和三产业的转型、发展和升级,从而使国民经济更加健康和繁荣。在大数据全面向SaaS发展的过程中,更加适用、更加高级、更加灵活的PaaS是最为重要的平台;而且,未来大数据PaaS层的核心会从存储和数据转换接口转向“数据处理”,算法是整个PaaS的重要组成部分。没有算法支撑的PaaS平台不是未来的主流。奇观PaaS+平台应运而生,平台主要特点如下: 1、可以提供接口和工具,接口为计算机专业人士提供开发服务,全面面向SaaS生产;工具为非计算机专业人士提供舞台,可以在这个平台上进行各种大数据活动,核心是算法验证。 2、可以兼容非结构化数据和结构化数据;为前期数据库提供各种访问的透明接口,使用时不需要考虑数据之间的结构差异。 3、可以在IaaS基础上,通过PaaS提供海量存储接口,构成大数据存储核心基础。 4、数据存储、组织、分配、并发等完全透明化,使大数据开发者或用户更加关注SaaS的特性。

适用场景

奇观PaaS+平台适用范围非常广泛,目的是助力高校教学及科研、企业SaaS平台算法验证与开发等场景。并且,内置多种科研及开发案例,减少高校或企业的研发投入成本。尤其是不关注架构构成的非计算机技术的单位或个人,完全可以将奇观PaaS+平台作为一套完整的工具使用。