先进云计算平台 xCloud

先进云  xCloud 2.0  是中科院深圳先进技术研究院云计算研究中心自主研发的一体化云服务平台，面向企业和社会提供安全、可靠、高效、节能的云计算管理，服务、应用和检测的完整解决方案。

xCloud云计算平台旨在构建支持异构服务及其运行系统地的弹性云平台，提供对包括IaaS、PaaS和SaaS在内的支撑管理功能。同时，xCloud还提供跨层次的资源管理机制，以提高云计算环境各资源的利用率；提供跨层次的全局性能监控机制，以实现全局性能优化策略。xCloud的设计目标可总结如下：

•  针对IaaS类型服务，提供数据中心机器的信息收集管理功能；提供虚拟机资源的动态构建、配置、迁移和控制等管理功能；同时提供对存储、网络等资源的虚拟化服务；提供服务运行系统的自动部署及资源弹性分配机制；

•  针对PaaS类型服务，提供各种平台系统（集群系统）的自动部署、配置、运行和回收功能；提供集群规模的动态扩容收缩功能；实现集群系统的资源按需分配和集群之间的资源共享功能；

•  针对SaaS类型服务，提供各种异构应用运行的支撑环境，包括对不同类型复杂应用的运行时支持，对不同应用资源调度策略的支持等；

•  通过实现不同级别管理域之间的接口，实现跨级别的资源管理机制，在私有云域和公有云域之间、集群系统之间以及各平台应用之间实现资源的共享；

•  提供不同级别管理域内的监控进程，实现各级别管理域内的监控机制；提供统一的监控模块，收集各级别管理域内的监控信息，以实现系统级别的监控功能；

•  提供各管理域内管理模块接口，通过系统级别的监控模块，实现系统级别的自主控制功能。

针对以上设计目标，xCloud计算平台拟依赖于底层分布式文件系统，分别实现基础资源（虚拟资源）管理模块、集群系统管理模块。基础管理模块（Infrastructure Manager-IM）负责基础资源和虚拟化资源管理，集群资源管理模块（Cluster Resource Manager-CRM）负责集群系统管理，系统性能监控模块（System Performance Monitor and Controller-SPMC）负责系统级性能监控和调节。同时，在基础资源管理模块和集群系统管理模块之间，提供资源申请、供应等管理接口，实现跨模块的资源共享。分别在集群系统管理模块和基础资源管理模块内部，提供模块性能监控机制，以便于实施各种性能调节策略。在模块外部，提供统一的信息监控模块，通过集群系统和基础资源管理模块中的性能信息收集接口获取系统性能信息，并通过各模块的控制接口进行系统级别的参数调整，从而为实现云平台自主监控和管理提供基础机制。

xCloud平台的总体设计方案如下图所示：

云计算弹性资源管理系统 xVem

系统目标：通过自动部署、虚拟化等手段，实现数据中心云资源的动态分配与弹性管理，提高运维管理自动化水平与资源利用率。

系统描述：物理服务器管理子系统提供服务器的动态分配和分区弹性扩容、服务器热插拔等管理功能，实现了数据中心物理服务器管理部署自动化。<br/>虚拟资源管理子系统提供常用的虚拟机、虚拟网络的创建、迁移、销毁等管理功能，虚拟集群的创建、管理以及应用自动部署服务。通过混合管理和自动调度机制，融合不同虚拟机支撑平台所提供的服务，具有良好的可扩展性和兼容性，为实现快速扩容和弹性管理提供了便利。

系统特点

•服务器动态分配与分区弹性扩容

•分区管理平台节点自动部署

•提供开放的分区管理操作API

•虚拟机及虚拟网络的常用管理功能

•虚拟集群服务提供和软件自动部署

•异构虚拟机支撑平台的快速融合与兼容

•虚拟机绿色调度与自动迁移

云计算大规模集群监控系统 xMon

大规模集群监控系统xMon通过高效的信息收集、处理与存储框架，对集群秦广、服务器CPU、内存、网络、磁盘IO等系统参数进行了全面的收集与存储，并提供对信息的实时监控与告警功能。xMon采用插件化设计方式，通过开放的API可以方便地对监控对象和采样参数进行扩充，如采集虚拟机相关参数、Hadoop等集群平台相关参数等。

系统的主要特点在于：

1、灵活构架。可扩展到多个层次的监控。监控节点也可任意扩展。

2、支持大规模数据分析。采用NoSQL数据库，支持进行大规模数据的MapReduce分析。

3、完善的功能。实现了集群分析、监控、报警、数据持久化等多种功能为一体。

4、监控项多。对物理机与虚拟机同时实现了实时监控。监控项目超多40多个。

5、高效性。轻量级守护进程在对集群不造成压力的情况下实现了动态多功能监控。

混合大数据分析引擎xDB

系统目标：xDB通过提供海量数据的实时查询和统计分析融合功能，实现了一种大数据分析时代的流式处理和批处理的混合数据查询引擎，为用户提供了便捷的通用化数据自动配置、自动数据载入、部署、分析和查询等一系列功能，提高了大数据查询处理的通用性和自动化水平。

系统描述：xDB旨在实现一种查询处理引擎以适应大数据的实时流式处理和批处理。xDB采用了主流的技术，其中批处理模块基于MapReduce和并行关系数据库技术，集合了关系型数据库的数据处理能力与Hadoop、MapReduce等优点于一身，取得MapReduce等大规模并行数据处理的容错性和可扩展性，同时结合了分布式关系数据库的执行速度，获得了快速批量数据处理的能力；实时数据处理部分主要基于Storm分布式容错实时计算系统，具备编程模型简单、可以支持多种编程语言、良好的容错性和水平扩展能力、可靠地消息处理机制以及快速的处理能力等优点，同时实现了数据的自动接入、通用数据查询和自动保存，避免了针对不同任务增加Bolt、不保存原始数据等的原有系统缺点。

xDB主要特色还在于对现有先进技术进行了技术改进和创新，增加了自行设计和研发的通用化、自动化和持久化子模块，实现了多源数据解析、数据自动载入和更新、查询优化等功能，增加了数据处理的通用性，减少数据前期预处理和手工操作的时间损耗，提高了整个模块的自动化程度，同时实时流式处理模块为批处理模块提供了结构化数据存储，使得实时流式处理和批处理可以更好地融合，实现相互协调统一的查询处理引擎。

系统特点：

•提供通用化配置接口

•数据载入自动部署

•适用多数据源解析处理

•高效灵活的查询处理分析接口

•兼具流式处理和批处理分析功能

•良好的可扩展性和容错性

交通大数据分析 xTraffic

概况：中国科学院深圳先进技术研究院目前拥有多年连续的交通相关数据，包括深圳市公共交通相关的“实时”浮动车数据、公交/地铁智能卡数据、出租车交易数据路网、地图等数据。

数据格式如下：

1）Smart card Data</strong>

• Format: Smartcard ID, Time, Transaction type(31-Bus Boarding ;21-Subway Swiped-In ;22-Subway Swiped-Out ), Metro Station or Bus Line

• Sample: 000000064,2013-10-22 09:49:33,31, M441

（2）Taxi GPS Data and transaction data</strong>

• GPS data format:Taxi ID, Time, Latitude, Longitude, Occupancy Status (1-with passengers ;0-with passengers), vehicle type(0-fuel vehicle ; 1-electric vehicle)

• GPS data sample: 22223,2013-10-22 08:49:25,114.116631,22.582466,0

• Transaction data Sample: 22223, 2013-10-22 08:49:25, 2013-10-22 08:59:25, 312</div>

（3）Bus Data     

• GPS data format: BUS ID, Time, Bus Lines, Longitude, Latitude

• GPS Sample:55640,2013-10-22 09:13:16,03950,113.890800,22.580256

• Bus line format: line name, direction, station number, station name, order number, Latitude,Longitude

• Bus line Sample: 10,1,XBUS,00008640东湖客运站,1,22.568865,114.142179

• Bus station format: station number, station name, Longitude, Latitude

• Bus station sample: XBUS,00000001,大兴果场 ,113.925378,22.607783

（4） Road data  </strong></p>

• Format: shp  Please refer to https://en.wikipedia.org/wiki/Shapefile

部分样本数据：<a href="http://183.62.196.10:28080/dataset/"><font color="red">点击下载

数据版权归中国科学院深圳先进技术研究院所有。开放的数据源仅限于查看、学习。

对于以合法商业或学术研究等为目的需要更多数据，请联系数据提供方。

地址：深圳市南山区西丽深圳大学城学苑大道1068号

邮编：518055

电子邮箱：jj.zhao@siat.ac.

移动电话：18575560928 赵老师

一体化数据管理平台 xData

平台特性：

•  高扩展性：后台基于云平台搭建，支持PB级数据存储

•   高可用性：支持数据实时处理及离线统计等多样化处理

•   高可靠性：先进的热备份策略，保证数据零丢失存储

•   高安全性：安全可靠的加密保密协议及访问控制功能

先进云网盘 xDrive

xDrive是一个典型的云存储应用，能够提供目前市场上大多数网盘产品的典型功能，包括文件管理，文件共享，外部链接，同步等。此外，基于后台xStor的先进云存储方案，xDrive可以确保用户数据的安全和可靠。用户可以选择通过web浏览器或者手机客户端访问xDrive云端存储，并实现云端与客户端的同步。

先进云存储系统 xStor

提供云应用在线开发环境与用户云应用自动部署、监管功能，方便的一站式应用创建与发布，提高了资源利用与服务管理效率。

云存储系统xStor主要特点包括：

• 实现统一存储空间，全局统一命名空间,支持NFS，iSCSI和POSIX等多种访问接口

• 线性扩展能力，实现无缝的容量及性能的扩展

• 弹性分配与管理，按需动态扩展存储空间

• 一致性混合云存储，支持不同应用类型，适应不同数据访问特点

• 自主管理，各类资源故障处理与修复通过自主管理机制自动完成

高效节能的先进云 xGreen

系统目标：从“机架－机柜－服务器”三个不同的层次提供资源管理与负载分配的节能策略，在保障应用服务质量的同时，全方位的减少数据中心制冷与计算能量的浪费。

实时出行云服务系统 xGo

系统目标：有效整合出行者并发需求与出租车动态行运信息，提供动态实时的交通信息查询和出行规划服务，提高城市公共交通系统的综合运营能力。

系统描述：xGo由xData数据分析仪，Taxi服务器及xGo终端三部分组成：

•xData运行在xNebulae平台，实时分析和处理过万辆出租车的GPS数据，准确过滤噪点并使用智能栅格技术，挖掘实时路况信息，历史热点区域和司机驾驶行为特点，分析道路流量之间的相关性，预测路径流量，为出行者提供出行规划服务。

•Taxi服务器提供信令交互服务，将用户需求翻译为相应的并行操作，并将云计算结果以可视化方式展现给用户

•用户通过智能手机终端与云平台交互，能够实现实时交通信息查询、出租车在线预定和拼车等服务。

系统特点

•海量数据实时处理，支持高并发请求的高可用性和可靠性；

•实现交通信息的实时查询，包括实时路况信息查询，出租车位置查询，乘车热区查询等服务；

•实现自适应实时路况的路径推荐功能；

 •出租车在线预定服务，根据乘客当前位置，实时分配和预定附近空车，解决打出租车难问题；

•实现多人拼车功能，智能规划拼车时间、位置和行驶路线。

云应用开发部署引擎 xNape

系统目标:提供云应用在线开发环境与用户云应用自动部署、监管功能，方便的一站式应用创建与发布，提高了资源利用与服务管理效率。

系统描述:云应用开发部署系统使用灵活的调度和分发机制，实现了云服务在集群中的资源匹配、调度、部署、执行、回收等过程的自动化，取代了传统应用手工部署方式，提高了资源利用率及服务管理效率。xNape通过不同的调度策略，提供对传统批处理作业、实时在线服务的部署支持，并与Hadoop系统对接提供MapReduce任务的处理支持。xNape系统还与移动代理（Mobile  Agent）平台结合，提供了移动云代码程序的开发接口（Naplet API）、基于web的编程界面和运行环境，打造了新型的移动代码云应用的完整开发环境。

系统特点:

•提供基于移动代码的云应用开发接口

•基于移动代码应用的自动调度与部署

•云服务的自动部署与运行

•支持批处理与实时作业调度

•可扩展支持Hadoop、MPI等类型任务

•开放的调度策略配置

•提供开放的作业管理API

健康云系统xHealth

系统目标：健康云系统(xHealth)通过大规模健康数据的存储、管理、共享及知识挖掘，从“高效，实时，低成本”三方面入手，在支撑层、智慧层、服务层、应用层等各层次构建智能健康云数据中心技术体系，推动全民健康保障发展。

系统描述：健康云系统(xHealth)覆盖深圳全市58家公立医院及634家社康机构共1600多万人的健康档案，诊疗数据超过10亿条，全年门诊量7900多万人次。系统通过海量结构和非结构化数据的存储管理，挖掘健康数据病理、症状与诊断的相关性，使用大规模数据实时处理技术，可信健康云服务与自主管理技术 ，健康数据隐私保护与知识共享技术，实现对医疗数据的整合利用，推进云计算在医疗服务领域的创新应用模式。

系统特点：

•海量健康数据的存储与管理，包含多种异构和非结构化数据，提供数据的标准化管理，稳定可靠的数据存储和交换技术；

•百万级并发的实时响应和高效精准的多集群海量数据实时检索查询功能，具有高可扩展性；

•健康数据隐私保护与知识共享，使用分布式匿名化技术保护用户隐私，不破坏数据的关键信息和关联性；

•可信健康云服务与自主管理提供用户高可靠性，高安全性，低成本高效的个性化健康服务。

云服务综合检验检测平台以云计算的构件、平台和服务的检测技术研究为切入点，突破和掌握云计算系统与服务对安全可靠、高效节能和互联互通的检测理论、方法和技术，通过集成创新形成一体化的检测技术体系，研发相应的支撑工具与平台，提供开放基础架构、云服务聚合器、在线基准测试程序等资源，方便用户通过web等界面以部署私有云等方式，对其现有的云服务和云系统进行服务性能、云互联互通等测试与测评。

平台主要特点

•     安全可靠性测试与保障

•     高效节能测试与增强

•     互联互通测试与支撑

•     云服务智能聚合

•     标准化基准测试程序集

•     开放的综合测评平台服务

北斗时空服务平台依托深圳先进技术研究院核心团队及其技术积累，发挥国家超算中心深圳节点的硬件平台优势，通过整合移动通信网络和互联网资源，实现海量时空数据的协同化管理，建设自主可控的海、天、地一体化北斗卫星导航时空服务平台。

北斗时空服务平台为广泛应用提供服务支撑，能够有效促进卫星导航、云计算、移动互联网等产业的升级转型和产业融合，构建良好的北斗导航应用生态体系。

平台功能

•     车辆船舶管理:提供高精度的车辆定位、状态监控、导航及停车诱导、轨迹与驾驶行为分析等可定制海量数据挖掘服务

•     公共事务管理:提供统一的位置服务和数据共享平台，为 智能交通、智慧物流、应急救援、公共安全等服务提供有力保障

•     个人位置服务:提供三维导航、移动位置搜索等个性化、大规模服务支撑

物流行业大数据分析解决方案

以北斗/GPS导航技术为基础，利用北斗位置服务平台通过对海量位置服务信息、实时物流车辆信息的采集，针对物流车辆的海量GPS轨迹数据进行分析挖掘，构建智慧物流信息化分析管理平台，提供百万级货运车辆的安全监控、高效管理和智能数据分析能力，实现货运车辆运输过程透明监控调度服务、司机驾驶行为分析、在线运力分析等物流运输行业的增值服务，有效促进物流行业的转型升级，提高物流行业的运行效率，降低能源消耗。

交通行业大数据分析解决方案

云计算中心联合深圳市交通运输委员会，以北斗/GPS导航技术为基础，集成道路、公共交通基础信息、手机定位、地铁刷卡、公交刷卡、出租车GPS、长途客运GPS等海量城市时空动态交通数据，利用交通大数据分析平台对海量位置服务信息、实时交通信息的采集，针对交通安全、交通拥堵及交通信息数据庞大等问题，改变现有交通管理模式，提供车辆与道路智能一体化的有效途径，建设智能交通信息平台，并结合相关测控技术，实现掌控交通流量动态，并对现有交通监控及交通服务基础设施优化与改造，完善交通诱导能力，优化道路交通状况的功能。

通过无线通讯将车辆与车辆及车辆与管理中心之间进行互联，实时接收交通状况和道路状况信息,向交通管理系统反馈自身位置，以实现交通准确、高效、安全和智能化，从而实现公交车、出租车及其他特种车辆的定位服务、实时监控、突发事件处理以及调度疏导，全面提升道路交通管理效率及交通智能化管理水平。

北斗快信

北斗快信：云计算研究中心协助深圳市交通运输委员会构建交通云数据分析平台。该平台以智能交通建设应用需求为核心，分析挖掘海量交通数据，支持辅助决策和规划，实现创新的数据服务模式，推动深圳市智能交通云建设。

主要功能：

• 北斗终端之间的消息互通

• 北斗终端与手机之间的消息互通

• 北斗与管理平台之间的消息互通

• 离线好友位置的显示

• 轨迹点记录及回放

• 紧急救援信息的上报及转发

• 扫一扫：可将被扫描物信息及当前位置信息上报服务平台