分布式框架,分布式图计算框架有哪些？

分布式框架,分布式图计算框架有哪些？详细介绍

本文目录一览： Hadoop分布式计算框架是______

【答案】：MapReduce与HDFS
解析：Hadoop计算框架是出现比较早的一个分布式计算框架，它主要是基于Google提出的MapReduce的开发模式下一个开源实现功能非常强大的分布式计算框架，由Java开发完成。Hadoop分布式计算框架包括两个部分，计算框架MapReduce与用来存储计算数据的存储框架HDFS(HadoopDistributed File System)。MapReduce是一种计算架构设计，利用函数式编程思想把一个计算分成map与reduce两个计算过程。分布式文件系统HDFS，它是一个基于分布式的对大文件进行存储的文件系统。

常见的分布式网络爬虫架构有什么？

Python很适合做爬虫，丰富的第三方库十分强大，几行代码便可实现你想要的功能，常用的架构有以下几个：
1、Scrapy
提取结构性数据而编写的应用框架Scrapy。 主要应用在数据挖掘，信息处理、存储历史数据等程序。
2、Beautiful Soup（bs4）
可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档。
3、selenium
自动化测试工具Selenium，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流浏览器。
4、Portia
可视化爬虫工具Portia，基于scrapy内核，可视化爬取内容。
5、cola
分布式的爬虫框架cola，任务会自动分配到多台机器上。
6、PySpider
纯国产框架PySpider
常见的分布式网络爬虫架构有以下几种：1. 基于Master-Slave架构：其中Master节点负责任务调度和管理，Slave节点负责具体的数据采集任务。Master节点将任务分发给各个Slave节点，并收集和整合采集结果。2. 基于分布式队列的架构：将待采集的URL放入一个分布式队列中，多个采集节点从队列中获取URL进行采集。采集完成后，将采集结果存储到数据库或其他存储介质中。3. 基于分布式存储的架构：将采集到的数据存储在分布式存储系统中，如Hadoop、Elasticsearch等。采集节点通过分布式存储系统进行数据的读写操作。4. 基于P2P网络的架构：采集节点之间通过P2P网络进行通信和数据共享，每个节点既是数据的提供者，也是数据的消费者。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据，八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置，帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情

淘宝底层技术框架，如何实现网站的分布式负载均衡？

对于大型网站而言，随着流量的暴增，单一服务器是无法抗住高并发的，所以大型网站都是从最初的单一架构演变为集群分布式架构。淘宝网作为数一数二的电商平台，它开发了很多底层技术框架以适应日益发展的需要。
什么是分布式与负载均衡？1、分布式
分布式是将一个完整业务拆分为多个子业务（或者本身就是不同的业务）部署在不同服务器之上，比如用户系统、订单系统、商城系统分布部署在不同服务器上。
还有一个概念容易和分布式混淆，那就是集群。集群强调的是同一个业务部署在多台服务器之上。
集群模式下，多个节点中的某个节点挂了是不会影响整体业务的；而分布式环境下若某个节点挂了则可能会影响某个业务（实际上不会，因为业务分布式部署后也会做集群）。
2、负载均衡
负载均衡充当的角色就是“裁判”，它将大量并发流量分摊至多台节点服务器（集群）上进行处理，这样减少了用户等待响应时间。
所以说负载均衡离不开服务集群。
淘宝如何是如何实现分布式、集群和负载均衡的？1、动静分离
将动态请求与静态请求分别部署在不同服务器上，以便针对性进行优化。
2、分布式服务框架HSF
HSF是阿里的分布式服务框架，经过拆分，各系统间的耦合度大大降低了，更有利于分布式部署。
3、分布式NoSQL框架Tair
Tair是淘宝开源的分布式K/V数据库。
4、高性能Web服务器Tengine
Tengine是基于Nginx二次开发的，性能上比Nginx更好，而且支持更多特性，如：请求合并、限速模块、内置Lua等。可以借助它来做反向代理和负载均衡。

什么是分布式操作系统？

分布式操作系统是指在多台计算机上通过网络连接实现协同工作和资源共享的操作系统。简单来说，它是将多台计算机上的操作系统连接在一起，形成一个虚拟的操作系统，从而实现资源共享和协同工作。
分布式操作系统通常由多个节点组成，每个节点都是独立的计算机，它们之间通过通信网络进行数据交换和通信。这些节点可以分布在不同的地理位置，也可以在同一地理位置内。分布式操作系统可以提供比单机操作系统更高的性能和可靠性，因为它允许用户利用多台计算机的处理能力和存储能力，同时还可以避免单点故障。
分布式操作系统的应用非常广泛，包括云计算、大数据处理、物联网等领域。常见的分布式操作系统包括Linux集群、Windows Server集群、Google的MapReduce和Hadoop等。
分布式操作系统是一种特殊的操作系统，本质上属于多机操作系统，是传统单机操作系统的发展和延伸。它是将一个计算机系统划分为多个独立的计算单元(或者也可称为节点)，这些节点被部署到每台计算机上，然后被网络连接起来，并保持着持续的通信状态。在分布式操作系统中，每个节点即可以独立地象单机操作系统一样执行本地的计算任务，也可以相互组合起来，以分布协同的并行方式，执行更大规模的计算任务。从而为用户提供更强的计算能力、更高的可扩展性和冗余容错能力。
一、分布式操作系统的概念
分布式操作系统是将一个计算机系统划分为多个独立的计算单元(或者也可称为节点)，这些节点被部署到每台计算机上，然后被网络连接起来，并保持着持续的通信状态。在分布式操作系统中，每个节点即可以独立地象单机操作系统一样执行本地的计算任务，也可以相互组合起来，以分布协同的并行方式，执行更大规模的计算任务。从而为用户提供更强的计算能力、更高的可扩展性和冗余容错能力。分布式操作系统同时还应该保证系统的分布的灵活性、可用性、可管理性和弹性伸缩能力
二、分布式操作系统的特点
一个通用的分布式操作系统应该具备以下一些基本特点：
模块化：分布式操作系统采用模块化的设计思想，将系统划分为多个功能模块，每个模块负责完成特定的任务。这种设计使得系统更加易于维护和升级。
并行处理：分布式操作系统支持多种并行处理模型，如共享内存模型、消息传递模型和客户机/服务器模型等。这些模型可以充分利用多核处理器的性能，提高系统的处理能力。如果把客户机/服务器进一步延伸合起来，则衍生出来一种新型的客户机/集群模型。这是分布式操作系统能够提供强大计算能力的根本原因。
容错能力：分布式操作系统具有较强的容错能力，可以在节点出现故障时自动恢复。这主要依赖于分布式系统中的冗余设计和故障检测与诊断机制。
数据一致性：分布式操作系统需要保证数据在各个节点之间的一致性。这通常通过使用事务、锁和协调器等技术来实现。
资源管理：分布式操作系统需要对系统中的硬件资源进行有效的管理，包括内存、磁盘空间和CPU时间等。这通常通过使用资源调度算法和优先级调度策略等技术来实现。
咱们以LAXCUS分布式为例，对此进行简单的说明。
参照上图，在LAXCUS分布式操作系统，系统被分为核心层、业务层、调用层三个维度。核心层由本地核心和分布式框架组成，其中本地核心包括了本地内核和本地Shell，其设计思路类似Unix/Linux，不同之处在于分布式框架，分布式框架是LAXCUS分布式操作系统的重要技术创新，由于它的存在，LAXCUS才可以称之为“分布式操作系统”，包括了多模通信网络、松耦合架构、分布式Shell。其中分布式Shell接受用户的分布式指令（用户指令和系统调度指令），并解析这些分布式指令。LAXCUS的松耦合架构是一项重要的技术创新，在之前的文章多有介绍，比如并行处理能力、容错处理能力、数据一致性、资源管理能力、调度能力，这些技术的组合起来，才能使多机分布协同运行成为可能。 关于LAXCUS分布式操作系统松耦合架构更详细的介绍，请参考相关的文章，本处就不再赘述。多模通信网络则是多种网络通信技术的组合，其中最重要的是一种类似5G网络的MASSIVE MIMO技术，由于它的存在，建立在物理网络基础上的大规模通信、超大规模通信才能得以实现，也是LAXCUS分布式操作系统的核心基础功能之一。
下面，咱们通过模拟LAXCUS分布式操作系统的运行流程，来介绍分布式操作系统的运作逻辑。
在LAXCUS分布式的操作系统，客户机是图形桌面，上面运行着各种各位的应用软件，这些应用软件以图形界面或者字符字界存在。不同与单机操作系统的应用软件只在本地运行，LAXCUS分布式应用软件除了兼容本地运行，更主要的是以分布方式，并行运行在计算机集群的多台计算机上，保证了强大的处理能力。
一条分布式指令从LAXCUS分布式应用软件发出，它经过调用层、业务层，被传递到核心层，核心层经过分布式Shell的处理，传递给松耦合架构、松耦合架构进一步对分布式指令进行解耦，分成多条并行的计算机指令，交给多模通信网络处理。多模通信网络把每条并行指令传递给对应的计算机节点，节点上的本地Shell解析，交给系统内核处理，处理完成后，再进行聚合，按照原路返回，从而完成一次分布式计算机工作。
三、为什么我们需要分布式操作系统？
简单说就是：时代变了。
如果回顾历史，我们可以看到，世界上的任何事物，都是一个从简到繁的过程。操作系统也遵循些的这个规律，比如早期的IBM 0S360系统，到后来的UNIX、DOS、Windows、Macintosh、Linux、IOS、安卓。这些操作系统除了少部分是服务器系统，大部分属于个人系统，但是本质上都属于单机操作系统。三十年前，我们对计算机的要求是WORD、EXCEL、PPT、电子音乐、视频，这些工作普通的个人计算机都能完成。三十年后，我们对计算机的要求是大数据、云计算、人工智能、chatGPT大模型、超高音速空气流体、仿真核聚变，这些工作需要海量的计算资源，个人计算机显然无法胜任，必需从底层开始为应用业务提供庞大的基础计算，这是分布式操作系统产生的根本原因。还有贝尔定律：“世界大概每隔10年左右就会出现一种新型的操作系统”这一推论。现在随着时代的发展，业务需求的变化，一种新型的操作系统出现也就成为必然：分布式操作系统时代。
目前我们需要分布式操作系统，主要来自以下一些原因：
提高性能：分布式操作系统可以将计算任务分配到多个节点上执行，从而提高系统的处理能力。特别是在大规模数据处理和高性能计算领域，分布式操作系统的优势更加明显。
提高可扩展性：分布式操作系统可以根据需求动态地增加或减少节点，以满足系统的扩展需求。这使得系统更加灵活，能够适应不断变化的工作负载。
提高容错能力：分布式操作系统具有较强的容错能力，可以在节点出现故障时自 动恢复。这对于关键业务系统来说至关重要，可以保证系统的稳定运行。
提高资源利用率：分布式操作系统可以通过资源调度和管理技术，有效地利用系统中的硬件资源，避免资源浪费。这有助于降低系统的成本，提高投资回报率。
促进技术创新：分布式操作系统的发展推动了计算机科学领域的技术创新。许多新的技术和方法，如云计算、大数据和人工智能等，都包含了大量的分布式技术。
综上所述，分布式操作系统是一种具有广泛应用前景的计算机技术。随着互联网、物联网和大数据、人工智能等领域的发展，对高性能、高可用和可扩展的计算系统的需求越来越迫切，分布式操作系统将成为未来计算机系统的重要组成部分。

分布式计算的概念及框架

Hello各位old铁，卑微小张在线分享技术观念，以下是今日份读解。

关于分布式计算、并行计算的理解

一提到分布式计算就不得不区分一下它与并行计算的相关概念。

……之前一直被问到并行计算和分布式计算有什么区别，当时脑子里就在想What……

这不是一个东西？一直分布式并行计算叫着。之后有过相关的学习以及查阅资料，发现二者确实存在一定的联系，但其实还真不是一个东西。

并行计算 ，相对于串行计算而言，一般可分为时间并行和空间并行。时间并行可以看做是流水线操作，类似CPU执行的流水线，而空间并行则是目前大多数研究的问题，例如一台机器拥有多个处理器，在多个CPU上执行计算，例如MPI技术，通常可分为数据并行和任务并行。

分布式计算 ，则是相对单机计算而言的，利用多台机器，通过网络连接和消息传递协调完成计算。把需要进行大量计算的工程数据分区成小块，由多台计算机分别计算，再上传运算结果后，将结果统一合并得出最终结果。

总而言之现在人们更比较关心的是二者之间的重叠部分，例如：Hadoop。Spark等等。

关于分布式计算框架

Hadoop 是分布式计算框架的基础，其中的HDFS提供文件存储，Yarn进行资源管理。在这上面可以运行MapReduce、Spark、Tez等计算框架。

MapReduce :是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。

Spark :Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

Storm :MapReduce也不适合进行流式计算、实时分析，比如广告点击计算等。Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。

Tez : 是基于Hadoop Yarn之上的DAG（有向无环图，Directed Acyclic Graph）计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的文件存储。同时合理组合其子过程，也可以减少任务的运行时间。

分布式训练框架

一、主流框架：
1、SparkMLlib
2、Parameter Server
3、All-Reduce框架（TensorFlow）

二、分布式机器学习系统：
1、模型并行
2、数据并行

参考：
[1] 分布式机器学习初探
[2] 分布式机器学习之—Spark MLlib并行训练原理
[3] 一文读懂「Parameter Server」的分布式机器学习训练原理
[4] ParameterServer入门和理解
[5] MPI 教程介绍

java框架都有哪些

java框架有SpringMVC、Mybatis、Dubbo、RabbitMQ等。
一、SpringMVC
Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行职责解耦，基于请求驱动指的就是使用请求-响应模型，框架的目的就是帮助我们简化开发，也是要简化我们日常Web开发的。
模型（Model）封装了应用程序的数据和一般他们会组成的POJO。视图（View）是负责呈现模型数据和一般它生成的HTML输出，客户端的浏览器能够解释。控制器（Controller）负责处理用户的请求，并建立适当的模型，并把它传递给视图渲染。
Spring的web模型-视图-控制器（MVC）框架是围绕着处理所有的HTTP请求和响应的DispatcherServlet的设计。
2、Mybatis
MyBatis是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。
MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（Plain Old Java Objects，普通的Java对象）映射成数据库中的记录。
3、Dubbo
Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC（远程过程调用协议）远程服务调用方案，以及SOA服务治理方案。简单的说，dubbo就是个服务框架。
如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东西，就是个远程服务调用的分布式框架。
4、RabbitMQ
消息队列一般是在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。
RabbitMQ是用Erlang实现的一个高并发高可靠AMQP消息队列服务器。

Dubbo分布式服务框架介绍

随着业务的发展、用户量的增长、系统并发访问需求越来越大，系统数量增多，调用依赖关系也变得复杂，为了确保系统高可用、高并发的要求，系统的架构也从单体时代慢慢迁移至服务SOA时代，根据不同服务对系统资源的要求不同，我们可以更合理的配置系统资源，使系统资源利用率最大化。而Dubbo则是SOA服务化治理方案的一个核心框架。
Dubbo作为阿里巴巴内部的SOA服务化治理方案的核心框架，在2012年时已经每天为2000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。Dubbo自2011年开源后，已被许多非阿里系公司使用，其中既有当当网、网易考拉等互联网公司，也有中国人寿、青岛海尔等传统企业。
Dubbo是一个高性能服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案，使得应用可通过高性能RPC实现服务的输出和输入功能，和Spring框架可以无缝集成。
作为一个分布式服务框架，以及SOA治理方案，Dubbo其功能主要包括：
Dubbo最大的特点是按照分层架构思维构建应用服务，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以抽象出 服务提供方（Provider） 和 服务消费方（Consumer） 两个角色。
Dubbo包含 远程通讯、服务集群和服务发现与注册 三个核心部分。提供透明化的远程方法调用，实现像调用本地方法一样调用远程方法，只需简单配置，没有任何API侵入。同时具备软负载均衡及容错机制，可在内网替代F5等硬件负载均衡器，降低成本，减少单点。可以实现服务自动注册与发现，不再需要写死服务提供方地址，注册中心基于接口名查询服务提供者的IP地址，并且能够平滑添加或删除服务提供者。
Dubbo服务组件调用关秕说明 ：
Dubbo框架设计一共划分了10个层，而最上面的Service层是留给实际想要使用Dubbo开发分布式服务的开发者实现业务逻辑的接口层。 图中左边淡蓝背景的为服务消费方使用的接口，右边淡绿色背景的为服务提供方使用的接口， 位于中轴线上的为双方都用到的接口。
下面，结合Dubbo官方文档，我们分别理解一下框架分层架构中，各个层次的设计要点：
从上图可以看出， Dubbo对于服务提供方和服务消费方，从框架的10层中分别提供了各自需要关心和扩展的接口，构建整个服务生态系统（服务提供方和服务消费方本身就是一个以服务为中心的） 。
根据官方提供的，对于上述各层之间关系的描述，如下所示：

分布式任务调度框架选型，如何选择一个合适的框架？

首先，这种框架现在市面上是有的。强烈建议，不要重复造轮子。

先介绍几种比较主流的。

Elastic-Job,是当当网开源的分布式调度解决方案，支持任务分片功能，可以充分利用资源。Elastic-Job有两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。具体实现可以参考官方教程。其整体架构图如下。

Elastic-Job的特点：

1、分布式调度 2、作业高可用 3、任务分片执行。

另外，还有其他的一些框架，可以对比使用。比如TBSchedule是阿里巴巴开源的分布式调度框架，完全由java实现，目前被应用于淘宝，阿里巴巴，支付宝，京东， 汽车 之家等。大众点评开源的xxl-job，也是应用比较广泛的分布式调度任务。

目前我使用过的有 Elastic-Job和xxl-job。两者功能都很强大，后台管理也比较完善。很容易上手。都可以满足日常的工作需要。区别就是 Elastic-Job依赖zk，但是xxl-job不依赖zk，只依赖数据库。

目前市面上应该还有一些其他的框架，但是以上是比较主流的，可以根据自己的需要来选择。切记不要重复造轮子，造轮子需要大量的时间去验证。会让你在坑里爬不出来。

1.XXL-JOB

2.Elastic-Job

Elastic-Job 是一个分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。

定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务。

支持分布式调度协调、弹性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。

分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。选择该项目可以满足大多数it企业的需求。

Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。

轻量级无中心化：Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。

灵活的增删改查作业，集中式管理调度作业

支持高可用：一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好，可以保证在本次作业执行时崩溃，备机立即启动替补执行。

支持分片：作业分片一致性，保证同一分片在分布式环境中仅一个执行实例

任务监控：通过监听Elastic-Job-Lite的zookeeper注册中心的几个关键节点即可完成作业运行状态监控功能

一致性：使用zookeeper作为注册中心，为了保证作业的在分布式场景下的一致性，一旦作业与注册中心无法通信，运行中的作业会立刻停止执行，但作业的进程不会退出，这样做的目的是为了防止作业重分片时，将与注册中心失去联系的节点执行的分片分配给另外节点，导致同一分片在两个节点中同时执行。

同时支持动态扩容，将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片

3.opencron

opencron是一个功能完善且通用的开源定时任务调度系统，拥有先进可靠的自动化任务管理调度功能，提供可操作的 web 图形化管理满足多种场景下各种复杂的定时任务调度，同时集成了 linux 实时监控、webssh 等功能特性

4.quartz

支持集群和分布式，但是没有友好的管理界面，功能单一，对于管理调用的任务比较困难。

quartz使用数据库锁。在quartz的集群解决方案里有张表scheduler_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放。

quartz的分布式调度策略是以数据库为边界资源的一种异步策略。各个调度器都遵守一个基于数据库锁的操作规则从而保证了操作的唯一性。同时多个节点的异步运行保证了服务的可靠。但这种策略有自己的局限性：集群特性对于高CPU使用率的任务效果很好，但是对于大量的短任务，各个节点都会抢占数据库锁，这样就出现大量的线程等待资源。这种情况随着节点的增加会越来越严重。

缺点：quartz的分布式只是解决了高可用的问题，并没有解决任务分片的问题，还是会有单机处理的极限。

5.Saturn

Saturn

基于当当Elastic Job代码基础上自主研发的任务调度系统，是唯品会开源的分布式作业调度平台，取代传统的Linux Cron/Spring Batch Job的方式，做到统一配置，统一监控，任务高可用以及分片并发处理。主要是去中心化，高可用，可分片，动态扩容，有认证和授权功能。

主要特性

支持多种语言作业，语言无关(Java/Go/C++/PHP/Python/Ruby/shell)

支持秒级调度

支持作业分片并行执行

支持依赖作业串行执行

支持作业高可用和智能负载均衡

支持异常检测和自动失败转移

支持异地容灾

支持多个集群部署

支持跨机房区域部署

支持弹性动态扩容

支持优先级和权重设置

支持docker容器，容器化友好

支持cron时间表达式

支持多个时间段暂停执行控制

支持超时告警和超时强杀控制

支持灰度发布

支持异常、超时和无法高可用作业监控告警和简易的故障排除

支持失败率最高、最活跃和负荷最重的各域各节点TOP10的作业统计

优点：源码清晰，学习入手容易。应用部署简单，提供运维控制台，集中管理作业，运维控制台功能强大，提供作业统计报表 ，告警，增删改查作业，作业统一配置。

最后一个是国内团队封装的

前端时间研究了两款分布式任务调度框架，一个是XXL-Job，现在非常主流，很多常见的一些公司都在使用，像滴滴美团这样的公司都在用，这也是一款开源产品，下载下来导入IDEA就可以使用，分调度器和执行器和管理UI，有很美观的UI界面，可以对任务做增删改查，以及支持自定义开发，有很详细的帮助文档，还提供有demo，傻瓜式的，很简单，亮点是提供了管理界面。

另一个是Quartz，这个组件单机和集群都支持，单机的话是RAMJobStore任务存储，而要支持集群的话，就要将配置改成数据库方式，Quartz提供的有十几张表，其分布式的原理是利用了数据库的行锁，Quartz很简单，也是一款轻量级的开源产品，我们公司一直用这款组件，很成熟无Bug，推荐使用！

springcloudtask，springclouddataflow，正在学习中

分布式图计算框架有哪些？

图计算框架，基本上都遵循分布式同步(Bulk Synchronous Parallell,BSP)计算模式。基于BSP模式目前有两种比较成熟的图计算框架:，他们是Pregel 和 GraphLab。前段时间云栖大会里面提到的GraphScope，也是一个分布式图计算平台，是由国内的阿里研发的。