Go语言开发分布式任务调度 轻松搞定高性能Crontab 前8章

Golang因其强大的协程机制，现已广泛应用于解决分布式环境下的高并发问题。本门课程中将结合Etcd与MongoDB实现一个基于Master-Worker分布式架构的任务调度系统。你不仅将掌握Golang的工程实践能力，而且会收获诸如CAP、Raft的分布式经典理论与架构经验，”工程能力”与”知识体系”齐头并进，实现华丽质变。
0 v8 ?6 ^% ?, u
: p  j" q7 z/ s  U: I第1章 课程介绍
本章中将介绍一下本课程的基本内容，包括：我们要做什么、要求什么基础、将学会哪些工具、收获哪些独家干货，以及课程具体安排。
% }8 W8 u; b3 ]  n: I- ]1-1 导学视频
+ R1 K  X; I) v# ?' }* H
4 n" }7 ^7 m9 D8 p, G4 S0 b& a第2章 如何执行shell命令
& z( [# V$ Z/ k8 P- X执行"定时任务"其实就是执行"shell命令"。在本章中，将首先带大家区分"程序"与"命令"，接着了解bash命令解释器的2种工作模式，并图示分析shell执行任务的底层原理与涉及的系统调用。最后，我们使会用Go语言的Command标准库，实现任务的执行，输出捕获，杀死任务等重要功能。 ...
* F' T& A$ X* \+ [. p) i2-1 原理介绍
2-2 执行任务
& e, c. u/ B7 K5 V/ `  E/ e2-3 捕获任务输出
2 o1 B8 a2 @( t2 e( x! Y$ J( s2-4 强制结束任务
% l# K! `; h: |" k' }4 [7 W
第3章 如何解析cron表达式
3 R/ F2 k8 C" i& G6 E' vcron表达式是配置定时任务执行周期的核心工具。在本章中，将首先分析cron表达式的构成以及解析逻辑，并利用开源项目cronexpr解析cron表达式并计算任务的下次调度时间。之后，我们将利用其实现任务并发调度逻辑，即同时调度多个不同的cron任务，作为后续实战课的一个重要前置知识。 ...
! z3 O% Z* A* j# s3-1 cron表达式原理
! `1 M0 d/ _4 h8 V- H3 k: F8 M. @! l, }3-2 开源cron解析库
# h/ y8 C6 _% s  S3 i3-3 调度多个cron
' t1 |5 L' Z1 B. J2 Z) |
第4章 如何应用etcd协调服务
" g7 g5 \" c9 q6 H- L% U3 Oetcd等价于java生态中的zookeeper，基于raft协议工作，用于解决各种分布式应用场景的设计难题。本章中，我们将深入分析raft协议原理，逐步讲解etcd的核心API用法，为实战项目作好准备工作。
4-1 功能与原理(上)
4-2 功能与原理(下)
4-3 搭建与连接etcd
4 n  E+ {: @3 ]$ s. d8 j& v/ M% Y4-4 put写入kv
- x- O" u; I! ?, l) e4-5 get读取kv
! H# w% r$ P3 z. a! J/ c4-6 get读取目录下所有Kv
0 F9 i% m. L' k4-7 delete删除kv
3 ?% @) E9 B" {" z, L, i3 X' t8 T4-8 lease租约实现kv过期
( D' M* p# _6 z" f' m5 \4-9 watch监听目录变化
4 m# G( F$ n! I' i1 Z3 _5 ?+ [4-10 op取代get,put,delete方法
6 X/ d3 J, Q, p4-11 事务tnx实现分布式锁(上)
4-12 事务tnx实现分布式锁(下)

第5章 应用mongodb实现分布式存储
7 {7 l% ^4 h; d* N+ D2 Lmongodb是一个分布式的海量存储服务，常用于存储大量的日志类数据。本章中，将首先分析mongodb优势、原理、应用场景，让大家对其架构和功能有所了解。然后，我们会搭建mongodb服务端，开发若干示例程序，包括：插入，查找，删除。后续实战课将使用mongodb完成任务执行日志的保存与查看。 ...
; c2 V" W9 q* u; P7 [: V9 \1 `5-1 moongodb简介&基础语法概述
9 f8 t( b% s5 ~( ~4 }5 v( I# w7 z5-2 moongodb原理概述
5-3 搭建与连接mongodb
4 j) G$ Q6 `. ]1 g8 p" v% r5-4 InsertOne写入单行记录
3 n7 P2 g2 J$ N5-5 InsertMany写入多行记录
5-6 Find查询记录
8 u& V8 x8 Q% Y$ j6 B- {% l5-7 Delete删除记录
1 C, x! H$ I8 H4 L
第6章 分布式crontab架构分析
本章中，将带领大家对分布式crontab的整体架构进行功能分析，以及功能拆解。我们会结合整体架构图，包括master节点、worker节点、etcd服务、mongodb服务各自的职责和数据流关系进行相关内容讲解。
6-1 架构分析
$ J3 k! @7 t9 J  A( p# z6-2 master-worker整体架构
6-3 master功能点与实现思路
/ W$ l) |+ |/ I* C+ G& X6-4 worker功能点与实现思路
. c( i3 l7 ?) I6 h1 `2 S
第7章 实现master
# e! _) D" M- s# ^' N7 P- ~万丈高楼平地起，在本章中，将会带领大家创建github项目，并初始化符合golang规范的项目结构，会带领大家安装依赖的etcd、mongodb包，告诉大家如何正确使用go get命令。之后，我们会逐一实现任务管理API，并实现前后端分离的任务管理后台。...
7-1 创建项目与搭建基本框架(上)
6 n5 k2 J2 N/ _/ y. \' w' I7-2 创建项目与搭建基本框架(下)
/ \+ b4 z! v  x7-3 job save接口开发-保存到etcd(上)
* F' \3 q8 r- C) g- h5 B$ d7-4 job save接口开发-保存到etcd(中)
7-5 job save接口开发-保存到etcd(下)
  i7 Z" {6 [) ?1 x' i$ a6 K7-6 job delete接口开发：从etcd中删除任务
7-7 job-list接口开发：从etcd获取所有任务
7-8 job-kill接口开发：在etcd中标记结束任务
1 j) h, N% i$ W0 B( I, F7-9 http支持静态文件路由
7-10 利用bootstrap搭建页面骨架
( K: s& g2 @' j8 u: ]+ p4 h7-11 ajax获取任务列表并展示
7-12 实现删除按钮
7-13 实现强杀与编辑按钮
7-14 实现新建任务按钮
4 m0 I1 J  W) V" a
5 _: W5 ?' g4 a9 I% l+ V6 V第8章 实现worker
! }5 d4 Q7 W7 s3 [在本章中，我们首先让worker实时同步etcd中的任务列表。其次，会基于cronexpr与协程实现一个高并发的定时任务调度模块。我们会通过etcd实现分布式乐观锁，解决多个worker节点并发调度同一个任务的问题。最后，把任务执行的输出与错误码作为日志，保存到mongodb中供web管理后台查看。...
4 l% l: }& P# q; L  |8-1 worker功能概述
- l# Y* Z* G$ y4 m: _8-2 启动后从etcd获取任务列表
0 F  @, v- u. Z; t# k- J: Q8-3 监听etcd中任务变化
& ]. R. C8 ?% V1 W* l! |' Z8 F8-4 实现任务调度协程(上)
8-5 实现任务调度协程(下)
8-6 实现任务执行模块(上)
8-7 实现任务执行模块(下)
5 u/ e5 v# I1 D8-8 利用分布式锁避免任务并发(上)
8-9 利用分布式锁避免任务并发(下)
( f1 j, w  ?1 Y% i8-10 监听etcd中的强杀任务通知
8-11 保存任务日志到mongodb(上)
8-12 保存任务日志到mongodb(中)
8-13 保存任务日志到mongodb(下)


- m4 s2 `$ I" G/ ?
; m" J$ D& m4 w. Q% l7 h

游客，如果您要查看本帖隐藏内容请回复

--声明--

1、会员在访问网站并且下载文档提示缺少学费请每天签到或者分享资源即可拥有学费。

2、付出是相互的，请不要想不劳而获的好事能在你身边发生，社会是公平的。

3、转载或引用本网站内容须注明原网址，并标明本网站网址(http://www.aurrel.com)。

4、转载或引用本网站中的署名文章，请按规定向原作者支付稿酬。

5、网站发布的部分源码或者教程仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件（215586711@qq.com）与我们联系处理。

本文地址: https://www.aurrel.com/thread-11795-1-1.html