免备案高防CDN使用的基础架构集成方案与成本控

目录：

(1).方案架构图

(2).要点概述

1.cdn发布微服务

2.caf-(cdn/oss)-module

3.CDN的L1，L2节点概念，以及回源概念

(3).CDN成本问题概述

(4).简单聊一聊我们做事的出发点

1.效率与成本

2.对于架构师

(5).聊一聊对CDN优化后的效果

(6).题外话

正文

(1).方案架构图

注意：

这里省略了防盗链部分，和数据打点部分。

其中：

防盗链：由CDN提供商提供配置解决方案，做配置即可。

打点：也要集成到基础框架层面，做开关和使用策略配置的支持。

(2).要点阐述

1.cdn发布微服务

显然，这是一个基础服务，需要给多个业务使用方提供发布文件到CDN的服务。

2.caf-(cdn/oss)-module

caf是一套自研框架，业务方使用任何资源都是通过注解的方式，并且0配置文件，所有配置都在apollo配置中心。

我们会把发布文件的整个流程抽象到底层framework，如：

文件上传时的策略，文件压缩等策略与阈值的规划；

上传到OSS，文件预热的统一接口规划；

使用prometheus监控整个cdn发布流程中的关键点位，收集统计信息，方便监测整个CDN的成本与使用情况；这一点非常重要！

其他细节。

3.CDN的L1，L2节点概念，以及回源概念

以阿里云举例，实际访问流程是：

step-1.用户访问阿里云CDN-->

step-2.阿里云CDN-L1节点-->L1节点不存在资源则->

step-3.阿里云CDN-L2节点-->L2节点不存在资源则->

step-4.阿里云CDN-L2节点会从回源存储(OSS)拉取资源

其中，step-3到step-4的过程称为CDN回源。

L1，L2概念：

个人理解，这是一个集用户体验，资源节约等多维度考虑的最终结构。

L1是面向最终用户的CDN节点集群(分布在全球各地)，存放资源的复本做加速，L1实际上也会按照地域，运营商等维度分集群，方便回源。

L2作用：L1从L2拉取资源必然要就近原则，这是显然的，如果没有L2，直接从回源存储拉取资源，这是非常坑的做法，拉取有效性，整个CDN体系的稳定性和可用性会受到极大威胁，因为回源存储的个数是非常有限个(这是必然的)。

(3).CDN成本问题概述

以后会专门聊，这里做简单概述。

随着目前法律的健全，和版权意识的大爆发，盗链方式已经面临着极大的刑事风险，这可不像以前了，随便爬随便盗，告了也白告。

所以，CDN成本的问题变得至关重要，直接影响到了公司的营收与利润，甚至是否XX。

这就要求架构上从多个维度去监控高防CDN的使用，主要是两个思路：CDN使用链路的监控，链路上每个关节做切面监控。

本文中的方案中，prometheus是对CDN的接近code的使用层面做监控；

但是，实际上我们还要根据CDN提供商的流量数据，带宽数据等准实时的监控CDN成本，以及发现CDN使用上的问题。

关于这点，我们自研了cdn-parser工程，可以提供相关成本的图表，以及自动发现CDN使用异常，自动分析CDN日志等功能；这个工程刚刚开始，提供了基本功能，会逐步完善，我希望最终形成为一个可用的通用解决方案。

(4).简单聊一聊我们做事的出发点

1.效率与成本

这也是近些年，我做事所遵循的原则。我们通常会讲，脱离了业务的架构是扯淡，这句话的本质其实就是：效率与成本。

实际上，对于架构师来讲，架构上要有前瞻性，比如本文的方案，实际上第一期版本将非常简单，只包含最基本业务功能，没有策略没有prometheus，所有高阶的都没有，首先要满足业务；上线支持业务后要在架构上完善，逐步落地，因为对业务方是透明的，不会有任何额外成本。

2.对于架构师

何为效率：

效率是广义的，包含自身的工作效率，优化业务方使用基础设施的效率，成本与问题的分析与解决的效率等等，此外还有传统意义的效率。

举例：

在cdn-parser落地之前，发现免备案CDN异常(如何发现其实也是个问题，以后聊)，进行CDN分析会非常耗时，常态耗时是半天到1天得到结论；但是之后，只需要敲个命令，结果自动打包发布到web目录，几乎没有时间成本。

后续我是希望集成到管理后台，所有CDN关注者都可以使用，全方位上极大提升CDN的使用效率。

何为成本：

成本也是广义的，不仅仅包含支付给CDN提供商的实际费用，还包含CDN使用错误，开发失误等等造成的CDN带宽异常所引发的人力成本。

这个人力成本是非常昂贵的，很多时候要沟通从客户端到所有端，技术到运营的全方位沟通。

(5).聊一聊对CDN优化后的效果

这是一个持续问题发现/解决/优化的过程。

我们CDN总费用从每月的20万降到了9万，阿里云CDN的计费带宽从10G出头降低到了5G以下，七牛CDN的计费带宽也下降了一半。

一年的绝对成本降低了130万，但是考虑到CDN异常的及时发现和解决，成本的实际减少会更高，至少命中150万~200万的区间。

(6).题外话

效率&成本是一个永恒的话题，随着红利的结束，必将成为恒量技术人员招聘的top1的key要素，而且并不仅仅局限于技术领域。