业务层技术和平台技术

各个互联网业务发展最终面临的问题都是类似的：业务复杂度越来越高。

1. 运维平台

2. 测试平台
单元测试、集成测试、接口测试、性能测试等，都可以在测试平台来完成。
测试平台的核心目的是提升测试效率，从而提升产品质量，其设计关键就是自动化。

用例管理：脚本或代码管理包含业务、系统、测试类型、用例代码
资源管理：测试用例运行的具体环境，包含硬件（服务器、手机、平板电脑）、软件（操作系统、数据库、java虚拟机等）、业务系统（被测系统）
除了性能外，一般的自动化测试对性能要求不高，所以为了提高资源利用率，大部分的测试平台会利用虚拟化技术来充分利用硬件资源，如虚拟机、Docker等。
任务管理：任务管理的主要职责是将测试用例分配到具体的资源上执行，跟踪任务的执行情况。任务管理是测试平台设计的核心，它将测试平台的各个部分串联起来从而完成自动化测试。
数据管理：测试执行完成后，需要记录各种相关的数据（执行时间、用例执行期间的CPU、内存占用情况等）
这些数据的作用：
①展现当前用例的执行情况。
②作为历史数据，方便后续的测试与历史数据进行对比，从而发现明显的变化趋势。例如，某个版本后单元测试覆盖率从90%下降到70%。
③作为大数据的一部分，可以基于测试的任务数据进行一些数据挖掘。例如，某个业务一年执行了10000个用例测试，另外一个业务只执行了1000个用例测试，两个业务规模和复杂度差不多，为何差异这么大？

3. 数据平台

数据管理：数据采集、数据存储、数据访问和数据安全四个核心职责，是数据平台的基础功能。
数据采集：从业务系统搜集各类数据。例如，日志、用户行为、业务数据等，将这些数据传送到数据平台。
数据存储：将从业务系统采集的数据存储到数据平台，用于后续数据分析。
数据访问：负责对外提供各种协议用于读写数据。例如，SQL、Hive、Key-Value等读写协议。
数据安全：通常情况下数据平台都是多个业务共享的，部分业务敏感数据需要加以保护，防止被其他业务读取甚至修改，因此需要设计数据安全策略来保护数据。
数据分析
数据分析包括数据统计、数据挖掘、机器学习、深度学习等几个细分领域。
数据统计：根据原始数据统计出相关的总览数据。例如，PV（Page View）、UV（Unique Visitor）、交易额等。
数据应用
数据应用很广泛，既包括在线业务，也包括离线业务。例如，推荐、广告等属于在线应用，报表、欺诈检测、异常检测等属于离线应用。

4. 管理平台

管理平台的核心职责就是权限管理，无论是业务系统（例如，淘宝网）、中间件系统（例如，消息队列Kafka），还是平台系统（例如，运维平台），都需要进行管理。如果每个系统都自己来实现权限管理，效率太低，重复工作很多，因此需要统一的管理平台来管理所有的系统的权限。