这篇博客是写给团队后端方向的同学看的。主要是介绍我在工作一年之后对于后端工作方向的一些新的认知（虽然职位是前端，但在这个大环境下面，对后端的工作内容还是有一些了解的）。让大家在学校里可以对外面工业界的需求有一个大致的认识，在自己的兴趣和就业的导向之间找到一个平衡。

互联网公司的技术部门组织架构

从单体到分布式：后端工程师的分工

要理解一个（大型）互联网公司的组织架构，首先要理解一个产品的后端服务从 0 到 1 的发展过程。《大型网站技术架构》这本书对于这个过程有详细的解释。具体的看这篇博客。

大致来说就是这样的过程：

单机系统：Java/PHP/Node/Python + Linux + MySql + Nginx。 ==>

流量增大，数据库读写出现瓶颈，数据库分库分表  ==>

流量继续增大，单机部署无法应对高并发，于是集群部署，横向拓展 ==>

为了提高性能，抽出单独的缓存服务 ==>
 
分布式数据库/分布式存储 ==>

微服务架构 ==>

最终进化为适应于特定业务场景的复杂分布式架构

在小型的公司，一般就只有一个后端开发团队，里面没有非常明确的角色分配。服务，数据库，缓存，部署，都要自己来搞。当公司变大的时候，就会出现一些分工。

开发工程师主要负责开发服务，运维和 DBA 负责服务的部署，数据库的安全和效率。架构师负责设计整个应用的架构。

中间件/数据库：后端服务的基石

上一节说到互联网公司的后端架构最终演化为一个分布式的系统。那一个分布式的系统运行，需要许多中间件的支持。比如消息队列，分布式缓存，分布式数据库，微服务框架，容器编排调度等等。这些被其他服务调用的，负责通信/存储的服务，就是所谓的中间件。中间件可以说是连接两个服务的一个中介。

公司越来越大，就需要有人专门去维护这些公共组件，让开发工程师可以专注于业务逻辑的开发。比如维护自己的消息队列，数据库，缓存，RPC框架等等。在大公司中，开源的方案并不能满足业务需求，所以需要对开源的方案进行改进和创新。

上一节中的分工里没有提到的，就是中间件研发的工程师。这些工程师在一个大型的互联网公司中是非常重要的。

数据平台：公司决策的引擎

科技公司在运行中会产生各种各样的数据，比如用户行为数据，订单数据，访问记录数据。还有服务器的运行状态等等数据。这些数据都是一种资产，是公司来了解业务情况的一个窗口。

大数据这个方向其实已经非常成熟了，它主要包括数据的搜集，清洗，加工，存储，计算，分析。在这个链路上，需要很多工程师的努力。我们需要工程师来进行数据的清洗和加工，需要工程师来搭建数据仓库，数据加工平台，数据分析平台。需要工程师来优化数据实时和离线计算的引擎。需要工程师来写各个终端的数据上报服务。

所以大型的互联网公司都会有一个数据部门，让数据产生价值。

运维/安全：保证服务的高可用和安全性

传统意义上的运维负责公司服务器的管理，生产环境的稳定性，公司机房的设计和日常维护。大型公司中，还会涉及异地多活等等高可用方案。

运维这个角色现在也叫运维开发（DevOps）或者 SRE（网站稳定性工程师）。通过脚本和工具进行自动化的运维。比如开发要使用数据库，运维就搭建一个多副本的数据库集群，并且让数据库可以自动备份，还写了一个平台来访问和管理数据库。又或者有一个基础软件，需要安装在 500 台机器上。运维就开发了一个软件，可以让大家一键部署。

安全则是一个很大的领域，主要负责产品的信息安全。公司里一般都会有安全部。

一个大型科技公司的技术部门组织架构：从技术部到中台

小型公司一般只有一个技术部，里面分前端后台等角色。大公司一般是按业务来划分部门。比如电商业务，金融业务，零售业务等等。所谓的业务最终会落地到一个实际的产品中，比如淘宝。一个业务部门可能会同时运营多款产品。

这里需要引入一个概念，叫中台。和中台相对的就是前台。前台部门就是业务部门，直接开发面向消费者的产品的。中台部门就是负责给前台部门输送弹药的。负责支持前台部门。这里的支持不是帮前台部门写业务代码，而是提供一些基础的服务。比如前文里说到的中间件和数据库，还有数据平台。

我们在写产品的时候，会有一个抽象公共代码的过程。把多个模块中公共的部分抽出来。那在公司的运营中，我们也可以把公共的职能抽出来，变为中台。

每个业务部门自己去维护自己的中间件或者数据库，或者搭建数据平台，会造成很大的资源浪费。对部门之前的合作也不利。一个科技公司，统一自己内部的技术栈和基础设施，有几点好处：

  • 方便内部的技术交流和合作
  • 营造统一的技术氛围，利于公司内部的认同感
  • 方便对外输出技术
  • 降低各部门开发的成本

其实中台战略的好处是显而易见的，让专业的人做专业的事，前台负责业务上攻城略地，中台部门负责中台能力的搭建，支持前台业务。

按上述的模式设计的一个虚构的公司 foobar 的技术部门组织架构是这样的：

需要留意的是，本文里介绍的组织架构只是一个高度理想化的模型。现实中的大型科技公司的组织架构有很多种类。有的公司没有统一的中台部门，中台部门的职能被分散到各个业务部门中。只不过小前台+大中台是本文所推崇的一种组织架构。

职位概览

研发（Java/C++)

支持各种系统（面向消费者的，或者内部系统）的研发。基础平台，人工智能，数据平台也需要有平台来展现，所以也需要研发工程师。

简单的说就是写接口的。

数据研发

企业的数据中台，从数据的采集，加工，计算，存储，分析，都需要熟悉大数据相关技术（数据仓库/实时计算/离线计算/数据清洗）的工程师来参与。

基础平台研发（Java/C++/Go)

数据库开发，网络（CDN，机房网络），分布式存储，云计算（虚拟化，操作系统），云计算网络（SDN），中间件（消息队列，缓存，分布式服务框架）

运维（DevOps, DBA）

运维开发，负责产品，数据库，中间件的运维，开发相应的软件来做运维自动化。也会做一些监控系统来监控服务的运行情况。

算法

算法其实不属于后端，是单独的一个类别，里面有视觉/语音/推荐等等各种小方向的职位。

应用 vs 底层

这么多后端方向的职位，我们可以大致分为应用和底层两个部分。

应用就是指业务代码，也就是所谓的写 API。

底层就是指中台下面的几个方向，比如中间件/数据平台等等的研发。当然底层里面也有数据库开发/Linux 内核开发等等偏系统级软件的开发。也有平台软件/中间件的研发，比如 K8s 这样的容器调度系统，或者是一个消息队列。这样的软件更靠近应用层，对底层操作系统的依赖没那么大。

今后去工作的时候也会遇到应用 vs 底层的选择。能直接投相关的职位当然是最好，大公司一般都会分清楚招的职位具体是做什么。有的公司可能是先以应用研发的名义统一招人，后面才会有具体的方向。先进入这个行业工作，然后选择自己的方向，也是一个不错的道路。

计算机基础要学到什么样的程度？

国内的教学比较水。我们对一门课的要求是按国外 CS 强校的标准来定的。国外课程的特点是这样的：

  • 教学内容紧凑，只讲核心内容，并且最后会涉及目前时代的新技术，作为拓展
  • 鼓励阅读 Paper 了解技术的原始发表文件，培养学术习惯
  • 作业和 Lab 相辅相成，课后需要花很多时间
  • 作业和 Lab 有老师的 Office Hour（答疑时间）和助教指导，还有课程论坛。有的会由助教开专门的 Lab 复盘课
  • 日常出勤占比例很低，普遍会提供课程录像供后面查阅
  • Lab 设计合理，一般都是环环相扣，系统类的课，一般最终会要求写一个完整的系统，这个系统是这门课的内容的精髓和总结

后端比较关键的课程是这些（除了数据结构和算法，以及编程思想和设计模式一类的课程）：

  • 计算机网络
  • 数据库系统
  • 分布式系统
  • 操作系统

这样的课，我们的要求就是，针对每一门课，找到一门国外的课，跟着学完内容（PPT 和要求读的课本相关章节看过，理解，如果有课程视频要看视频），做完 Lab。作业可以根据自己兴趣来做。重点还是在 Lab。

这些 Lab 一般都是要你实现一些底层的东西，比如数据库系统，会让你实现 Buffer Pool 和 B+ Tree。计算机网络让你实现一个完整的 Web Server，还有 TCP 协议等等。分布式系统一般要求实现简单的分布式 KV 存储，还有 Raft 等分布式一致性协议。这些东西都是一门学科最精髓的，而你手动实现过了，那你对这个东西的理解自然远远超过普通的刷题看书的学习方式。

国外 CS 强校招人要求很高，比如 CMU，会要求你在高中就有专业方面的经验和极大的兴趣。所以大家如果做 Lab 做的不爽是很正常的。但在我们整个团队的努力下，我们可以把这些 Lab 一个个做出来。留下攻略给后人。这样我们团队就掌握了这些技术。（国外 CS 名校毕业生比较抢手也是因为他们受到的教育的确不一般）

什么样的技术栈比较好找工作？

应用研发的需求自然要大于底层研发，也只有比较大的企业才会有专职的底层研发。所以说如果技术栈和当前公司流行的技术栈匹配的话，就比较好找工作。现在比较流行的后端开发语言就是 Java 和 C++ 了。电商公司一般都是 Java。腾讯和百度是用的 C++ 比较多。微博用的是 Java 和 PHP。用 PHP 的大公司也有，但在公司里不是主流，所以 PHP 就可以排除了。同样 Python 在大公司里主要还是做一些辅助的工作，比如要开发一个运维系统，就可以用 Python 来写，这样比较快。

一些创业公司也喜欢用 Python 来快速搭建产品原型。比如豆瓣/知乎/字节跳动。但后期如果业务复杂了，一般会用 Java 重构。

Go 语言在大公司用的也挺多，主要是做云计算方向。但很少有大公司直接招 Go 工程师，所以首先精通 Java/C++ 的一种，然后还懂 Go，是比较好的一种选择。

底层研发用的语言就比较受限制了。中间件一般是 Java/C++，系统软件一般是 C/C++。云计算相关的底层系统，Go 用的会比较多。其他语言在底层开发里是很少见到的。

团队后端的几个方向

应用研发由整个后端组的同学来承担（客户端那边也会参与一些中间层服务的编写，简单的全栈工程）

深入的专业方向大概有以下几个：

  • Data 组：数据库/缓存中间件/大数据存储/大数据计算/日志存储和分析/分布式存储原理
  • Cloud 组： 云计算/容器编排/分布式系统/消息队列中间件/微服务框架/RPC框架
  • DevOps 组： 自动化运维/高可用/DBA（规划）

产出：

  • 团队相关方向业务的支持（比如日志系统，比如容器调度）
  • 相关方向课程的 Lab 题解和指南
  • 相关方向开源项目的原理
  • 产出一个我们团队在这方向的小项目（简化版），可以用来学习原理，就像大学都有自己为了教操作系统课程而开发的玩具操作系统一样
  • 相关方向新技术的调研和应用