当前位置:
文档之家› 高并发高负载系统架构专题培训课件
高并发高负载系统架构专题培训课件
解决之道——部署篇——方案二
适用范围:
以动态交互内容为主体的网站或应用系统;
负载压力较大,且预算比较充足的网站或应用系统;
Web服务器组: Web服务无主从关系,属平行冗余设计; 通过前端负载均衡设备或Nginx反向代理实现负载均衡; 划分专用文件服务器/视频服务器有效分离轻/重总线; 每台Web服务器可通过DEC可实现连接所有数据库,同时划分主从。 数据库服务器组: 相对均衡的承载数据库读写压力; 通过数据库物理文件的映射实现多数据库的数据同步。 共享磁盘/磁盘阵列 将用于数据物理文件的统一读写 用于大型附件的存储仓库 通过自身物理磁盘的均衡和冗余,确保整体系统的IO效率和数据安全; 方案特性: 通过前端负载均衡,合理分配Web压力; 通过文件/视频服务器与常规Web服务器的分离,合理分配轻重数据流; 通过数据库服务器组,合理分配数据库IO压力; 每台Web服务器通常只连接一台数据库服务器,通过DEC的心跳检测,可在极短时间内自动切换至冗余数据库服务器; 磁盘阵列的引入,大幅提升系统IO效率的同时,极大增强了数据安全性。
解决之道——部署篇——方案一
适用范围:
静态内容为主体的网站和应用系统;
对系统安全要求较高的网站和应用系统。
Main Server:主服务器 承载程序的主体运行压力,处理网站或应用系统中的动态请求; 将静态页面推送至多个发布服务器; 将附件文件推送至文件服务器; 安全要求较高,以静态为主的网站,可将服务器置于内网屏蔽外网的访问。 DB Server:数据库服务器 承载数据库读写压力; 只与主服务器进行数据量交换,屏蔽外网访问。 File/Video Server:文件/视频服务器 承载系统中占用系统资源和带宽资源较大的数据流; 作为大附件的存储和读写仓库; 作为视频服务器将具备视频自动处理能力。 发布服务器组: 只负责静态页面的发布,承载绝大多数的Web请求; 通过Nginx进行负载均衡部署。
根据服务器上的硬件和软件条件进行MySQl优化。MySQL优化的核心在于系统资源的分配,这不等于无限制 的给MySQL分配更多的资源。在MySQL配置文件中我们介绍几个最值得关注的参数: 改变索引缓冲区长度(key_buffer) 改变表长(read_buffer_size) 设定打开表的数目的最大值(table_cache) 对缓长查询设定一个时间限制(long_query_time)
高并发高负载系统架构
目录
1、为什么要进行高并发和高负载的研究 2、高并发和高负载的约束条件 3、解决之道——硬件篇 4、解决之道——部署篇 5、解决之道——环境篇 6、解决之道——SiteEngine篇 7、解决之道——测试篇 8、结尾
为什么要进行高并发和高负载的研究
1、产品发展的需要 2、公司发展的需要 3、当前形式决定的
策略:相对于老牌的Apache,我们选择Lighttpd和Nginx这些具有更小的资源占用率和 更高的负载能力的web服务器。
解决之道——环境篇——Mysql
MySQL本身具备了很强的负载能力,MySQL优化是一项很复杂的工作,因为这最终需要对系统优化的很好理解。 大家都知道数据库工作就是大量的、短时的查询和读写,除了程序开发时需要注意建立索引、提高查询效率等软件 开发技巧之外,从硬件设施的角度影响MySQL执行效率最主要来自于磁盘搜索、磁盘IO水平、CPU周期、内存带 宽。
高并发和高负载的约束条件
1、硬件 2、部署 3、操作系统 4、Web 服务器 5、PHP 6、MySQL 7、测试
解决之道——硬件篇
处理能力的提升:部署多颗CPU,选择多核心、具备更高运算频率、更大高速缓存的CPU; 处理能力的提升最直接的反应在于Web请求的处理效率和PHP程序的执行效率。 内存带宽与容量:更大的内存带宽和容量; 内存带宽与容量的提升最直接的反应在于应对数据库大量的数据交换。 磁盘搜索与I/O能力:选择更高的转速、更大的硬盘缓存、组件磁盘阵列(RAID); 磁盘搜索与I/O能力的提升最直接反应在于数据库大量的查询和读写以及文件的读写。 网络带宽的提升可考虑的因素包括: 更大带宽、多线路接入、独享带宽; 服务器在大负载的情况下,对网络带宽的占用是十分可观的。
策略:硬件设施是应对大负载的基础,硬件设施的投入可根据实际压力和预算量力而行。
解决之道——部署篇
ห้องสมุดไป่ตู้
1、服务器分离
2、数据库集群和库表散列
3、镜像
4、负载均衡 分类: 1)、DNS轮循
2)代理服务器负载均衡 3)地址转换网关负载均衡
4)NAT负载均衡 5)反向代理负载均衡 6)混合型负载均衡
策略:根据硬件投入和业务需求,选择合理的部署方案。
解决之道——环境篇
1、操作系统 2、Web服务器 3、Mysql 4、PHP 5、代理服务器(缓存服务器)
解决之道——环境篇——操作系统
操作系统的选择,关注点在于 • 是否适应于搭建SiteEngine所需要的环境程序? • 系统本身占用的资源比; • 系统安全性; • 系统是否易于操作?
策略:我们选择FreeBSD,而且是最小化安装以后的FreeBSD。
解决之道——环境篇——Web服务器
Web服务器很大一部分资源占用来自于处理Web请求,通常情况下这也就是Apache产生的压力,Apache是世界 使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上。 在高并发连接的情况下,Nginx是Apache服务器不错的替代品。Nginx (“engine x”) 是俄罗斯人编写的一款高 性能的 HTTP 和反向代理服务器。在国内,已经有新浪、搜狐通行证、网易新闻、网易博客、金山逍遥网、金山 爱词霸、校内网、YUPOO相册、豆瓣、迅雷看看等多家网站、频道使用 Nginx 服务器。 Nginx的优势: 高并发连接:官方测试能够支撑5万并发连接,在实际生产环境中跑到2~3万并发连接数。 内存消耗少:在3万并发连接下,开启的10个Nginx 进程才消耗150M内存(15M*10=150M)。 内置的健康检查功能:如果 Nginx Proxy 后端的某台 Web 服务器宕机了,不会影响前端访问。