当前位置:首页 >>新闻 >> 2007年12月06日
群讨论:关于服务器集群,负载均衡的讨论
整理一下今天草根群里的讨论话题,《关于服务器集群,负载均衡的讨论》内容中有三张图片,不知道怎么弄上来,大家可以到链接我的博客中去看。
不然穆归 11:32:15
有没人讨论下刚才那篇web架构的? (WEB 架构设计经验分享 http://www.20ju.com/content/V13968.htm)
不然穆归 11:34:05
因为我这正好有人也去了 2.0大会,很多说的很实在,也确实需要有那样的经历才能知道是如此。现在有技术挑战的 无非是并发 存储,db, cache,文中有提到 不用DB, 这 我是赞同的。
农历四月初八 11:36:12
用个google的那种方式?
不然穆归 11:36:25
EN, 我们现在 让db做了很多复杂和它不擅长的事。
不然穆归 11:36:52
不过 我的感觉, 当是补充吧,不要为了技术而技术,要联系业务需求,要联系实际的团队技术人员水平。
笑笑生20ju.com 11:37:30
我们网站01hr业务逻辑比较复杂,在流程处理上遇到很多困难,现在已经加到十台服务器。现在的流量也不过才17万IP一天,但就感觉到性能不太好。
不然穆归 11:38:35
你大概先说下架构和问题
笑笑生20ju.com 11:38:59
apache+tomat+java+saqlserver,在 win2003 server上,问题是数据库经常出现阻塞
农历四月初八 11:39:33
插一句,resin和tomcat比,那个性能更好啊,我们用的都是resin。
不然穆归 11:39:57
resin,
笑笑生20ju.com 11:39:58
我在要求技术把web server端转换到linux,他们正在测试。另外,磁盘阵列由一台机器控制,然后上面又有apahce服务,现在503的错误挺多。
不然穆归 11:40:31
你们有几台web server?
笑笑生20ju.com 11:40:45
有二台
不然穆归 11:41:19
有注意 浏览器的cache吗? 还有etag问题
笑笑生20ju.com 12:08:02
浏览器的cache 这块用特意做吗?用户浏览时不就缓存在客户端了吗
不然穆归 12:52:31
你还没描述完呢
笑笑生20ju.com 12:52:49
一台数据库服务器,用的dell 6850,还有电子邮件服务器,还有一台服务器用做搜索,
现在最大的问题是503错误多,一天有2千多。
不然穆归 12:54:25
来,开始分析,2台web server,对吧
不然穆归 12:55:04
你们动静 分开的不?domain,或者目录区分的那种
笑笑生20ju.com 12:55:34
现在动静是混在一起的。打算分开呢,现在有个问题是静态是用户在第一次访问时生成的,现在有几百万静态页。
不然穆归 12:56:15
2, 你们检查下你们的last-modified, etag等问题
3 你们有没对数据压缩?类似于apache deflate等应用方式
不然穆归 13:07:43
看下web server的连接状态,主要看下已连接和time_wait数的多少 和比例。
如果time_wait数很多话, 你看下是和哪部分连接的,根据你刚才所描述的话,我猜想你们连db部分应该很是缓慢。
优化DB和加入cache 层
笑笑生20ju.com 13:11:14
DB如何优化呢
不然穆归 13:11:52
这个太多了,比如建立index, 分割db。还是那句, 从整个架构查看, 入手先解决大头问题。
笑笑生20ju.com 13:16:13
我们转linux平台,会不会提高性能
农历四月初八 13:16:49
Linux好啊,感觉比windows爽多了
不然穆归 13:18:02
EN, 还是那句 系统跑的如何还看是谁在控制它
笑笑生20ju.com 13:19:59
我想把web server这块切换到linux上
农历四月初八 13:20:43
不然,一般访问量到多少会建议上squid呢?
不然穆归 13:21:13
看应用类型,和访问量没直接关系。
农历四月初八 13:21:44
是不是大部分squid都用于静态页面,动态用的少
不然穆归 13:21:55
这个你提到了, 我就讲下,在像ChinaCache这些专业CDN那。
动静 加速是结合使用的。
闪电 13:32:22
能说下关于:数据库集群和数据表散列吗?
不知道我这样问对不对,见笑
不然穆归 13:33:04
db cluster , 是你们有这个需求还是?
荒漠行者 13:33:26
双机?热备?阵列?
闪电 13:33:45
你们把我问住了
闪电 13:34:04
我现在是在请教问题啊,我对这两个没概念呢
不然穆归 13:34:41
所以呀, 概念没什么意思
不然穆归 13:34:58
我来问大家一个吧
不然穆归 13:35:33
web server 怎么改善其高并发能力。
农历四月初八 13:48:38
不然,能说说ebay用的什么负载均衡吗?方便透露吗?
闪电 13:49:10
要不先说ebay的数据库是怎么架构的也行
农历四月初八 13:49:14
硬件还是软件,还是两者都有,应用不同,方法不同
不然穆归 13:49:37
我们用的是硬件设备,比如 F5, 这个知道吧
农历四月初八 13:50:23
没有用LVS这些吗
不然穆归 13:50:28
但F5的big-ip 效率不佳,且对ddos的防御能力很弱。在我们这多的还是netscaler。
不然穆归 13:51:11
没有, lvs我在以前公司时 用的,lvs-dr
农历四月初八 13:51:30
呵呵,我们也是dr
不然穆归 13:52:20
lvs 从理论角度来说确实要比那些app的方式要 好
haproxy, nginx等方式
农历四月初八 13:53:07
7层交换那些哈
农历四月初八 13:53:31
七层交换对要拆包拆的太多,机器负责太高了
不然穆归 13:53:39
呵呵, 这样理解
农历四月初八 13:54:05
用于QoS的应该比较适合把
不然穆归 13:54:17
先看看在这个web pool里 用什么来处理请求的多,比如多为apache
那你最基本要了解apache mpm
不然穆归 13:55:42
我问问你, 你们那web server是怎么样的,是哪种web server,还是多种混合?
农历四月初八 13:55:58
呵呵,通用的apache+squid
有些会单独resin跑80,要不就是apache+resin
静态频道就是 squid+apache了 ,图片也是squid,
不然穆归 13:57:23
apache 你们的MPM是
农历四月初八 13:57:56
这个没注意,呵呵
现在比较懒,都好久没看过技术方面的东西了
不然穆归 13:59:21
所以呀, 需要有钱的动力给你才行 呵呵
农历四月初八 14:00:24
我左边的同事负责静态频道,右边的同事搞的LVS,喜欢专研,我管管发布系统还有一些杂七杂八的东西,呵呵
不然穆归 14:01:39
那我说下吧
prefork 是在apache里最普遍和稳定的方式
不然穆归 14:01:59
预先派生进程
worker 以进/线 程混合模式
效率高些,但和php 搭配不是太顺
农历四月初八 14:03:11
为什么呢?
不然穆归 14:03:36
我用进程来 一对一的与你交流
死一个 最多一个connection
但worker的话 死个进程会影响一大片
这样好理解了吧
毕竟像linux,apache,php 的线程能力 一般
农历四月初八 14:08:04
呵呵,刚才找了台源服务器看了下,编译时加的--with-mpm=prefork ,看样是用的这个
不然穆归 14:17:54
我稍微给你们透露些东西吧
但不是google的
你就当某家公司吧
农历四月初八 14:18:12
google那些基本是从开发开始就考虑分布的问题了,
不然穆归 14:19:05
加机器进入idc,接上网线 按电源,机器开始以接近于kickstart的方式自动安装,
每台机器 在20-30分钟内肯定搞定~。
小虾米 14:20:09
好快
不然穆归 14:20:28
安装好的OS 都是内核和net栈优化过的
在某批服务器 加入某个应用pool里,比如 web pool后
可以直接在服务器上执行 类似于 cc install webserver的方式安装
农历四月初八 14:22:10
cc install webserver 是什么方式?
不然穆归 14:22:23
类似yahoo的yinstall
自己开发的工具,可以用于一条命令安装好apache,mysql,php等
也可以用于上线
小虾米 14:23:04
噢。方便。
不然穆归 14:23:09
就是说 比如 你们的开发人员开发修改了程序
你们需要上个新版本
但 比如几千几万台服务器 ,你怎么让个新版本?
呵呵, 那就可以用这个cc以分布式的方式一次安装成
小虾米 14:23:52
是不是相当于XP下的GHOST?
不然穆归 14:24:24
就是在控制中心的服务器上执行cc deploy_new 命令 上好所有几万台机器的程序,而且在控制中心的服务器 上也可以监视所有机器的版本上线情况。数据存储和google gfs是一样的, 我只管塞机器进入idc。
用户上传的图片我不在户在哪台机器上,因为 这个图片我会有不同的backup。在某台机器down了时 会自动切到新的backup那机器上。
小虾米 14:26:51
自动换是路由干的活么?还是其它手段?
农历四月初八 14:26:59
乖乖,这个好强,那他也是集群的吧,应该有特定的集群套件的吧,因为你上面提到新加入的机器放入某个pool里面
不然穆归 14:27:04
man干的
Master Admin Node
goocao.com 14:28:12
强.....
小虾米 14:28:20
绝对的工程师
农历四月初八 14:28:28
难道是那个lustre?
不然穆归 14:28:43
不是
不然穆归 14:29:07
核心的东西 都是需要 工程师自己开发
和gfs不同的地方是
这里所有的机器做所有的事情都很快, 一个命令就搞定
2 所有的机器的cpu,ram, disk使用都可控
不然穆归 14:30:38
你们有没这样的问题
比如web pool,一台机器是大硬盘
一台是小硬盘
那就会在使用中发现一台机器使用的很 难受
一台却闲的慌?
农历四月初八 14:31:36
man可以自动根据硬件调节?
不然穆归 14:31:40
EN
小虾米 14:31:45
厉害
农历四月初八 14:31:47
靠,太强了
小虾米 14:31:52
太人性化了
goocao.com 14:32:17
可以把一部分访问随便切换访问的服务器吗?
不然穆归 14:32:27
EN
小虾米 14:32:28
我想知道两台机器间如何镜像备份文件
不然穆归 14:32:41
让所有的机器看起来都像 一台机器
农历四月初八 14:32:49
应该没有切换问题,这玩意就是一大群对着外面
不然穆归 14:32:49
rsync, drbd
农历四月初八 14:33:11
drbd,网络raid
不然穆归 14:33:12
EN, 对外界来说 ;根本不知道里面的架构
小虾米 14:33:14
drbd这个是另一种方法么?
goocao.com 14:33:18
哦 ... 是的
小虾米 14:33:44
rsync这个知道
农历四月初八 14:33:55
drbd要求硬盘同大小吧,要不会浪费的,而且好像官方建议不能两
[ 关键词:服务器集群 负载均衡 架构 草根网 原文/来源链接 ]




顶一个呀.303158