群讨论：关于服务器集群，负载均衡的讨论

整理一下今天草根群里的讨论话题，《关于服务器集群，负载均衡的讨论》内容中有三张图片，不知道怎么弄上来，大家可以到链接我的博客中去看。 不然穆归 11:32:15 有没人讨论下刚才那篇web架构的? (WEB 架构设计经验分享 http://www.20ju.com/content/V13968.htm) 不然穆归 11:34:05 因为我这正好有人也去了 2.0大会，很多说的很实在,也确实需要有那样的经历才能知道是如此。现在有技术挑战的 无非是并发 存储,db, cache，文中有提到 不用DB, 这 我是赞同的。 农历四月初八 11:36:12 用个google的那种方式？ 不然穆归 11:36:25 EN, 我们现在 让db做了很多复杂和它不擅长的事。 不然穆归 11:36:52 不过 我的感觉, 当是补充吧，不要为了技术而技术，要联系业务需求，要联系实际的团队技术人员水平。 笑笑生20ju.com 11:37:30 我们网站01hr业务逻辑比较复杂，在流程处理上遇到很多困难，现在已经加到十台服务器。现在的流量也不过才17万IP一天，但就感觉到性能不太好。 不然穆归 11:38:35 你大概先说下架构和问题 笑笑生20ju.com 11:38:59 apache+tomat+java+saqlserver，在 win2003　server上，问题是数据库经常出现阻塞 农历四月初八 11:39:33 插一句，resin和tomcat比，那个性能更好啊，我们用的都是resin。 不然穆归 11:39:57 resin, 笑笑生20ju.com 11:39:58 我在要求技术把web server端转换到linux，他们正在测试。另外，磁盘阵列由一台机器控制，然后上面又有apahce服务，现在503的错误挺多。 不然穆归 11:40:31 你们有几台web server? 笑笑生20ju.com 11:40:45 有二台 不然穆归 11:41:19 有注意 浏览器的cache吗? 还有etag问题 笑笑生20ju.com 12:08:02 浏览器的cache 这块用特意做吗？用户浏览时不就缓存在客户端了吗 不然穆归 12:52:31 你还没描述完呢 笑笑生20ju.com 12:52:49 一台数据库服务器，用的dell 6850，还有电子邮件服务器，还有一台服务器用做搜索， 现在最大的问题是503错误多，一天有2千多。 不然穆归 12:54:25 来,开始分析，2台web server,对吧 不然穆归 12:55:04 你们动静 分开的不?domain,或者目录区分的那种 笑笑生20ju.com 12:55:34 现在动静是混在一起的。打算分开呢，现在有个问题是静态是用户在第一次访问时生成的，现在有几百万静态页。 不然穆归 12:56:15 2, 你们检查下你们的last-modified, etag等问题 3 你们有没对数据压缩？类似于apache deflate等应用方式 不然穆归 13:07:43 看下web server的连接状态，主要看下已连接和time_wait数的多少 和比例。 如果time_wait数很多话, 你看下是和哪部分连接的，根据你刚才所描述的话,我猜想你们连db部分应该很是缓慢。 优化DB和加入cache 层 笑笑生20ju.com 13:11:14 DB如何优化呢 不然穆归 13:11:52 这个太多了，比如建立index, 分割db。还是那句, 从整个架构查看, 入手先解决大头问题。 笑笑生20ju.com 13:16:13 我们转linux平台，会不会提高性能 农历四月初八 13:16:49 Linux好啊，感觉比windows爽多了 不然穆归 13:18:02 EN, 还是那句 系统跑的如何还看是谁在控制它 笑笑生20ju.com 13:19:59 我想把web server这块切换到linux上 农历四月初八 13:20:43 不然，一般访问量到多少会建议上squid呢？ 不然穆归 13:21:13 看应用类型，和访问量没直接关系。 农历四月初八 13:21:44 是不是大部分squid都用于静态页面，动态用的少 不然穆归 13:21:55 这个你提到了, 我就讲下，在像ChinaCache这些专业CDN那。 动静 加速是结合使用的。 闪电 13:32:22 能说下关于:数据库集群和数据表散列吗? 不知道我这样问对不对,见笑 不然穆归 13:33:04 db cluster , 是你们有这个需求还是? 荒漠行者 13:33:26 双机?热备?阵列? 闪电 13:33:45 你们把我问住了 闪电 13:34:04 我现在是在请教问题啊,我对这两个没概念呢 不然穆归 13:34:41 所以呀, 概念没什么意思 不然穆归 13:34:58 我来问大家一个吧 不然穆归 13:35:33 web server 怎么改善其高并发能力。 农历四月初八 13:48:38 不然，能说说ebay用的什么负载均衡吗？方便透露吗？ 闪电 13:49:10 要不先说ebay的数据库是怎么架构的也行 农历四月初八 13:49:14 硬件还是软件，还是两者都有，应用不同，方法不同 不然穆归 13:49:37 我们用的是硬件设备，比如 F5, 这个知道吧 农历四月初八 13:50:23 没有用LVS这些吗 不然穆归 13:50:28 但F5的big-ip 效率不佳，且对ddos的防御能力很弱。在我们这多的还是netscaler。 不然穆归 13:51:11 没有, lvs我在以前公司时 用的,lvs-dr 农历四月初八 13:51:30 呵呵，我们也是dr 不然穆归 13:52:20 lvs 从理论角度来说确实要比那些app的方式要 好 haproxy, nginx等方式 农历四月初八 13:53:07 7层交换那些哈 农历四月初八 13:53:31 七层交换对要拆包拆的太多，机器负责太高了 不然穆归 13:53:39 呵呵, 这样理解 农历四月初八 13:54:05 用于QoS的应该比较适合把 不然穆归 13:54:17 先看看在这个web pool里 用什么来处理请求的多，比如多为apache 那你最基本要了解apache mpm 不然穆归 13:55:42 我问问你, 你们那web server是怎么样的，是哪种web server,还是多种混合？ 农历四月初八 13:55:58 呵呵，通用的apache+squid 有些会单独resin跑80，要不就是apache+resin 静态频道就是 squid+apache了 ，图片也是squid， 不然穆归 13:57:23 apache 你们的MPM是 农历四月初八 13:57:56 这个没注意，呵呵 现在比较懒，都好久没看过技术方面的东西了 不然穆归 13:59:21 所以呀, 需要有钱的动力给你才行 呵呵 农历四月初八 14:00:24 我左边的同事负责静态频道，右边的同事搞的LVS，喜欢专研，我管管发布系统还有一些杂七杂八的东西，呵呵 不然穆归 14:01:39 那我说下吧 prefork 是在apache里最普遍和稳定的方式 不然穆归 14:01:59 预先派生进程 worker 以进/线 程混合模式 效率高些,但和php 搭配不是太顺 农历四月初八 14:03:11 为什么呢？ 不然穆归 14:03:36 我用进程来 一对一的与你交流 死一个 最多一个connection 但worker的话 死个进程会影响一大片 这样好理解了吧 毕竟像linux,apache,php 的线程能力 一般 农历四月初八 14:08:04 呵呵，刚才找了台源服务器看了下，编译时加的--with-mpm=prefork ，看样是用的这个 不然穆归 14:17:54 我稍微给你们透露些东西吧 但不是google的 你就当某家公司吧 农历四月初八 14:18:12 google那些基本是从开发开始就考虑分布的问题了， 不然穆归 14:19:05 加机器进入idc,接上网线 按电源，机器开始以接近于kickstart的方式自动安装， 每台机器 在20-30分钟内肯定搞定~。 小虾米 14:20:09 好快 不然穆归 14:20:28 安装好的OS 都是内核和net栈优化过的 在某批服务器 加入某个应用pool里,比如 web pool后 可以直接在服务器上执行 类似于 cc install webserver的方式安装 农历四月初八 14:22:10 cc install webserver 是什么方式？ 不然穆归 14:22:23 类似yahoo的yinstall 自己开发的工具,可以用于一条命令安装好apache,mysql,php等 也可以用于上线 小虾米 14:23:04 噢。方便。 不然穆归 14:23:09 就是说 比如 你们的开发人员开发修改了程序 你们需要上个新版本 但 比如几千几万台服务器 ,你怎么让个新版本? 呵呵, 那就可以用这个cc以分布式的方式一次安装成 小虾米 14:23:52 是不是相当于XP下的GHOST? 不然穆归 14:24:24 就是在控制中心的服务器上执行cc deploy_new 命令 上好所有几万台机器的程序，而且在控制中心的服务器 上也可以监视所有机器的版本上线情况。数据存储和google gfs是一样的, 我只管塞机器进入idc。 用户上传的图片我不在户在哪台机器上，因为 这个图片我会有不同的backup。在某台机器down了时 会自动切到新的backup那机器上。 小虾米 14:26:51 自动换是路由干的活么？还是其它手段？ 农历四月初八 14:26:59 乖乖，这个好强，那他也是集群的吧，应该有特定的集群套件的吧，因为你上面提到新加入的机器放入某个pool里面 不然穆归 14:27:04 man干的 Master Admin Node goocao.com 14:28:12 强..... 小虾米 14:28:20 绝对的工程师 农历四月初八 14:28:28 难道是那个lustre？ 不然穆归 14:28:43 不是 不然穆归 14:29:07 核心的东西 都是需要 工程师自己开发 和gfs不同的地方是 这里所有的机器做所有的事情都很快, 一个命令就搞定 2 所有的机器的cpu,ram, disk使用都可控 不然穆归 14:30:38 你们有没这样的问题 比如web pool,一台机器是大硬盘 一台是小硬盘 那就会在使用中发现一台机器使用的很 难受 一台却闲的慌? 农历四月初八 14:31:36 man可以自动根据硬件调节？ 不然穆归 14:31:40 EN 小虾米 14:31:45 厉害 农历四月初八 14:31:47 靠，太强了 小虾米 14:31:52 太人性化了 goocao.com 14:32:17 可以把一部分访问随便切换访问的服务器吗? 不然穆归 14:32:27 EN 小虾米 14:32:28 我想知道两台机器间如何镜像备份文件 不然穆归 14:32:41 让所有的机器看起来都像 一台机器 农历四月初八 14:32:49 应该没有切换问题，这玩意就是一大群对着外面 不然穆归 14:32:49 rsync, drbd 农历四月初八 14:33:11 drbd，网络raid 不然穆归 14:33:12 EN, 对外界来说 ;根本不知道里面的架构 小虾米 14:33:14 drbd这个是另一种方法么？ goocao.com 14:33:18 哦 ... 是的 小虾米 14:33:44 rsync这个知道 农历四月初八 14:33:55 drbd要求硬盘同大小吧，要不会浪费的，而且好像官方建议不能两