未解决
此帖子已超过 5 年
Community Manager
•
7.3K 消息
0
2306
【分享】双11技术考:一分钟内超千万人齐点天猫
原文出处:第一财经日报 http://www.yicai.com/news/2014/11/4038675.html
也许是早几年各大购物狂欢期间电商网站几近崩溃的经历太过惨痛,每年双11大多数网购者都有着这样一个担心,这次抢购时网站是不是又得卡上一阵子。
尽管这样的几率已经越来越罕见,但买家对这方面的容忍度也已经越发苛刻。
今年11月11日零时,相比在购物车塞满了各式物品忙于下单的消费者,随着交易量的节节攀升,各家电商企业的IT团队正面临着一年一度的技术大考。
必不可少的技术演习
电商网站的IT能力有多重要?不少企业已经为此交足了学费。
2012年8月的那一轮电商大战中,因服务器拖后腿导致苏宁易购网页缓慢,作为对手的京东商城CEO刘强东曾在微博上放风凉话,“晕啊!苏宁怎么打不开网页了?京东已经内部测试云计算很久了,价格战期间,我们可以免费让你们使用京东云计算资源!”
这一次的双11,喜欢一边督战一边点评的刘强东在纳斯达克敲钟后已经在微博上销声匿迹。但作为电商企业,这样的购物节,备战的人依然不会少。
今年京东商城研发部跟往年一样成立了商城双11指挥中心。
据京东集团副总裁、京东11·11总指挥马松透露,备战期间需要协同横跨京东商城集团、金融集团、微信手Q事业部、成都研究院等相关的事业部,一同参与到技术备战和演练中。
与此同时,京东15个一级部门,121个备战小组从11月1日开始正式进入24小时值守的备战状态,并先后进行了100多场系统演习。
而面临更大流量挑战压力的是阿里。
按照去年的数据,2013年11月11日凌晨,一分钟内有1370万人涌入天猫,相当于大半个北京城的人都出来逛街。其中,34万“剁手党”在这一分钟内抢到了心仪的宝贝,成交1.17亿元。
同样的,在今年11月11日之前,针对天猫双11的技术演练早已在紧锣密鼓地进行。
阿里巴巴技术保障部高级专家潘健透露,目前,阿里巴巴技术团队已经为双11的流量峰值进行了8次压力测试,均平稳应对。
据了解,为保障海外买家和卖家的用户访问体验,阿里技术团队进行了一系列部署:今年6月新交付一个大型数据中心,用于保障海外业务;海外服务器数量翻倍,国际专线网络带宽提升10倍;海外CDN网络节点和年初相比增加了一倍;目前,海外CDN节点带宽能力已经达到数百G,可以充分保障海外用户访问速度和体验。
比拼技术的时代
2012年11月11日,双11交易额191亿元“奇迹”诞生前,正当许多买家正在享受购物狂欢时,突然一条这样的提示信息出现在眼前:我们的系统检测到您所在的网络对淘宝网的访问请求过于频繁,很抱歉,现在暂时无法处理您的请求,请您过一段时间后再来访问。
这是当时的淘宝不得不做出的决定,必须关掉一部分流量。因为按照当时的评估,如果不做限流,不让一部分人先等等,可能会导致全盘系统的瘫痪。
而如今这样的情况在阿里的技术团队看来似乎已经变得遥远。
据阿里方面相关负责人的表述,在历经五年双11考验后,阿里巴巴技术团队已具备能力,将黑客攻击、局部爆发性流量增长、机房空调故障等种种“不确定因素”变为可预估的风险,并将2013年2000多套技术应急方案缩减至500套以内。
“应急方案数骤降80%的背后,是阿里技术的逐渐成熟,这就像读书由薄变厚再由厚变薄一样。”潘健表示,希望今后我们的应急预案能越来越少,将资源投向更有意义的项目和创新中。
而这背后,从最初的一台普通的服务器到2008年几千台服务器加IOE解决方案(IBM的小型机、Oracle的数据库、EMC的存储),这样的架构曾经支撑了淘宝最初5年的发展。
但是到了2008年前后,有些问题无法找到现成解决方案的淘宝开始尝试着去做分布式存储、数据库、中间件、负载均衡这样一套电子商务操作系统,而淘宝技术也开始走向开放。在这几年间,淘宝已经从一个技术不被谈及的公司走向了技术型公司。
移动端技术战
兵家必争之地的移动互联网市场,各大电商绝对不会缺席,而技术的重要性同样不可小觑。
如今在移动购物市场占据最大市场份额的手机淘宝曾经在去年双11单日活跃用户达1.27亿,成交笔数达3590万笔,交易笔数占整体的21%。
这意味着,仅在第一分钟,就有200万人(相当于斯洛文尼亚全国人口)打开手机淘宝一阵狂点。
区别于传统的互联网,移动互联网被理解为:秒级的状态转化,秒级的延迟,简而言之:不稳定。而无论传统还是移动互动网,唯快不破。
今年农历新年开始,手机淘宝的技术团队开始进行客户端容器化的改造,逐步完成从集中式研发到大规模并行开发、灵活集成模式的转换,并完成一系列专项优化项目,覆盖包大小、网络、性能、耗电量、操作模式等。
按照淘宝方面提供的数据,优化后的手机淘宝实现了2G首包1秒,3G 1秒建立连接,WiFi 1秒加载完毕这样的一个初步目标。
此外,为了适应Android手机中众多低端机和低系统版本机器,目前手淘的基准要求是覆盖80%用户的机型,换算为手机数多达200多款(垒起来一层楼高)。
“为了解决低端机型的问题,我们启动了瘦身计划、按需加载、内存精简等项目,确保在架构一致的情况下满足低端机型的要求。”阿里无线事业部技术总监庄卓然补充道。
Roger_Wu
2 Intern
2 Intern
•
4K 消息
0
2014年11月11日 00:00
看到关键字了!
DELL-Leo
Community Manager
Community Manager
•
7.3K 消息
0
2014年11月11日 00:00
眼睛很毒啊~ 哈哈!
liulei_it
2 Intern
2 Intern
•
3.2K 消息
0
2014年11月11日 02:00
快去解决12306不能买到票的问题哦
Roger_Wu
2 Intern
2 Intern
•
4K 消息
0
2014年11月11日 17:00
据说12306的SKU更复杂哦,可以看看这篇:
前淘宝工程师发帖谈12306:曾嗤之以鼻 现在认为几乎是奇迹
Fenglin1
2 Intern
2 Intern
•
2.1K 消息
0
2014年11月11日 22:00
不知道双11一样流量压倒国外友商上面会发生什么,我估计只要1/5或者更少ebay就要爆了
Jeffey1
2 Intern
2 Intern
•
2.8K 消息
0
2014年11月12日 01:00
双11一搞,阿里股票破120了啊!
born_chen
2 Intern
2 Intern
•
1.8K 消息
0
2014年11月12日 06:00
里面有Pivotal 的内存数据库。
liulei_it
2 Intern
2 Intern
•
3.2K 消息
0
2014年11月13日 02:00
内存数据库呀,不会又是开源的吧
Roger_Wu
2 Intern
2 Intern
•
4K 消息
0
2014年11月13日 17:00
淘宝貌似开发了很多的数据库和分布式系统,正在用的是啥倒不清楚:
淘宝几大神器TFS、OceanBase、Tair、Tengine
http://tfs.taobao.org/
OceanBase 是一个高性能的分布式表格系统,提供类似BigTable的性能和扩展性,但表格中保存的是强类型的数据,比如integer, string, datetime等。它使用C++编写,运行于64位Linux环境下。生产环境下需要使用多台机器搭建OceanBase集群以提供高可用和高性能,但是你也完全可以使用一台机器运行OceanBase。
http://code.taobao.org/p/OceanBase/wiki/quickstart/
Tair 是淘宝自己开发的一个分布式 key/value 存储引擎. tair
分为持久化和非持久化两种使用方式. 非持久化的 tair 可以看成是一个分布式缓存. 持久化的 tair 将数据存放于磁盘中. 为了解决磁盘损坏导致数据丢失, tair 可以配置数据的备份数目, tair 自动将一份数据的不同备份放到不同的主机上, 当有主机发生异常, 无法正常提供服务的时候, 其于的备份会继续提供服务.
http://tair.taobao.org/
Tengine 正式开源,Tengine是淘宝Web服务器,基于最新的Nginx稳定版(Nginx-1.0.10),在它的基础上开发了一些功能和做了一些bug修复,比如:组合多个CSS、JavaScript文件的访问请求变成一个请求;支持管道和syslog形式的日志和抽样;自动根据CPU数目设置亲缘性;监控系统的负载和资源占用从而对系统进行保护;显示对运维人员更友好的出错信息,便于定位出错机器;更强大的访问速度限制模块;backtrace模块,程序崩溃的时候可以显示出错的调用栈;根据文件类型设置过期时间;…基本上,Tengine可以被看作一个更好的Nginx,或者是Nginx的超集。您可以在这里下载:
canhao
1 Rookie
1 Rookie
•
118 消息
0
2014年12月8日 00:00
我也有贡献...