來源:人民網(wǎng)時政 發(fā)表日期:2014-1-20
1月18日下午,2014年春運廣鐵首趟外來工專列——L328次列車從廣州火車站準時開出。買票回家,是每年春運最大的愿望。
我曾在淘寶寫過一段時間代碼,2012年在一家百強民企做電商副總,當時在極為艱苦的條件下帶隊開發(fā)了一個B2C網(wǎng)站,走支付寶和銀聯(lián)支付通道,年營業(yè)額千萬級(當然實在太少了,我只是說這個網(wǎng)站投入了實際的運營)。
也就在那個時候,我對“12306”嗤之以鼻,覺得他們做得太爛了,認為自己能帶隊花幾百萬元用半年時間做個好的出來。于是我狂妄地想做一個開源的訂票系統(tǒng)給他們。我花了一個星期時間思考建立數(shù)據(jù)模型,思考到庫存這一步的時候,我才發(fā)現(xiàn),“12306”的庫存復雜性比淘寶、京東高很多倍,運算量也大很多倍。傳統(tǒng)的分布式數(shù)據(jù)庫、緩存、負載均衡技術并不能恰好滿足“12306”的需求。
淘寶技術的確比“12306”強大很多倍,淘寶現(xiàn)在的系統(tǒng)也是花了10倍于“12306”的錢、時間和人力才做起來的。根本原因還是鐵路運力不能滿足春運需求,淘寶也解決不了這個問題。
“12306”這一年來進步非常大。從前端動畫驗證碼、分時段搶票,到后端去小型機、虛擬化、內(nèi)存數(shù)據(jù)庫的運用。可以說,這是中國官方部門做得最強大的網(wǎng)站(電商系統(tǒng))。至于“12306”一期工程3個億(含硬件)貴不貴我不評價,我只提供一個數(shù)字供參考:百度一年的研發(fā)費用(不含硬件)是10億元,這來自百度財報。3億元看起來好大一個數(shù)字,真用到超大型的電商系統(tǒng)、搜索引擎系統(tǒng)里面,其實也不算天文數(shù)字了。
你不知道的“秒殺”
為什么秒殺壓力大,為什么“12306”的動態(tài)庫存很復雜?
先說秒殺。
2013年12月25日前后,天貓搞了一個圣誕季積分兌換活動,持續(xù)幾天。25日上午10時12分,放出了15000個天貓魔盒,從成交記錄上看,19秒內(nèi)全部搶完。
實際上,我也參加秒殺了,那天的題目特別簡單——請輸入×××漢字的拼音首字母,我5秒內(nèi)答題完畢并提交訂單,結果系統(tǒng)告訴我排隊的人太多,擠不進去,并提示14秒后重試。人太多就是因為題目太簡單了,門檻越低,5秒內(nèi)擠進去的人也越多,如果題目換成“2克濃度為3%的U235在大亞灣核電站能發(fā)多少度電”,5分鐘之內(nèi)都不會有1萬5千人跟我競爭。
我想,14秒以后哪還有我的事呀,于是重新答題秒殺,結果出現(xiàn)了服務器錯誤的頁面。反復刷新幾次,秒殺就已經(jīng)結束了。
淘寶是什么技術水平呢,淘寶有至少4000名技術人員,至少4萬臺服務器(這是兩年前的公開數(shù)據(jù))。2013年11月11日成交額351億元,2012年全年成交額超過1萬億元。
淘寶擁有各種自主研發(fā)團隊:服務器、交換機;操作系統(tǒng)、Web服務器、Java語言虛擬機、數(shù)據(jù)庫、負載均衡器、Java運行容器。淘寶還有數(shù)不清的開源項目和中間件,如高性能Java通信中間件HSF、分布式數(shù)據(jù)庫中間件TDDL、異步消息系統(tǒng)notify等等。
以淘寶這樣的技術水平,都還不能做到秒殺時讓每個用戶都沒有擁擠感,為什么?
一是要尊重物理原理,一臺服務器一秒鐘能承受的計算量是有極限的,任你怎么優(yōu)化,采用多高效的算法和編程語言,都突破不了某個極限,比方說汽車發(fā)動機驅(qū)動的F1賽車至今也不能突破400公里的時速。
二是要考慮經(jīng)濟效益,“十一”黃金周的時候,北京主城區(qū)到八達嶺長城的路堵得嚴嚴實實,但不能因為黃金周的高峰,就把這段路修成長安街那樣10車道的高速公路,否則花費天文數(shù)字(“12306”那3個億大概只夠修1-3公里)修了一段路,平時曬谷子?
淘寶目前的硬件和帶寬數(shù)量,已經(jīng)超出日常運營的需求了,目的就是留出相當大的余量給大促銷。
再說動態(tài)庫存。
淘寶秒殺天貓魔盒的時候,只有一個商品(SKU),它的庫存是15000個。有一個人秒殺到了,庫存就減1,19秒賣完的,每秒要成功產(chǎn)生789個訂單。想象一下,你在廣場上賣火車票,一秒鐘內(nèi)有8萬人舉著錢對你喊:賣給我!
很多人都知道,比秒小的時間單位還有毫秒、皮秒、飛秒。但交易系統(tǒng)登記一個交易可不像電子繞著原子核跑一圈那么簡單,它要做這些事:檢查是否惡意訪 問、取到系統(tǒng)時間、取到顧客默認收貨地址、核對顧客秒殺資格、生成訂單號、把顧客ID系統(tǒng)時間訂單號收貨地址寫入訂單系統(tǒng)、扣除顧客天貓積分、商品庫存減 1、給顧客打標記(每人只能秒一個)等等,每件事都要花費毫秒級別的時間,這些操作加起來的時間可能是接近1秒級別的,但由于淘寶的服務器比較強悍,而且 采用了分布式和集群技術,結果比1秒理想一點。但即使有1萬臺服務器,也不能把這個時間稀釋成萬分之一秒,因為,商品只有一種,它有15000個庫存,對 應的數(shù)據(jù)庫記錄只有一行,所有的交易請求都要到這里來處理。
能不能把這15000個拆分成5000個商品并分配到5000臺服務器上呢?那樣不就可以5000臺服務器同時處理了嗎?答案是不能,首 先,5000個商品,意味著有5000個商品詳情頁,5000個購買按鈕,這對前期的營銷、引流是個災難。基本上就沒法做引流入口了,顯然這違背了商業(yè)管 理原則,人為增加了信息混亂程度。其次,天貓魔盒秒殺也不是啥大事,即使按官方標價399元來計算,也就600萬元的交易。如果600萬的交易要花費那么 大的配套成本,就太不劃算了。再次,淘寶有十幾億商品,這十幾億商品的展示交易和管理,本來就是分布到上萬臺服務器上去了。沒有必要再把每個商品按庫存拆 成多個商品了。
這789人搶到了,還不一定會付款,所以就又帶來訂單取消重新恢復庫存的問題。還有想要的消費者們,會認為還有機會,繼續(xù)在前臺刷一會兒,最終這個秒殺會被熱情的消費者們猛刷30秒到1分鐘。
12306的“變態(tài)”庫存
好了,講了半天淘寶,回到正題“12306”——我以北京西到深圳北的G71次高鐵為例,它有17個站(北京西是01號站,深圳北是17號站),3 種座位(商務、一等、二等)。表面看起來,這不就是3個商品嗎?G71商務座、G71一等座、G71二等座。大部分吐槽的人就是在這里栽第一個跟頭的。
實際上,G71有136×3=408種商品(408個SKU),怎么算出來的?請看:如果賣北京西始發(fā)的,有16種賣法(因為后面有16個站),北京西到:保定、石家莊、鄭州、武漢、長沙、廣州、虎門、深圳……分別都是一個獨立的商品。
同理,石家莊上車的,有15種下車的可能,以此類推,單以上下車的站來計算,有136種票:16+15+14……+2+1=136。每種票都有3種座位,一共是408個商品。
再看出票時怎么減庫存,由于商務、一等、二等三種座位數(shù)是獨立的,庫存操作也是一樣的,下文我就不再提座位的差別,只討論出發(fā)與到達站。另外,下文說的是理論模型,不是說“12306”的數(shù)據(jù)庫就是這么設計的。
旅客A買了一張北京西(01號站)到保定東(02號站)的,那么北京西到保定東這個商品的庫存就要減1,同時,北京西到石家莊、鄭州、武漢、長沙、廣州、虎門、深圳等15個站臺的商品庫存也要減1,也就是說,出一張北京西到保定東的票,實際上要減16個商品的庫存。
這還不是最復雜的,如果旅客B買了一張北京西(01號站)到深圳北(17號站)的票,除了北京西到深圳北這個商品的庫存要減1,北京西到保定東、石 家莊、鄭州、武漢、長沙、廣州、虎門等15個站臺的商品庫存也要減1,保定東到石家莊、鄭州、武漢、長沙、廣州、虎門、深圳北等15個站臺的商品庫存要減 1……總計要減庫存的商品數(shù)是16+15+14+……+1=120個。
當然,也不是每一張票的庫存都完全這樣實時計算,可以根據(jù)往年的運營情況,在高峰時段預先對車票做一些分配,比如北京到武漢的長途多一點,保定到石 家莊的短途少一點。我沒有證據(jù)證實鐵道部門這樣做了,但我相信,在還沒有“12306”網(wǎng)站的時候,就有這種人工預分配的策略了。
再想象一下,8萬人舉著錢對你高喊:賣給我。你好不容易在錢堆里找到一只手,拿了他的錢,轉(zhuǎn)身找120個同事,告訴他們減庫存,而這120個同事也 和你一樣被8萬人圍著;也和你一樣,每賣出一個商品要找?guī)资畟人減庫存……這就是“12306”動態(tài)庫存的變態(tài)之處。比你平時買東西的任何網(wǎng)站的庫存機制 都復雜幾十上百倍。
空談技術無益解決問題
防軟件搶票,也不是加個圖片驗證碼那么簡單。圖片驗證碼有6種機器暴力破解的辦法,搶票插件用的是OCR識別。驗證碼設置得復雜一點行不行?有人又 要提意見了:這只是便宜了大學生和辦公室白領,農(nóng)民工連26個字母都認不齊,怎么搞?搞動畫驗證碼吧,也有人說,視力不好的人怎么辦?最后驗證碼被搞得很 簡單,皆大歡喜。其實最高興的是開發(fā)搶票插件的公司。
就算采用了機器完全不可能識別的驗證碼,也防不住社會工程學的破解辦法。招募一堆網(wǎng)吧打游戲的青少年朋友,每成功輸入50個驗證碼給1塊錢,或者等 值的虛擬貨幣、游戲裝備,我保證想賺這個錢的人數(shù)不勝數(shù)。這點錢對轉(zhuǎn)賣車票的利潤而言,是可以接受的成本。有沒有什么技術可以防住社會工程學的破解辦法 呢?能防住網(wǎng)吧青少年的驗證碼只有——“2克濃度為3%的U235在大亞灣核電站能發(fā)多少度電”。
以上討論只是把“12306”當成和淘寶一樣沒有歷史包袱從零起步的交易系統(tǒng),實際上它不是,它后面的票池還有電話售票、火車站售票、代售點售票等 多個傳統(tǒng)渠道要服務。除了客運服務,“12306”還有全國最大(很可能也是全球最大)的大宗物資貨運系統(tǒng)。架空政策(包括定價政策、警方打擊“黃牛”政 策、身份驗證政策)談技術,是不可能解決春運搶票困局的。
還有人說,KFC的食品可以單賣,也可以賣套餐,為什么沒像我一樣搞出這么多SKU?那是因為,KFC門店的“人肉查詢”頻率非常低,沒必要為了優(yōu)化查詢性能把庫存結構設計成那樣。(原作者為“代碼狗”,本文有刪節(jié),標題為編者所加)
專家普遍認為“代碼狗”所言在理:“12306”已接近技術極限
填補春運運能尚無有效“神器”
2014年春運大幕已經(jīng)開啟,網(wǎng)絡和電話購買火車票平臺“12306”再次成為社會關注焦點。
自從“12306”誕生之日起,急著回家過年的人們已不再需要卷著鋪蓋、帶著干糧去火車站排隊買車票,電話線和網(wǎng)線承載了絕大部分希望。然 而,“12306”并不像人們所期待的那樣給力,漏洞多多、時常癱瘓,炒票的“黃牛”轉(zhuǎn)戰(zhàn)網(wǎng)絡仍然活躍……近日,一位自稱“前淘寶技術人員,且曾在某民營 公司做過電商副總”的名為“代碼狗”的網(wǎng)友在網(wǎng)上發(fā)帖,詳細分析“12306”網(wǎng)站的技術特點和它所面臨的“不可能完成的任務”,直言這個官方網(wǎng)站已經(jīng)窮 盡所能試圖解決購票難題,但無法單純依靠技術手段徹底填平鐵路運能與春運需求之間的鴻溝。
這引起了人們對“12306”的新一輪審視。“代碼狗”所言有無道理?“12306”平臺從技術角度看到底處于怎樣的水平?羊城晚報記者就此采訪了多位專家、電商技術人員以及鐵路部門工作人員。
現(xiàn)實情況可能更復雜
“這篇文章所有的分析都是站在普通讀者能接受的、常識的基礎上展開的,在邏輯上沒有什么問題,在對系統(tǒng)的分析上也基本成立。‘12306’崩潰的情 況現(xiàn)在已經(jīng)不多見了,在訪問量如此之大的情況下這確實是非常難得的。比如前不久有一個比較出名的電商網(wǎng)站因為訪問量太大崩潰了,而它的訪問量和 #39;12306‘其實是沒辦法比的。”廣州某金融公司電商技術負責人李松在接受羊城晚報記者采訪時表示。
李松認為,“12306”在售票過程中所要處理的“秒殺”式營銷確實在技術上難度很大。“稍微有一個細節(jié)處理不好,就容易出現(xiàn)進不了頁面、不能點擊 購買、購買成功卻付不了費、付了費沒反饋等情況,一般的電商網(wǎng)站都會遇到這樣的問題,作為’龐然大物‘的#39;12306’當然更難幸免,我們不能過分苛求。 解決好這些問題需要時間和資金、技術的投入,必須經(jīng)過調(diào)整、磨合,不是短時間內(nèi)能辦成的。”
對于“代碼狗”的分析,大多數(shù)受訪的業(yè)內(nèi)人士都認為其角度、邏輯比較客觀。
資深電腦工程師王謝認為,“代碼狗”為了行文方便,實際上簡化了“12306”的購票模型,真正的“12306”系統(tǒng)比他說的要復雜很多。“(他) 沒有考慮每張車票的座位屬性,這是很關鍵的,否則旅客好不容易擠上車,就要開始搶座了。事實上,應該考慮這樣一個方案:以文中列舉的G71次列車來看,假 設該車次總共有M個座位,共16個站段,那就是16×M個商品,而不是簡單的408個。”
技術手段并非萬能藥
“‘代碼狗’的分析有些道理,但是有些問題鐵路部門也有不可推卸的責任。比如最近‘四喜丸子’實名登車、‘路過打醬油’也能買到車票等等。此前很長 時間鐵路的購票系統(tǒng)對購票者身份證號碼沒有任何驗證措施,隨便輸入一個虛假身份證號也能買票,‘實名制來得太晚’。”——北京某網(wǎng)絡公司資深系統(tǒng)技術專家 陳亞飛告訴羊城晚報記者,“對于‘12306’網(wǎng)站的問題,只有公開方案設計,或者最起碼在較大的專業(yè)人士層面公開自己的方案設計,爭取更多大腦的參與, 才可能發(fā)掘出更好的方案。而這正是‘12306’所缺乏的。”
有些技術專家將“黃牛”炒票行為屢禁不止的責任也歸咎于鐵路部門。
“對于普通的購票旅客來說,當初到火車站排隊買票,常被‘黃牛’插隊,輪到旅客時票已經(jīng)賣完了。現(xiàn)在在‘12306’買票,又被‘黃牛’用搶票軟件 插隊,一開賣才幾十秒,稍微輸錯個驗證碼再進去,票又沒了。那么多‘黃牛’用軟件搶票,售票系統(tǒng)卻沒有對此做出有效應對,應該在技術上對外掛應用程序進行 更細致的甄別和防范。”廣州電腦工程師車宙表示。
知名互聯(lián)網(wǎng)專家信海光也認為,現(xiàn)在“12306”的基本策略是“水來土掩”,對網(wǎng)絡“黃牛”的活動都是采取事后措施補救,“應當加強技術建設,填補漏洞,提前做好各種應急預案”。
對于這個問題,中國鐵路總公司副總經(jīng)理胡亞東在接受記者采訪時表示:“今年鐵路總公司更新了‘12306’網(wǎng)站版本,采取了一些封堵應對措施,鐵路 公安部門‘獵鷹戰(zhàn)役’也破獲了一批案件。下一步,還要和國家身份認證權威部門進行互聯(lián)網(wǎng)的身份認證聯(lián)網(wǎng),近日正在調(diào)試,很快就可以上線運行,可以在更大程 度上防范‘黃牛’。”
火車票,買火車票,買返程票,12306,北京西站,北京站
