亞馬遜的簡單存儲(chǔ)服務(wù)(S3)存儲(chǔ)著超過一萬億文件,每秒處理150萬個(gè)請求。DynamoDB(AWS NoSQL數(shù)據(jù)庫)推出不到一年,10月已經(jīng)擁有超過2萬億的輸入或輸出請求。
這種規(guī)模提供所有的這些服務(wù)需要大量的硬件,云計(jì)算部署正在快速增長,這意味著亞馬遜需要不斷增加更多硬件到其數(shù)據(jù)中心。
那么亞馬遜是如何做到這一點(diǎn)的呢?在背后指揮戰(zhàn)略的副總裁兼杰出工程師James Hamilton在該公司的re:Invent用戶大會(huì)上分享了他的想法,其想法可以簡單概括為“規(guī)模是一切工作的推動(dòng)者”。
規(guī)模在很多方面促進(jìn)著該公司的發(fā)展。其一,當(dāng)一家公司多次做某件事情是,就會(huì)變得非常擅長此事。因此,亞馬遜配置的服務(wù)器越多,他們就能更好地從中總結(jié)最佳做法。數(shù)據(jù)中心同樣也是這個(gè)道理。該公司正在迅速地增加大量的容量,讓AWS工程師可以快速地測試其想法,從而找出什么是可行的,什么是不可行的。
AWS已經(jīng)為其具體用例優(yōu)化了其硬件。AWS已經(jīng)建立了自定義計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)服務(wù)器,這些服務(wù)器允許該公司精確到粒度水平。其存儲(chǔ)服務(wù)器比市場上的任何服務(wù)器都更加密集,每臺(tái)服務(wù)器重量超過一噸多。最近,AWS定制了其網(wǎng)絡(luò)設(shè)備來創(chuàng)建路由器和協(xié)議棧,以配置高性能工作負(fù)載。Hamilton表示,這些投資將會(huì)推動(dòng)新的基于網(wǎng)絡(luò)的產(chǎn)品和服務(wù),這些將會(huì)在未來一年推出。創(chuàng)建定制硬件的想法并不是行業(yè)中的獨(dú)樹一幟,F(xiàn)acebook也已經(jīng)創(chuàng)建了一個(gè)完整的開源項(xiàng)目—開放計(jì)算項(xiàng)目。
AWS甚至定制化了其功率消耗程序。該公司已經(jīng)與供應(yīng)商簽訂了批量電力購買協(xié)議,為其跨越全球就各地區(qū)的幾十個(gè)數(shù)據(jù)中心獲得所需的電源。在美國東部地區(qū),該公司有超過十個(gè)數(shù)據(jù)中心,這也是該公司最大的電耗區(qū)域。AWS不僅為這些地區(qū)批量購買電源,該公司還有自己的子站,在電源發(fā)送到數(shù)據(jù)中心之前存儲(chǔ)電源。這讓該公司能夠盡可能多地?cái)U(kuò)展其產(chǎn)品,而不需要擔(dān)心電源成為限制因素。
AWS表示,一個(gè)大的目標(biāo)是對客戶做出響應(yīng)。該公司最近在美國西部俄勒岡州建立了一個(gè)新的數(shù)據(jù)中心,這是100%碳中和數(shù)據(jù)中心,也是該公司增長速度最快的數(shù)據(jù)中心。
即使有所有這些定制化設(shè)備,AWS總是不能準(zhǔn)確地預(yù)測其將要使用的資源量。如果AWS可以提高其利用率,其成本將會(huì)更低,因?yàn)樗麄兙湍軌驈挠布泄?jié)省更多成本。AWS必須部署足夠的容量來支持其峰值利用率,但如果服務(wù)器沒有得到完全地利用,這又是一種容量浪費(fèi)。AWS通過匯集不同的客戶高峰工作負(fù)載來解決這個(gè)問題。例如,零售商客戶可能會(huì)在節(jié)假日迎來購物高峰期,而處理納稅申報(bào)的公司則會(huì)在另一個(gè)時(shí)期使用資源。通過結(jié)合這些客戶的工作負(fù)載情況,該公司就可以平均工作負(fù)載密度。
當(dāng)然,仍然會(huì)存在利用率不高的情況,不過,AWS一直在試圖將這個(gè)變成其優(yōu)勢。例如,該公司允許客戶出售其多余的實(shí)例,來提高利用率。
該公司的規(guī)模正在不斷擴(kuò)大,正是該公司的規(guī)模推動(dòng)著這些效率的增長。隨著亞馬遜的發(fā)展,AWS將會(huì)增加更多功能,吸引更多客戶,從而帶來更多的增長。亞馬遜公司高管表示這是一個(gè)良性循環(huán)。