百度網盤怎麼有2t空間(百度網盤怎樣獲得2t免費空間)

2018年年底,百度雲盤宣佈,未來一年未登陸過百度雲盤的使用者,網盤容量將會縮減到100G。由此可看出百度網盤針對一些不活躍使用者進行儲存容量限制,以節約資源。

對於想儲存自己2TB記憶體大小的使用者,今年隨便登陸下百度網盤就可以,想薅(破)羊(解)毛(限)的(速)可以檢視我上一篇文章。

       

嗯哼,感覺上一篇不錯的,點贊

今天給大家科普下,當初百度網盤是如何可以給使用者2TB容量的網盤記憶體的!

假如我想要為每個使用者提供1G的網路儲存空間。如果伺服器上有一顆100G的硬碟可以全部為使用者提供資料儲存,如果每個使用者分配1G的最大儲存空間,那麼能分配給多少個使用者使用呢?你一定說是100/1=100個使用者。

但是事實上你這麼分配了,你會發現每個使用者平時根本不會上傳1G的東西將容量佔的滿滿的,有多有少,但平均使用者平時只上傳50M的檔案,也就是說,如果你將1000G的硬碟分給1000個人使用,但只有效利用了其中的50M*1000=50G的空間,剩餘950G的空間基本都完全浪費了。

       

隨便截的圖

那麼怎麼解決呢?你可以變通一下,將這1000G的空間分配給20000個使用者使用,每個人的上傳上限容量還是1G,但每人平時還是平均上傳50M的資料,那麼20000*50M=1000G,這下子就把寶貴的伺服器上的儲存空間充分利用了。但你又怕這樣分配給20000個人後,萬一某一刻人們突然多上傳點資料,那麼使用者不是就覺察出來你分給人家的1G空間是假的了嗎?所以可以不分配那麼多人,只分配給19000人,剩下一些空間做應急之用。

突然發現一下子將可分配的使用者數量翻了19倍啊,了不起。

       

嗯,插個表情包

那還有沒有辦法更加有效的利用一下呢?

如果我有1000個以上的伺服器,一個伺服器上有1000G空間,那麼我們每個伺服器上都要留下50G的空白空間以備使用者突然上傳大資料時導致資料塞滿的情況,那麼我這1000個伺服器上就空出了1000臺*50G=50000G的空間被浪費了,多麼可惜。

所以程式設計師發明了儲存叢集技術,使得一個使用者的資料可以被分配在多個伺服器上儲存,但在使用者那看起來只是一個1G的連續空間,那麼就沒必要在每個伺服器上預留出應急的空間了,甚至可以充分的將前一個伺服器塞滿後,在將資料往下一個伺服器中塞。

       

這個圖應該可以理解吧,我是看不懂英文..

這樣保證了伺服器空間的最大利用,如果某一刻管理員發現使用者都在瘋狂上傳資料(在一個大規模使用者群下,這樣的概率少之又少)導致我現有提供的空間不夠了,沒關係,只需要隨手加幾塊硬碟或者伺服器就解決了。

好吧,這下子我們的伺服器空間利用高多了,可以將一定量的空間分配給最多的使用者使用了。但有沒有更好的改進方案呢?管理員有一天發現,即使每個使用者平均下來只儲存50M的東西,但這50M也不是一蹴而就的,是隨著1-2年的使用慢慢的達到這個數量的,也就是說,一個新的使用者剛剛註冊我的網路空間時,不會上傳東西,或者只上傳一點非常小的東西。

       

圖片不夠,表情來湊~

那麼我為每一個使用者都初始分配了50M的空間,即使將來2年後他們會填滿這50M,但這期間的這空間就有很多是浪費的啊。

但是既然我們可以分散式、叢集式儲存,一個使用者的資料可以分佈在多個伺服器上,那麼我們就假設一開始就給一個新註冊的使用者提供0M的空間,將來他用多少,我就給他提供多少儲存空間,這樣就徹底的保證硬碟的利用了。

但使用者的前端還是要顯示1G的。工程師的這個點子,使得我在建立網盤初期能用1臺1000G的伺服器提供了大約1000000人來註冊和使用,隨著註冊的人多了,我也有錢了,也可以不斷增加伺服器以提供他們後期的儲存了。

同時因為一部分伺服器完成了一年多購買,我的購買成本也下來了。那麼…這就結束了嗎?若是郵箱提供商的話,這樣的利用率夠高了。

但網盤就不一樣了。有工程師發現:不同於郵箱,大家的內容和附件絕大多數都是自創的和不同的。

但網盤上大家上傳的東西很多都是重複的。比如:張三今天從網盤下載了一個《百草街》上傳到了自己的網盤上,李四在三天後也下載了一模一樣的《百草街》上傳到了網路硬碟上,隨著使用者的增多,你會發現總共有1000個人上傳了1000份一模一樣的檔案到你的伺服器空間上,所以工程師想出一個辦法,既然是一樣的檔案,我就只存一份不就行了?然後在使用者的前端顯示是沒人都有一份不就行了。

當某些使用者要刪除這個檔案的時候,我並不真的刪除,只需要在前端顯示似乎刪除了,但後端一直保留著以供其他擁有此檔案的使用者下載。直到所有使用此檔案的使用者都刪除了這個檔案我再真的將其刪除吧。這樣子隨著儲存的資料越來越多,註冊的使用者越來越多,其上傳的重複資料越來越多。你發現這樣的檢測重複檔案儲存的效率越來越大。這樣算下來似乎每個人上傳的不重複的檔案只能平均1M/使用者。這下子你可以提供超過50倍的使用者使用你這有限的空間了。

但伴隨著使用,你發現一個規律:張三上傳的《百草街》和李四上傳的《百消丹》是同一個檔案,只不過檔名不一樣,難道我就不能識別出他們是一個檔案,然後只將其分別給不同的使用者儲存成不同的檔名不就行了?

確實可行,但這要利用一些識別檔案相同性的演算法,例如MD5值等。只要兩個檔案的MD5值一樣,檔案大小一樣,我就認為它們是相同的檔案,只需要儲存一份檔案並給不同的使用者記作不同的檔名就好了。有一天你發現,因為每一個檔案都需要計算MD5值,導致CPU負荷很大,而且本來一樣的檔案非要浪費頻寬上傳回來才可以檢測一致性,能改進一下嗎?

開發工程師可以寫個小軟體或小外掛,美其名曰“上傳控制元件”,將計算MD5的工作利用這個軟體交給了上傳使用者的電腦來完成,一旦計算出使用者要上傳的資料和伺服器上已經儲存的某個資料是一樣的,就乾脆不用上傳了,直接在使用者那裡標記上這個檔案已經按照XX檔名上傳成功了。

這個過程幾乎是瞬間搞定了,並給其起了個高富帥的名字“秒傳”!通過以上這麼多步驟,你發現本來你只能給1000使用者提供網路空間的,這麼多改進辦法後,在使用者端顯示1G空間不變的情況下,近乎可以為1000000個使用者提供網路空間了。

這樣若是哪天心情好,對外宣傳說:我要將每個使用者的儲存空間上限提升到1TB。那麼每個使用者平均還是隻上傳50M資料,只有極個別的使用者上傳了突破1G原始空間的資料,你會發現所付出的成本近乎是微乎其微的。辛勤的開發工程師還在為如何更有效率的利用伺服器提供的磁碟空間在不屑努力和挖掘著。

講了這麼多,不知道大家懂不懂呢。

下期講講百度網盤是咋這麼多使用者的,講講他的營銷套路。