rdd緩存-ag真人国际官网

ⅰ spark核心-rdd

rdd是spark中的數據抽象，全稱 彈性分布式數據集（resilient distributed datasets） 。rdd可以理解為將一個大的數據集合以分布式的形式保存在集群伺服器的內存中。rdd是一個容錯的、並行的數據結構，可以讓用戶顯式地將數據存儲到磁碟和內存中，並能控制數據的分區。

rdd是spark的核心，也是整個spark的架構基礎。

rdd的特點：

rdd的5個主要屬性：

可以通過兩種方式創建rdd：

轉換操作指的是在原rdd實例上進行計算，然後創建一個新的rdd實例。

rdd中的所有的轉換操作都是 惰性 的，在執行rdd的轉換操作的時候，並不會直接計算結果，而是記住這些應用到基礎數據集上的轉換動作，只有行動操作時，這些轉換才會真正的去執行。這樣設計的好處是更加有效率的運行。

行動操作指的是向驅動器程序返回結果或把結果寫入外部系統的操作。

spark在調用rdd的行動操作的時候，會觸發spark中的連鎖反應。當調用的行動操作的時候，spark會嘗試創建作為調用者的rdd。如果這個rdd是從文件中創建的，那麼spark會在worker節點上讀取文件至內存中。如果這個rdd是通過其他rdd的轉換得到的，spark會嘗試創建其父rdd。這個過程會一直持續下去，直到spark找到根rdd。然後spark就會真正執行這些生成rdd所必須的轉換計算。最後完成行動操作，將結果返回給驅動程序或者寫入外部存儲。

spark速度非常快的原因之一，就是在不同操作中在內存中持久化一個數據集。當持久化一個rdd後，每一個節點都將把計算的分片結果保存在內存中，並在對此數據集進行的其他動作中重用。這使得後續的動作變得更加迅速。緩存是spark構建迭代演算法和快速互動式查詢的關鍵。所以我們在開發過程中，對經常使用的rdd要進行緩存操作，以提升程序運行效率。

rdd緩存的方法

rdd類提供了兩種緩存方法：

cache方法其實是將rdd存儲在集群中worker的內存中。

persist是一個通用的cache方法。它可以將rdd存儲在內存中或硬碟上或者二者皆有。

緩存的容錯

緩存是有可能丟失（如機器宕機），或者存儲於內存的數據由於內存不足而被刪除。rdd的緩存的容錯機制保證了即使緩存丟失也能保證計算的正確執行。通過基於rdd的一系列的轉換，丟失的數據會被重新計算。因為rdd的各個partition是相對獨立的，所以在重新計算的時候只需要計算丟失部分partition即可，不需要重新計算全部的partition。因此，在一個緩存rdd的節點出現故障的時候，spark會在另外的節點上自動重新創建出現故障的節點中存儲的分區。

rdd的緩存能夠在第一次計算完成後，將計算結果保存到內存、本地文件系統或者tachyon中。通過緩存，spark避免了rdd上的重復計算，能夠極大地提升計算速度。但是，如果緩存丟失了，則需要重新計算。如果計算特別復雜或者計算特別耗時，那麼緩存丟失對於整個job的影響是不容忽視的。為了避免緩存丟失重新計算帶來的開銷，所以spark引入了檢查點（checkpoint）機制。

緩存是在計算結束後，直接將計算結果通過用戶定義的存儲級別寫入不同的介質。而檢查點不同，它是在計算完成後，重新建立一個job來計算。所以為了避免重復計算，推薦先將rdd緩存，這樣在進行檢查點操作時就可以快速完成。

spark會根據用戶提交的計算邏輯中的rdd的轉換和動作來生動rdd之間的依賴關系，同時這個計算鏈也就生成了邏輯上的dag。

rdd之間的依賴關系包括：

spark中的依賴關系主要體現為兩種形式：

ⅱ spark內存管理詳解（下）——內存管理

彈性分布式數據集（rdd）作為spark最根本的數據抽象，是只讀的分區記錄（partition）的集合，只能基於在穩定物理存儲中的數據集上創建，或者在其他已有的rdd上執行轉換（transformation）操作產生一個新的rdd。轉換後的rdd與原始的rdd之間產生的依賴關系，構成了血統（lineage）。憑借血統，spark保證了每一個rdd都可以被重新恢復。但rdd的所有轉換都是惰性的，即只有當一個返回結果給driver的行動（action）發生時，spark才會創建任務讀取rdd，然後真正觸發轉換的執行。

task在啟動之初讀取一個分區時，會先判斷這個分區是否已經被持久化，如果沒有則需要檢查checkpoint或按照血統重新計算。所以如果一個rdd上要執行多次行動，可以在第一次行動中使用persist或cache方法，在內存或磁碟中持久化或緩存這個rdd，從而在後面的行動時提升計算速度。事實上，cache方法是使用默認的memory_only的存儲級別將rdd持久化到內存，故緩存是一種特殊的持久化。 堆內和堆外存儲內存的設計，便可以對緩存rdd時使用的內存做統一的規劃和管理 （存儲內存的其他應用場景，如緩存broadcast數據，暫時不在本文的討論范圍之內）。

rdd的持久化由spark的storage模塊 [1] 負責，實現了rdd與物理存儲的解耦合。storage模塊負責管理spark在計算過程中產生的數據，將那些在內存或磁碟、在本地或遠程存取數據的功能封裝了起來。在具體實現時driver端和executor端的storage模塊構成了主從式的架構，即driver端的blockmanager為master，executor端的blockmanager為slave。storage模塊在邏輯上以block為基本存儲單位，rdd的每個partition經過處理後唯一對應一個block（blockid的格式為 rdd_rdd-id_partition-id ）。master負責整個spark應用程序的block的元數據信息的管理和維護，而slave需要將block的更新等狀態上報到master，同時接收master的命令，例如新增或刪除一個rdd。

在對rdd持久化時，spark規定了memory_only、memory_and_disk等7種不同的 存儲級別 ，而存儲級別是以下5個變數的組合 [2] ：

通過對數據結構的分析，可以看出存儲級別從三個維度定義了rdd的partition（同時也就是block）的存儲方式：

rdd在緩存到存儲內存之前，partition中的數據一般以迭代器（ iterator ）的數據結構來訪問，這是scala語言中一種遍歷數據集合的方法。通過iterator可以獲取分區中每一條序列化或者非序列化的數據項(record)，這些record的對象實例在邏輯上佔用了jvm堆內內存的other部分的空間，同一partition的不同record的空間並不連續。

rdd在緩存到存儲內存之後，partition被轉換成block，record在堆內或堆外存儲內存中佔用一塊連續的空間。 將partition由不連續的存儲空間轉換為連續存儲空間的過程，spark稱之為「展開」（unroll） 。block有序列化和非序列化兩種存儲格式，具體以哪種方式取決於該rdd的存儲級別。非序列化的block以一種deserializedmemoryentry的數據結構定義，用一個數組存儲所有的java對象，序列化的block則以serializedmemoryentry的數據結構定義，用位元組緩沖區（bytebuffer）來存儲二進制數據。每個executor的storage模塊用一個鏈式map結構（linkedhashmap）來管理堆內和堆外存儲內存中所有的block對象的實例 [6] ，對這個linkedhashmap新增和刪除間接記錄了內存的申請和釋放。

因為不能保證存儲空間可以一次容納iterator中的所有數據，當前的計算任務在unroll時要向memorymanager申請足夠的unroll空間來臨時佔位，空間不足則unroll失敗，空間足夠時可以繼續進行。對於序列化的partition，其所需的unroll空間可以直接累加計算，一次申請。而非序列化的partition則要在遍歷record的過程中依次申請，即每讀取一條record，采樣估算其所需的unroll空間並進行申請，空間不足時可以中斷，釋放已佔用的unroll空間。如果最終unroll成功，當前partition所佔用的unroll空間被轉換為正常的緩存rdd的存儲空間，如下圖2所示。

在 《spark內存管理詳解（上）——內存分配》 的圖3和圖5中可以看到，在靜態內存管理時，spark在存儲內存中專門劃分了一塊unroll空間，其大小是固定的，統一內存管理時則沒有對unroll空間進行特別區分，當存儲空間不足是會根據動態佔用機制進行處理。

由於同一個executor的所有的計算任務共享有限的存儲內存空間，當有新的block需要緩存但是剩餘空間不足且無法動態佔用時，就要對linkedhashmap中的舊block進行淘汰（eviction)，而被淘汰的block如果其存儲級別中同時包含存儲到磁碟的要求，則要對其進行落盤（drop），否則直接刪除該block。
存儲內存的淘汰規則為：

落盤的流程則比較簡單，如果其存儲級別符合 _usedisk 為true的條件，再根據其 _deserialized 判斷是否是非序列化的形式，若是則對其進行序列化，最後將數據存儲到磁碟，在storage模塊中更新其信息。

executor內運行的任務同樣共享執行內存，spark用一個hashmap結構保存了任務到內存耗費的映射。每個任務可佔用的執行內存大小的范圍為 1/2n ~ 1/n ，其中n為當前executor內正在運行的任務的個數。每個任務在啟動之時，要向memorymanager請求申請最少為1/2n的執行內存，如果不能被滿足要求則該任務被阻塞，直到有其他任務釋放了足夠的執行內存，該任務才可以被喚醒。

執行內存主要用來存儲任務在執行shuffle時佔用的內存，shuffle是按照一定規則對rdd數據重新分區的過程，我們來看shuffle的write和read兩階段對執行內存的使用：

在externalsorter和aggregator中，spark會使用一種叫appendonlymap的哈希表在堆內執行內存中存儲數據，但在shuffle過程中所有數據並不能都保存到該哈希表中，當這個哈希表佔用的內存會進行周期性地采樣估算，當其大到一定程度，無法再從memorymanager申請到新的執行內存時，spark就會將其全部內容存儲到磁碟文件中，這個過程被稱為溢存(spill)，溢存到磁碟的文件最後會被歸並(merge)。

shuffle write階段中用到的tungsten是databricks公司提出的對spark優化內存和cpu使用的計劃 [4] ，解決了一些jvm在性能上的限制和弊端。spark會根據shuffle的情況來自動選擇是否採用tungsten排序。tungsten採用的頁式內存管理機制建立在memorymanager之上，即tungsten對執行內存的使用進行了一步的抽象，這樣在shuffle過程中無需關心數據具體存儲在堆內還是堆外。每個內存頁用一個memoryblock來定義，並用 object obj 和 long offset 這兩個變數統一標識一個內存頁在系統內存中的地址。堆內的memoryblock是以long型數組的形式分配的內存，其 obj 的值為是這個數組的對象引用， offset 是long型數組的在jvm中的初始偏移地址，兩者配合使用可以定位這個數組在堆內的絕對地址；堆外的memoryblock是直接申請到的內存塊，其 obj 為null， offset 是這個內存塊在系統內存中的64位絕對地址。spark用memoryblock巧妙地將堆內和堆外內存頁統一抽象封裝，並用頁表(pagetable)管理每個task申請到的內存頁。

tungsten頁式管理下的所有內存用64位的邏輯地址表示，由頁號和頁內偏移量組成：

有了統一的定址方式，spark可以用64位邏輯地址的指針定位到堆內或堆外的內存，整個shuffle write排序的過程只需要對指針進行排序，並且無需反序列化，整個過程非常高效，對於內存訪問效率和cpu使用效率帶來了明顯的提升 [5] 。

spark的存儲內存和執行內存有著截然不同的管理方式：對於存儲內存來說，spark用一個linkedhashmap來集中管理所有的block，block由需要緩存的rdd的partition轉化而成；而對於執行內存，spark用appendonlymap來存儲shuffle過程中的數據，在tungsten排序中甚至抽象成為頁式內存管理，開辟了全新的jvm內存管理機制。

spark的內存管理是一套復雜的機制，且spark的版本更新比較快，筆者水平有限，難免有敘述不清、錯誤的地方，若讀者有好的建議和更深的理解，還望不吝賜教。