基於案例學sql優化-ag真人国际官网

ⅰ 技術解析transwarp inceptor是怎樣煉成的

技術解析transwarp inceptor是怎樣煉成的
當前hadoop技術蓬勃發展，用於解決大數據的分析難題的技術平台開始涌現。spark憑借性能強勁、高度容錯、調度靈活等技術優勢已漸漸成為主流技術，業界大部分廠商都提供了基於spark的技術方案和產品。根據databricks的統計，目前有11個商業的spark版本。
在使用spark作出計算平台的解決方案中，有兩種主流編程模型，一類是基於sparkapi或者衍生出來的語言，另一種是基於sql語言。sql作為資料庫領域的事實標准語言，相比較用api(如mapreceapi，sparkapi等)來構建大數據分析的解決方案有著先天的優勢：一是產業鏈完善，各種報表工具、etl工具等可以很好的對接;二是用sql開發有更低的技術門檻;三是能夠降低原有系統的遷移成本等。因此，sql語言也漸漸成為大數據分析的主流技術標准。本文將深入解析inceptor的架構、編程模型和編譯優化技術，並提供基準測試在多平台上的性能對比數據。
1.inceptor架構
transwarpinceptor是基於spark的分析引擎，如圖1所示，從下往上有三層架構：最下面是存儲層，包含分布式內存列式存儲(transwarpholodesk)，可建在內存或者ssd上;中間層是spark計算引擎層，星環做了大量的改進保證引擎有超強的性能和高度的健壯性;最上層包括一個完整的sql99和pl/sql編譯器、統計演算法庫和機器學習演算法庫，提供完整的r語言訪問介面。
transwarpinceptor可以分析存儲在hdfs、hbase或者transwarpholodesk分布式緩存中的數據，可以處理的數據量從gb到數十tb，即使數據源或者中間結果的大小遠大於內存容量也可高效處理。另外transwarpinceptor通過改進spark和yarn的組合，提高了spark的可管理性。同時星環不僅僅是將spark作為一個預設計算引擎，也重寫了sql編譯器，提供更加完整的sql支持。
同時，transwarpinceptor還通過改進spark使之更好地與hbase融合，可以為hbase提供完整的sql支持，包括批量sql統計、olap分析以及高並發低延時的sql查詢能力，使得hbase的應用可以從簡單的在線查詢應用擴展到復雜分析和在線應用結合的混合應用中，大大拓展了hbase的應用范圍。
2.編程模型
transwarpinceptor提供兩種編程模型：一是基於sql的編程模型，用於常規的數據分析、數據倉庫類應用市場;二是基於數據挖掘編程模型，可以利用r語言或者sparkmllib來做一些深度學習、數據挖掘等業務模型。
2.1sql模型
transwarpinceptor實現了自己的sql解析執行引擎，可以兼容sql99和hiveql，自動識別語法，因此可以兼容現有的基於hive開發的應用。由於transwarpinceptor完整支持標準的sql 99標准，傳統資料庫上運行的業務可以非常方便的遷移到transwarp inceptor系統上。此外transwarp inceptor支持pl/sql擴展，傳統數據倉庫的基於pl/sql存儲過程的應用(如etl工具)可以非常方便的在inceptor上並發執行。另外transwarp inceptor支持部分sql 2003標准，如窗口統計功能、安全審計功能等，並對多個行業開發了專門的函數庫，因此可以滿足多個行業的特性需求。
2.2數據挖掘計算模型
transwarpinceptor實現了機器學習演算法庫與統計演算法庫，支持常用機器學習演算法並行化與統計演算法並行化，並利用spark在迭代計算和內存計算上的優勢，將並行的機器學習演算法與統計演算法運行在spark上。例如：機器學習演算法庫有包括邏輯回歸、樸素貝葉斯、支持向量機、聚類、線性回歸、關聯挖掘、推薦演算法等，統計演算法庫包括均值、方差、中位數、直方圖、箱線圖等。transwarpinceptor可以支持用r語言或者sparkapi在平台上搭建多種分析型應用，例如用戶行為分析、精準營銷、對用戶貼標簽、進行分類。
3.sql編譯與優化
transwarpinceptor研發了一套完整的sql編譯器，包括hiveql解析器、sql標准解析器和pl/sql解析器，將不同的sql語言解析成中間級表示語言，然後經過優化器轉換成物理執行計劃。sql語言解析後經過邏輯優化器生成中間級表示語言，而中間表示語言再經過物理優化器生成最終的物理執行計劃。從架構上分，邏輯優化器和物理優化器都包含基於規則的優化模塊和基於成本的優化模塊。
為了和hadoop生態更好的兼容，inceptor為一個sql查詢生成maprece上的執行計劃和spark上的執行計劃，並且可以通過一個set命令在兩種執行引擎之間切換。
3.1sql編譯與解析
transwarpinceptor的sql編譯器會根據輸入的sql查詢的類型來自動選擇不同的解析器，如pl/sql存儲過程會自動進入pl/sql解析器並生成一個sparkrdd的dag從而在spark平台上並行計算，標准sql查詢會進入sql標准解析器生成spark或maprece執行計劃。由於hiveql和標準的sql有所出入，為了兼容hiveql，transwarp inceptor保留了hiveql解析器，並可以對非標准sql的hive查詢生成spark或者map rece執行計劃。
3.1.1sql標准解析器
transwarpinceptor構建了自主研發的sql標准解析器，用於解析sql99& sql 2003查詢並生成spark和map rece的執行計劃。詞法和語法分析層基於antlr語法來構建詞法範式，通過antlr來生成抽象語義樹，並會通過一些上下文的語義來消除沖突並生成正確的抽象語義樹。語義分析層解析上層生成的抽象語義樹，根據上下文來生成邏輯執行計劃並傳遞給優化器。首先transwarp inceptor會將sql解析成table scan、select、filter、join、union、order by、group by等主要的邏輯塊，接著會根據一些meta信息進一步細化各個邏輯塊的執行計劃。如table scan會分成塊讀取、塊過濾、行級別過濾、序列化等多個執行計劃。
3.1.2pl/sql解析器
pl/sql是oracle對sql語言的模塊化擴展，已經在很多行業中有大規模的應用，是數據倉庫領域的重要編程語言。
為了讓存儲過程在spark上有較好的性能，pl/sql解析器會根據存儲過程中的上下文關系來生成sqldag，然後對各sql的執行計劃生成的rdd進行二次編譯，通過物理優化器將一些沒有依賴關系的rdd進行合並從而生成一個最終的rdddag。因此，一個存儲過程被解析成一個大的dag，從而stage之間可以大量並發執行，避免了多次執行sql的啟動開銷並保證了系統的並發性能。
解析並生成sql級別的執行計劃
3.2sql優化器
transwarpinceptor使用spark作為默認計算引擎，並且開發了完善的sql優化器，因此在大量的客戶案例性能測試中，transwarpinceptor的性能領先maprece 10-100倍，並超越部分開源mpp資料庫。sql優化器對平台性能的提升居功至偉。
3.2.1基於規則的優化器(rulebasedoptimizer)
目前為止，transwarpinceptor共實現了一百多個優化規則，並且在持續的添加新的規則。按照功能劃分，這些規則主要分布在如下幾個模塊：
文件讀取時過濾
在文件讀取時過濾數據能夠最大化的減少參與計算的數據量從而最為有效的提高性能，因此transwarpinceptor提供了多個規則用於生成表的過濾條件。對於一些sql中的顯示條件，transwarpinceptor會盡量將過濾前推到讀取表中;而對於一些隱式的過濾條件，如可以根據joinkey生成的過濾規則，inceptor會根據語義保證正確性的前提下進行規則生成。
過濾條件前置
transwarpinceptor能夠從復雜的組合過濾條件中篩選出針對特定表的過濾規則，然後通過sql語義來確定是否能將過濾條件前推到盡量早的時候執行。如果有子查詢，過濾條件可以遞歸前推入最低層的子查詢中，從而保證所有的冗餘數據被刪除。
超寬表的讀取過濾
對一些列超多的表進行處理的時候，transwarpinceptor首先會根據sql語義來確定要讀取的列，並在讀取表的時候進行跨列讀取減少io和內存消耗。而如果表有過濾條件，inceptor會做進一步優化，首先只讀取過濾條件相關的列來確定該行記錄是否需要被選擇，如果不是就跳過當前行的所有列，因此能夠最大程度上的減少數據讀取。在一些商業實施中，這些優化規則能夠帶來5x-10x的性能提升。
shuffle stage的優化與消除
spark的shuffle實現的效率非常低，需要把結果寫磁碟，然後通過http傳輸。transwarpinceptor添加了一些shuffle消除的優化規則，對sql的dag中不必要或者是可以合並的shufflestage進行消除或者合並。對於必須要做shuffle的計算任務，inceptor通過dagscheler來提高shuffle的效率：maptask會直接將結果返回給dagscheler，然後dagscheler將結果直接交給rece task而不是等待所有map task結束，這樣能夠非常明顯的提升shuffle階段的性能。
partition消除
transwarpinceptor提供單一值partition和rangepartition，並且支持對partition建bucket來做多次分區。當partition過多的時候，系統的性能會因為內存消耗和調度開銷而損失。因此，inceptor提供了多個規則用於消除不必要的partition，如果上下文中有隱式的對partition的過濾條件，inceptor也會生成對partition的過濾規則。
3.2.2基於成本的優化器(costbasedoptimizer)
基於規則的優化器都是根據一些靜態的信息來產生的，因此很多和動態數據相關的特性是不能通過基於規則的優化來解決，因此transwarpinceptor提供了基於成本的優化器來做二次優化。相關的原始數據主要來自meta-store中的表統計信息、rdd的信息、sql上下文中的統計信息等。依賴於這些動態的數據，cbo會計算執行計劃的物理成本並選擇最有效的執行計劃。一些非常有效的優化規則包括如下幾點：
join順序調優
在實際的案例中，join是消耗計算量最多的業務，因此對join的優化至關重要。在多表join模型中，transwarpinceptor會根據統計信息來預估join的中間結果大小，並選擇產生中間數據量最小的join順序作為執行計劃。
join類型的選擇
transwarpinceptor支持left-mostjointree 和 bush join tree，並且會根據統計信息來選擇生成哪種join模型有最佳性能。此外，transwarp inceptor會根據原始表或者中間數據的大小來選擇是否開啟針對數據傾斜模型下的特殊優化等。此外，針對hbase表是否有索引的情況，transwarp inceptor會在普通join和look-up join間做個均衡的選擇。
並發度的控制
spark通過線程級並發來提高性能，但是大量的並發可能會帶來不必要的調度開銷，因此不同的案例在不同並發度下會有最佳性能。transwarpinceptor通過對rdd的一些屬性進行推算來選擇最佳並發控制，對很多的案例有著2x-3x的性能提升。
4.transwarpholodesk內存計算引擎
為了有效的降低sql分析的延時，減少磁碟io對系統性能的影響，星環科技研發了基於內存或者ssd的存儲計算引擎transwarpholodesk，通過將表數據直接建在內存或者ssd上以實現sql查詢全內存計算。另外transwarpholodesk增加了數據索引功能，支持對多個數據列建索引，從而更大程度的降低了sql查詢延時。
4.1存儲格式
transwarpholodesk基於列式存儲做了大量的原創性改進帶來更高的性能和更低的數據膨脹率。首先數據被序列化後存儲到內存或ssd上以節省者資源佔用。如圖3所示，每個表的數據被存儲成若干個segment，每個segment被劃分成若干個block，每個block按照列方式存儲於ssd或內存中。另外每個block的頭部都加上min-maxfilter和bloomfilter用於過濾無用的數據塊，減少不必要的數據進入計算階段。
transwarpholodesk根據查詢條件的謂詞屬性對每個數據塊的對應列構建數據索引，索引列採用自己研發的trie結構進行組織存儲，非索引列採用字典編碼的方式進行組織存儲。trie不僅能對具有公共前綴的字元串進行壓縮，而且可以對輸入的字元串排序，從而可以利用二分查找快速查詢所需數據的位置，從而快速響應查詢需求。
hdfs2.6支持storagetier讓應用程序可以選擇存儲層為磁碟或者ssd，但是沒有專用的存儲格式設計是無法有效利用ssd的讀寫吞吐量和低延，因此現有的text以及行列混合(orc/parquet)都不能有效的利用ssd的高性能。為此驗證存儲結構對性能的影響，我們將hdfs構建在ssd上並選用某基準測試來做了進一步的性能對比，結果如圖4所示：採用文本格式，pci-essd帶來的性能提升僅1.5倍;採用專為內存和ssd設計的holodesk列式存儲，其性能相比較ssd上的hdfs提升高達6倍。
4.2性能優勢
某運營商客戶在12台x86伺服器上搭建了transwarpinceptor，將transwarpholodesk配置在pcie-ssd上，並與普通磁碟表以及db2來做性能對比測試。最終測試數據如圖5所示：
在純粹的count測試一項，holodesk性能相對於磁碟表最高領先32倍;對於join測試一項，transwarpholodesk最高領先磁碟表多達12倍;在單表聚合測試中，holodesk提升倍數達10~30倍。另外transwarpholodesk在和db2的對比中也表現優秀，兩個復雜sql查詢在db2資料庫中需要運行1小時以上，但是在使用transwarpholodesk均是分鍾級和秒級就返回結果。
內存的價格大約是同樣容量ssd的十倍左右，為了給企業提供更高性價比的計算方案，transwarpholodesk針對ssd進行了大量的優化，使得應用在ssd上運行具有與在內存上比較接近的性能，從而為客戶提供了性價比更高的計算平台。
在對tpc-ds的io密集型查詢的測試中，無論上構建在pci-essd還是內存上，holodesk對比磁碟表有一個數量級上的性能提升;而ssd上的holodesk性能只比內存差10%左右。
5.穩定的spark執行引擎
企業目前應用開源spark的主要困難在穩定性、可管理性和功能不夠豐富上。開源spark在穩定性上還有比較多的問題，在處理大數據量時可能無法運行結束或出現outofmemory，性能時快時慢，有時比map/rece更慢，無法應用到復雜數據分析業務中。
transwarpinceptor針對各種出錯場景設計了多種解決方法，如通過基於成本的優化器選擇最合適的執行計劃、加強對數據結構內存使用效率的有效管理、對常見的內存出錯問題通過磁碟進行數據備份等方式，極大提高了spark功能和性能的穩定性，上述問題都已經解決並經過商業案例的考驗。transwarpinceptor能穩定的運行7*24小時，並能在tb級規模數據上高效進行各種穩定的統計分析。
6.sql引擎效能驗證
tpc-ds是tpc組織為decisionsupportsystem設計的一個測試集，包含對大數據集的統計/報表生成/聯機查詢/數據挖掘等復雜應用，測試用的數據有各種不同的分布與傾斜，與真實場景非常接近。隨著國內外各代表性的hadoop發行版廠商以tpc-ds為標准測評產品，tpc-ds也就逐漸成為了業界公認的hadoop系統測試准則。
6.1驗證對比的平台和配置
我們搭建了兩個集群分別用於transwarpinceptor與clouderadatahub/impala的測試。
6.2transwarpinceptorvs cloudera impala
transwarpinceptor由於有完善的sql支持，能夠運行全部所有的99個sql查詢。而由於cloudera官方發布的tpc-ds測試集只包含19個sql案例，因此我們只能運行這19個sql，實驗證明這部分查詢在impala上全部正常運行完成。
6.3transwarpinceptorvs map rece
我們使用了同樣的硬體和軟體配置完成和開源的hive執行效率相比，transwarpinceptor能夠帶來10x-100x的性能提升。圖8是tpc-ds的部分sql查詢在inceptor和cdh5.1hive的性能提升倍數，其中最大的提升倍數竟可達到123倍。
7.結語
隨著在大數據領域國內外開始處於同一起跑線，我們相信像星環科技這樣國內具有代表性的hadoop發行版廠商將在中國的廣闊市場空間中獲得長足發展，並且由於中國市場激烈的競爭與磨練，逐步打磨出超越國外先進廠商的技術與實力。
劉汪根。2013年加入星環，作為早期員工參與了星環大數據平台的構建，現擔任數據平台部研發經理，主要負責與管理星環大數據平台數據平台的研發工作，如sql編譯器，spark執行引擎等工作，產品涵括transwarpinceptor/transwarpstream等軟體。
【編者按】星環科技從2013年6月開始研發基於spark的sql執行引擎，在2013年底推出transwarpinceptor1.0，並落地了國內首個7x24小時的商用項目。經過1年多的持續創新與改進，星環已經在國內落地了數十個inceptor的商用項目。這是一篇星環spark解決方案的技術解析，也是spark用戶可以效仿的優化之道。