Situs Judi Sbobet88 Gampang Menang Bonus New Member 100

數據分析系統性能調整

　　銀行數據大集中之後，業務部門越來越迫切地希望能從現有的數據中找到對開展業務有價值的信息，提供更多的輔助功能。在此背景下，出現了各種各樣的分析系統，有的銀行正在規劃數據倉庫（ＤＷ）的開發，有些銀行已開發了客戶關係管理（ＣＲＭ）系統。　　ＤＷ與ＣＲＭ都以數據分析為基礎，有的稱之為決策支持系統（ＤＳＳ），有的稱之為商務智能（ＢＩ）。

但無論是ＣＲＭ還是ＤＷ，都不容易實現，即便在歐美髮達國家已經有了成功的實踐經驗，國有四大商業銀行的賬務數據量之大和客戶數之多可能是歐美任何一家大銀行都無法相比的。在歐美，如果銀行的客戶數或賬戶數超過一千萬就是大型銀行了，與我國四大國有商業銀行的一些省級分行的數據量相當。

　　要在四大國有商業銀行實施數據分析系統，即使使用最先進的計算機設備，最先進的應用系統，最科學的算法，都不得不面臨一個共同的問題——性能調整。　　數據分析系統對響應速度的要求雖然沒有聯機交易系統高，但也有一定的業務要求，每天增量的數據轉換、裝載、抽取、更新等必須在規定許可的時間內處理完。

　　１．ＯＬＴＰ系統重在聯機事務處理的響應速度、吞吐量；數據分析系統重在查詢，只有少量的聯機事務處理，其吞吐量主要表現為單位時間內允許的查詢數。　　１．首先建立並定義性能指標。在系統正式投入生產之前就有明確的性能需求，數據量與要求實現的功能決定了要採用的系統平台。　　２．制定並實施性能監控方案。

如什麼時候監控，監控的周期，並及時記錄監控的結果（包括各應用程序運行時各類資源的佔用情況、響應速度、各數據表的數據量及訪問頻率等）。　　３．根據監控記錄分析各度量元素（響應速度、吞吐量、ＣＰＵ、內存、Ｉ/Ｏ等）是否滿足預期定義的指標。　　４．確定主要約束是ＣＰＵ、內存、網絡，還是Ｉ/Ｏ，如ＣＰＵ已達到或超過８５％的利用率等。　　５．確定可以調整的資源。

了解哪些方面可負擔得起性能改進，哪些資源可承受附加的負荷。　　６．調整數據庫配置。每次更改一個，最好不要同時更改多個參數。　　７．如果調整數據庫配置不起作用，則應調整操作系統或硬件配置。　　以上是一個重複的過程。　　性能調整不僅是系統管理員的事，更需要應用開發人員的配合。

不好的應用設計會吞噬掉機器的性能。　　為了提高處理性能，應儘可能採用存儲過程而不採用嵌入ＳＱＬ。　　（１）同發出單一的ＳＱＬ語句或發送整塊的ＰＬ/ＳＱＬ文本到服務器相比，信息只需發送一次，減少了交互，通過網絡傳送的信息量較少。　　（２）存儲過程經創建、分析、認證、編譯等處理後，存放在數據庫管理系統（ＤＢＭＳ）服務器，ＳＱＬ語句是靜態的，可以即時調用，執行時不需要再編譯。

如果存儲過程已經在共享內存中，就不需要從磁盤中讀取，可以立即執行。　　（３）減少對內存的需求。多個用戶執行時，只需將過程的單個拷貝即可，多用戶共享同樣的代碼。　　（４）連續的執行以較小的開銷實現，從而改善性能。動態ＳＱＬ每次運行都需要較大的預處理開銷。

與表和索引一樣，系統可以收集存儲過程的統計信息，優化器可以創建最合適的訪問計劃。　　有數據表明，實現同一個功能，採用存儲過程只需採用嵌入ＳＱＬ的２０％的時間。使用存儲過程還比較安全，存儲過程的執行需要有該存儲過程定義者或所有者的權力，這樣就限制了用戶能夠執行的數據庫操作。

同時，使用存儲過程還能提高軟件開發的生產率，可以把存儲過程看成面向對象設計中的經過封裝的類，其他存儲過程或應用程序為完成某個功能，可以繼承該存儲過程而不需要重寫ＳＱＬ語句。如果需要修改該存儲過程功能，也不必對所有繼承該存儲過程的應用進行修改，可使修改的工作量降到最小，保證了應用程序的完整性與一致性。

另外，存儲過程也是可重用的單元，對提高可靠性也有所幫助。　　不要使用Ｃ＋＋程序設計語言處理數據，更不要使用Ｊａｖａ程序設計語言。 網絡營銷 。

存儲過程有自身的缺陷，如編程語言ＳＱＬ功能較差，與編程環境集成不夠，移植性差，能提供的內部功能函數有限，執行過程中能提供的信息有限，不便調試等，對於一些特定的業務需求目標和數據的具體情況，可能用嵌Ｃ更好。　　建索引是提高數據訪問效率的重要途徑，但建索引有時並不一定能起到作用，索引不能滿足未知需求，有時會適得其反，降低系統性能。

　　（１）索引數盡量少。當要在一個合理的時間內結束查詢時，應避免添加索引。過多的索引會降低更新操作的速度並消耗額外的空間，使磁盤有效使用率降低，增加系統的複雜性和管理成本。低速查詢不一定表示數據庫或索引有問題，很可能是程序有問題。　　（２）基數較大的列很適合用來做索引。

如果索引的惟一值有限（如＜１００），則不宜使用索引。　　（３）最好不選擇大的列作索引。　　（４）考慮到管理上的開銷，應避免在索引中使用多於 ５ 個的列，避免覆蓋多個查詢的大型索引。　　（５）對於多列索引，將查詢中引用最多的列放在定義的前面。　　（６）添加與已有索引相似的索引會給優化器帶來更多的工作，降低更新操作的速度。如果需要，可以修改已有的索引，使其包含附加的列。

　　（７）在經常進行連接，但沒有指定為外鍵的列上建立索引。　　（８）在頻繁進行排序或分組的列上建立索引。　　（９）在需要時建群集索引。群集索引允許對數據頁採用更線性的訪問模式，允許更有效的預取，並且有助於避免排序。這樣查詢操作會更快，但插入操作會慢。

適合插入更新頻率不高的表。　　（１０）確保最優的索引使用。　　優化查詢的出發點是如何減少查詢的資源利用：減少Ｉ/Ｏ，減少運算量。可以用Ｓｅｔ Ｅｘｐｌａｉｎ命令分析各種查詢語句的效率。　　（１）把頻繁使用的小表放在內存或高速緩存中，可以明顯減少Ｉ/Ｏ。　　（２）減少所讀的行數和所讀或更新的列。

如，僅讀取滿足條件的第一條記錄，僅讀取或更新必須的列。　　（３）用臨時表縮小查詢範圍。　　（４）盡量避免子查詢和明確關聯的子查詢。　　（５）避免複雜規則表達式。　　（６）盡量使用數據庫引擎提供的函數，如：ｓｕｍ，ａｖｇ，ｍｉｎ，ｍａｘ。　　（７）盡量使用連接而不用嵌套循環，避免連接長字符串。

　　（８）盡量用Ｗｈｅｒｅ縮小連接範圍。　　（９）避免不必要的大表的全表搜索。　　整數是最常用的數據類型，在運算字符串變量時計算機先把字符串中的每一個字符逐一轉換為整數，然後再對每一個整數分別進行運算。計算機軟件處理整數的效率要比處理字符串快２ｎ倍，其中ｎ是字符串中字符的個數。

　　所以，在設計表結構時，一些計算時頻繁用到的字段，如分支機構代碼、系統用戶代碼、客戶代碼等，應盡量採用整數類型。　　 對少於或等於３０個字節的字段，應避免使用可變長字符串（ＶＡＲＣＨＡＲ）數據類型。在這種情況下，ＶＡＲＣＨＡＲ類型通常會浪費空間，所以建議使用ＣＨＡＲ 類型。

如果數據量很大，空間的浪費往往會對查詢時間造成影響。　　為了減少數據冗餘，數據建模時一般都需要規格化達到第三範式，如果需要冗餘也是因為外鍵關係和數據引用完整性的需要。適當的非規格化雖然需要佔用更多的空間，但通過減少頻繁的連接、聚集和推導可以提高數據查詢的性能。

例如，客戶經理號與客戶經理名，客戶經理名依賴客戶經理號，如果在客戶經理業績表中僅有客戶經理號，在查詢客戶經理業績時就需要做表的關聯，從而降低查詢響應速度。非規格化以數據更新和數據空間的損失為代價換取數據訪問的優化。

一般的非規格化形式有：列複製，創建數據陣列，預連接表，預聚集數據。　　良好的算法，對提高性能有很大的幫助。對於一個業務功能，可以用多種算法去實現，因此應該評估每種算法的執行效率，從而選擇最優算法。　　這裡說一下排序。是排序，就要耗費資源，所以應盡量減少排序，避免不必要的排序，簡化排序。

可以將數據放在臨時表中以避免排序，減少所需排序的行數，用簡單關鍵字排序，排序較少或較小的列，以簡化排序。　　如果要排序應盡量使用內排序，避免使用外排序。外排序和內排序相比較要慢很多，而且磁盤排序會消耗臨時表空間中的資源。

　　ＯＬＴＰ系統為了達到更新交易吞吐量的最大化，一般使用緩衝日誌，增加物理日誌長度，最大化寫入緩衝百分比。為防止任何ＤＳＳ類型的查詢佔用系統資源，可通過將相關並行查詢參數配置設為較小值以限制並行查詢的資源（如Ｉｎｆｏｒｍｉｘ的ＰＤＱＰＲＩＯＲＩＴＹ、Ｏｒａｃｌｅ的ＰＱＯ並行查詢選項、ＤＢ２的ＩＮＴＲＡ＿ＰＡＲＡＬＬＥＬ、ＣＵＲＲＥＮＴ ＤＥＧＲＥＥ等）。

　　要使查詢引擎處理的查詢數最大化（吞吐量），以Ｉｎｆｏｒｍｉｘ為例，可以將相關的並行查詢參數設為ＰＤＱＰＲＩＯＲＩＴＹ≤２５％。　　要使單個查詢的處理時間最小化（響應速度），可設置ＰＤＱＰＲＩＯＲＩＴＹ＝５０％，最好採用快速ＣＰＵ多處理器。　　以上看起來似乎有些矛盾，但應根據實際情況平衡優先級。在不同的運行時間或針對不同的執行任務，使用不同的設置。

例如，日常工作時間用戶數較多時，將ＰＤＱＰＲＩＯＲＩＴＹ設置為較低，同時限制一些大數據量的查詢，大數據量的查詢可以放在非工作時間做，可設置較高的ＰＤＱＰＲＩＯＲＩＴＹ。　　一些數據庫管理系統允許用戶設置頁面大小，如ＤＢ２，對於ＯＬＴＰ應用程序採用較小的頁面更為可取，這樣消耗的緩衝池中的空間更少。對ＯＬＡＰ應用程序，通常使用較大頁面，可以減少在讀取特定數量的行時發出的Ｉ/Ｏ請求的數量。

較大的頁面還可以減少索引中的層數。但是，如果行長度小於頁面大小的１/２５５，則每頁中都將存在浪費的空間，因為每頁最多只能有２５５行（對於索引數據頁不適用）。在這種情況下，採用較小的頁面大小或許更合適一些。　　ＤＢ２、Ｉｎｆｏｒｍｉｘ、Ｏｒａｃｌｅ都有許多參數可以調整，這裡不一一敘述。　　對於數據分析系統而言，由於系統用戶較少，網絡一般不會成為瓶頸。

所以系統方面主要考慮處理器、內存和磁盤，原則是並行性相較於速度而言對提高性能更有效。　　對於大型分塊表，使用多ＣＰＵ可以並行搜索每個分塊。增加ＣＰＵ個數可以支持更多的用戶數並增加並行性。ＣＰＵ越快，越能支持複雜查詢和大型數據庫。