|
標簽：
TPC-C基準程序用來衡量整個IT系統(tǒng)的性能，而不是評價服務器或某種硬件系統(tǒng)的標準，其中性能由tpmC衡量。TPC-H所報告的性能計量單位被稱為“TPC-H復合式每小時查詢性能單位（QphH）”，反映出了系統(tǒng)處理查詢的多方面能力。
TPC體系是影響最大的評測基準之一。
TPC(TransactionProcessing Performance Council，事務處理性能委員會)是由數(shù)十家會員公司創(chuàng)建的非贏利組織，總部設在美國。
TPC不給出基準程序的代碼，而只給出基準程序的標準規(guī)范。任何廠家或其他測試者都可以根據(jù)規(guī)范，最優(yōu)地構(gòu)造出自己的測試系統(tǒng)(測
試平臺和測試程序)。為保證測試結(jié)果的完整性，被測試者(通常是廠家)必須提交給TPC一套完整的報告，包括被測系統(tǒng)的詳細配置、分類價格和包含5年維護 費用在內(nèi)的總價格。該報告必須由TPC授權(quán)的審核員核實(TPC本身并不做審計)。TPC在全球只有不到10名審核員，而且全部在美國。
TPC推出過11套基準程序，分別是正在使用的TPC-App、TPC- H、TPC-C、TPC-W，過時的TPC-A、TPC-B、TPC-D和TPC-R，以及因為不被業(yè)界接受而放棄的TPC-S（Server專門測試基 準程序）、TPC-E（大型企業(yè)信息服務測試基準程序）和TPC-Client/Server。目前最為“流行”的TPC-C是聯(lián)機事務處理(OLTP) 的基準程序，于1992年7月完成，后被業(yè)界逐漸接受。
TPCC 標準
作為一家非盈利性機構(gòu)，事務處理性能委員會（TPC）負責定義諸如TPC-C、TPC-H和TPC-W 基準測試之類的事務處理與數(shù)據(jù)庫性能基準測試，并依據(jù)這些基準測試項目發(fā)布客觀性能數(shù)據(jù)。TPC基準測試采用極為嚴格的運行環(huán)境，并且必須在獨立審計機構(gòu) 監(jiān)督下進行。委員會成員包括大多數(shù)主要數(shù)據(jù)庫產(chǎn)品廠商以及服務器硬件系統(tǒng)供應商。
相關(guān)企業(yè)參與TPC基準測試以期在規(guī)定運行環(huán)境中獲得客觀性能驗證，并通過應用測試過程中所使用的技術(shù)開發(fā)出更加強健且更具伸縮性的軟件產(chǎn)品及硬件設備。
TPC-C是一種旨在衡量聯(lián)機事務處理（OLTP）系統(tǒng)性能與可伸縮性的行業(yè)標準基準測試項目。這種基準測試項目將對包括查詢、更新及隊列式小批量事務在內(nèi)的廣泛數(shù)據(jù)庫功能進行測試。許多IT專業(yè)人員將TPC-C視為衡量“真實”OLTP系統(tǒng)性能的有效指示器。
TPC- C基準測試針對一種模擬訂單錄入與銷售環(huán)境測量每分鐘商業(yè)事務（tpmC）吞吐量。特別值得一提的是，它將專門測量系統(tǒng)在同時執(zhí)行其它四種事務類型（如支
付、訂單狀態(tài)更新、交付及證券級變更）時每分鐘所生成的新增訂單事務數(shù)量。獨立審計機構(gòu)將負責對基準測試結(jié)果進行公證，同時，TPC將出據(jù)一份全面徹底的 測試報告。這份測試報告可以從TPC
Web站點上獲得。
TPC-E——OLTP聯(lián)機事務處理測試新模型
20年前，美國的TPC(事務處理性能委員會，Transaction Processing Performance Council)成立之時，或許并沒有想到其TPC系列測試標準會如此受業(yè)界關(guān)注。作為國際上權(quán)威的服務器性能測試組織。目前在國際上幾乎所有IT界的知 名廠商(如IBM、HP、SUN、英特爾等)都是TPC的會員。
OLTP測試模型一直是TPC組織的重點測試標準，TPC-C的前身TPC-A就是TPC組織發(fā)布的第一個測試標準。由于TPC-C逼真地 模擬了OLTP應用，在發(fā)布后逐漸得到廣大用戶的認可，使用tpmC作為其計算機系統(tǒng)性能評價體系基礎的用戶數(shù)量逐年上升。不過，隨著信息產(chǎn)業(yè)的不斷發(fā) 展，TPC-C的一些問題也慢慢暴露出來。首先，隨著B2B、B2C等新型應用逐漸興起，TPC-C現(xiàn)有的倉庫管理系統(tǒng)測試模型已經(jīng)距離目前的OLTP用 戶應用模式越來越遠，5種作業(yè)需求也不足以覆蓋用戶現(xiàn)有的典型操作;其次，眾多的測試設備投入使得TPC-C測試給廠商帶來了較大的壓力，這并不是TPC 組織愿意看到的，因此TPC組織于2007年3月推出了全新的OLTP測試標準——TPC-E，意在用這個測試標準取代TPC-C測試，從而對上述問題起 到解決作用。
TPC-E在測試模型上進行了巨大的革新與改進。TPC-E是以美國紐約證券交易所為模型，該測試模擬了一系列后端處理數(shù)據(jù)以及證券公司前端客戶在股票交易市場的典型行為——賬戶查詢、在線交易和市場調(diào)研。
與TPC-C測試模型相比，TPC-E更加強調(diào)模型的高仿真性，其模型微縮模擬了全球最大電子股票交易市場——美國納斯達克股市的日常業(yè)務 流程，模型架構(gòu)完成了從C/S架構(gòu)到B/S架構(gòu)的過渡，是典型的互聯(lián)網(wǎng)時代OLTP性能測試基準。同時，數(shù)據(jù)類型更加豐富，由3類擴展為10類，模擬的交 易條件更復雜。
TPC-H關(guān)注查詢能力
TPC-H是一種決策支持基準。它包含一整套面向商業(yè)的特殊查詢和并發(fā)數(shù)據(jù)修改內(nèi)容。該基準中選擇的查詢和數(shù)據(jù)庫中的數(shù)據(jù)都具有廣泛的全行業(yè)關(guān)聯(lián)性。這種測試基準所描述的決策支持系統(tǒng)可檢查大量的數(shù)據(jù)，所執(zhí)行的查詢也具有很高的復雜度。
TPC-H所報告的性能計量單位被稱為“TPC-H復合式每小時查詢性能單 位”（TPC-H Composite Query-per-Hour Performance Metric -
QphH@Size），反映的是系統(tǒng)處理查詢的多方面能力，包括查詢執(zhí)行時選定的數(shù)據(jù)庫大小、單個流提交查詢時的查詢處理能力，以及多個并發(fā)用戶提交查詢 時的查詢吞吐量。TPC-H的價格/性能比計量單位的表達方式為$/QphH@Size。
應用性能參考SPEC
SPEC是標準性能評估公司（Standard Performance Evaluation Corporation）的簡稱。SPEC是由計算機廠商、系統(tǒng)集成商、大學、研究機構(gòu)、咨詢等多家公司組成的非營利性組織，這個組織的目標是建立、維護 一套用于評估計算機系統(tǒng)的標準。
與TPC體系注重在線處理能力和數(shù)據(jù)庫查詢能力不同，SPEC體系中最廣為人知的兩個子項，是衡量CPU、內(nèi)存性能的CPU2000和Web服務器性能的web2005。另外還有一個衡量Java服務器性能的jbb2005，近年來也逐漸受到關(guān)注。
除了TPC家族，SPEC家族也是廣為人知的一大體系。SPEC指標體系由 Standard Performance Evaluation Corp.制定，目前主要包括針對CPU性能的SPEC CPU2000（已有CPU2006，但尚無數(shù)據(jù)）、針對Web服務器的SPECweb2005、針對高性能計算的SPEC HPC2002與SPEC MPI2006、針對Java應用的jAppServer2004與JBB2005，以及對圖形系統(tǒng)、網(wǎng)絡和郵件服務器的測試指標。
SPEC CPU 2006
SPEC CPU 2006是SPEC組織推出的CPU子系統(tǒng)評估軟件最新版，在早些年，業(yè)界使用的是其上一個版本SPEC CPU 2000。和SPEC CPU 2000一樣，SPEC CPU 2006包括了CINT2006和C FP2006兩個子項目，前者用于測量和對比整數(shù)性能，而后者則用于測量和對比浮點性能，SPEC CPU 2006中對SPEC CPU 2000中的一些測試進行了升級，并拋棄/加入了一些測試，因此兩個版本測試得分并沒有可比較性。
SPEC CPU測試中，測試系統(tǒng)的處理器、內(nèi)存子系統(tǒng)和使用到的編譯器（SPEC CPU提供的是源代碼，并且允許測試用戶進行一定的編譯優(yōu)化）都會影響最終的測試性能，而I/O（磁盤）、網(wǎng)絡、操作系統(tǒng)和圖形子系統(tǒng)對于SPEC CPU2006的影響非常的小。
An ounce of honest data is worth a pound of
marketing hype（一盎司誠實的數(shù)據(jù)值得一磅的市場宣傳）是SPEC組織成立的座右銘，為了保持數(shù)據(jù)的公平、可信度以及有效，SPEC CPU測試使用了現(xiàn)實世界的應用程序，而不是用循環(huán)的算術(shù)操作來進行基準測試。SPEC CPU 2006包括了12項整數(shù)運算和17項浮點運算，除此之外，還有兩個隨機數(shù)產(chǎn)生測試程序998.sperand（整數(shù)）和999.specrand（浮
點），它們雖然也包含在套件中并得到運行，但是它們并不進行計時以獲得得分。這兩個測試主要是用來驗證一些其他組件中會用到的PRNG隨機數(shù)生成功能的正 確性。各個測試組件基本上由C和Fortran語言編寫，有7個測試項目使用了C++語言，而Fortran語言均用來編寫浮點部分。
CINT2006包括C編譯程序、量子計算機仿真、下象棋程序等，CFP2006包括有限元模 型結(jié)構(gòu)化網(wǎng)格法、分子動力學質(zhì)點法、流體動力學稀疏線性代數(shù)法等。為了簡化測試結(jié)果，SPEC決定使用單一的數(shù)字來歸納所有12種整數(shù)基準程序。具體方法 是將被測計算機的執(zhí)行時間標準化，即將被測計算機的執(zhí)行時間除以一個參考處理器的執(zhí)行時間，結(jié)果稱為SPECratio。SPECratio值越大，表示 性能越快（因為SPECratio是執(zhí)行時間的倒數(shù)）。CINT2006或CFP2006的綜合測試結(jié)果是取SPECratio的幾何平均值。
JAVA應用性能測試——SPEC jbb2005
SPECjbb2005是由Standard Performance Evaluation Corp(標準性能評估組織)提供的、專供檢測服務器 JAVA應用性能的測試軟件，SPEC是由著名計算機廠商、系統(tǒng)集成商、大學、研究所、出版商等組成的非贏利性組織。目前，SPEC得到了包括IBM、 HP、Intel、Compaq等主要服務器廠商的認可。
SPECjbb2005(Java服務器基準)是評估服務器端JAVA性能的SPEC測試工具。和以前的SPECjbb2000一
樣，SPECjbb2005通過模擬三層C/S系統(tǒng)(主要是中間層)來評估服務器端JAVA的性能。該測試軟件運行JVM(Java虛擬機)、JIT (Just-In-Time)編譯器、碎片收集、線程以及操作系統(tǒng)的其他任務。它也測量CPU、Cache、內(nèi)存和 SMP的性能。SPECjbb2005通過提供面向?qū)ο蠓绞竭\行的、新的增強的工作負載，來反映真實應用系統(tǒng)的情況。另外，SPECjbb2005也引入 了一些新的特性，如XML處理和BigDecimal計算，以保證測試結(jié)果能更確切地反映當前的實際應用。
SPECjbb2005是一種被廣泛使用的工業(yè)標準基準測試。概括來講，每個"warehouse"會產(chǎn)生一個獨立的線程，從而決定測試線程的并發(fā)數(shù)。
SPEC Web2005
Web服務參考Web2005
作為SPECweb99和SPECweb99_SSL的繼承者，SPECweb2005延續(xù)了SPEC的傳統(tǒng)，為Web用戶提供客觀的Web服務器系統(tǒng)性能測試基準。
SPEC
Web2005測試的原理，是通過多臺客戶機向服務器發(fā)出Http Get請求，請求調(diào)用Web服務器上的網(wǎng)頁文件，這些文件從數(shù)千字節(jié)到數(shù)兆字節(jié)不等。在相同的時間里，服務器回答的請求越多，就表明服務器對客戶端的處理能力越強，系統(tǒng)的Web性能就越好。
基于快速發(fā)展的Web技術(shù)，與上一代測試基準相比，SPECweb2005基準包括許多新增強特性，其中包括：
● 測量并發(fā)用戶會話。
● 相關(guān)動態(tài)內(nèi)容：包括PHP和JSP實施。
● 使用兩個并行HTTP連接請求頁面鏡像。
● 多種標準化的工作負載：銀行業(yè)（HTTPS）、電子商務（HTTP and HTTPS）和支持（HTTP）。
● 使用If-Modified-Since請求模擬模擬器緩存效果。
● 文件訪問與今天的真實Web服務器訪問模式匹配度更高。
|
