女人久久久,最近更新中文字幕在线,成人国内精品久久久久影院vr,中文字幕亚洲综合久久综合,久久精品秘?一区二区三区美小说

原創(chuàng)生活

國內 商業(yè) 滾動

基金 金融 股票

期貨金融

科技 行業(yè) 房產

銀行 公司 消費

生活滾動

保險 海外 觀察

財經 生活 期貨

當前位置:科技 >

微動態(tài)丨騰訊云TDSQL登頂數(shù)據(jù)庫“奧林匹克”背后

文章來源:鈦媒體APP  發(fā)布時間: 2023-04-06 16:16:46  責任編輯:cfenews.com
+|-

“你們不懂銀行。”

2014年,騰訊云數(shù)據(jù)庫第一次走出騰訊之外,試圖敲定一個關系不那么遠的客戶——微眾銀行,微眾銀行CTO看著眼前這套完全基于互聯(lián)網的分布式架構方案,兩個小時后,雙方誰也沒說服誰,留給騰訊云數(shù)據(jù)庫的只有這么一句話。

時過境遷,如今國產數(shù)據(jù)庫進入到越來越多的核心場景,集中式、分布式已經不再是問題,問題是是誰能更好地接住大規(guī)模替代需求,在Oracle和IBM DB2等西方數(shù)據(jù)庫生態(tài)的圍墻之外,新的高塔聳立入云。


(相關資料圖)

3月30日,據(jù)數(shù)據(jù)庫領域權威測評機構國際事務處理性能委員會(TPC,Transaction Processing Performance Council)官網披露,騰訊云數(shù)據(jù)庫TDSQL順利通過TPC-C基準測試,性能達到每分鐘8.14億筆交易(tpmC)。

TPC-C基礎測試榜單有數(shù)據(jù)庫“奧林匹克”之稱,此前,OceanBase分別在2019、2020年兩次打榜成功,更早之前,TPC-C基準測試榜單都是海外數(shù)據(jù)庫廠商如Oracle、IBM的名字。

TDSQL實現(xiàn)了每分鐘8.14億筆交易(tpmC)的成績,相比過去的7.07億的tpmC有不小的提升,并且在成本上,單位成本合1.27元/tpmC,只有過去的三分之一。

“必須要去打一次榜”

“我們認為,國產數(shù)據(jù)庫走到一定階段之后,必須要去打一次榜。不過打榜不是我們的核心目的,而是對TDSQL產品能力和過去15年在數(shù)據(jù)庫發(fā)展過程中的階段性總結。目前,TDSQL在應用場景上已經有了非常深厚的技術積累,產品能力和性能都達到了階段性突破,并在一些大型銀行核心系統(tǒng)中穩(wěn)定運行?;诖?,今年TDSQL團隊花費了兩個月的時間去參加打榜,期望借助權威的TPC-C測試審計對產品做一次全面的驗證?!彬v訊云數(shù)據(jù)庫技術負責人潘安群表示。

以騰訊云數(shù)據(jù)庫TDSQL為例,其發(fā)展可以分為三個階段:

1、支撐騰訊集團自身的業(yè)務,比如Q幣充值和消費等;

2、TDSQL Inside,隨著騰訊云的發(fā)展,給各行各業(yè)的產業(yè)互聯(lián)網服務;

3、攻堅金融標桿,金融行業(yè)是數(shù)據(jù)庫領域里最難的場景。

第一個階段,騰訊的海量業(yè)務如騰訊廣告、騰訊視頻等業(yè)務,需要高可用性、海量并發(fā)的數(shù)據(jù)庫,對數(shù)據(jù)庫的彈性伸縮要求很高。騰訊云數(shù)據(jù)庫在這一階段主要做到數(shù)據(jù)不能有錯,同時支持海量的并發(fā),騰訊自身的業(yè)務決定了TDSQL的發(fā)展。

“零幾年的時候,DBA是最苦惱的,因為需要不斷擴容才能夠滿足業(yè)務,而用戶一上來,整個系統(tǒng)又被沖垮,需要不斷地處理,每天晚上都在做擴容,當時真的是血與淚的經歷”,潘安群表示。

第二個階段,2009年之后,騰訊云開始對外提供服務,如前所述微眾銀行的金融場景,還有數(shù)字廣東等政務場景。此外,第七次人口普查、騰訊會議等需要大量復雜數(shù)據(jù)查詢、分析、儲存的能力,騰訊云數(shù)據(jù)庫系統(tǒng)變得越來越復雜,業(yè)務場景變廣,系統(tǒng)要求也變得更高。

第三個階段,金融領域被視為數(shù)據(jù)庫應用的標桿場景,如果一家數(shù)據(jù)庫能夠在金融場景立住,基本上就可以勝任大部分的業(yè)務場景。因此,銀行核心系統(tǒng)等數(shù)據(jù)庫的替換,也是國產數(shù)據(jù)庫最難啃下的一塊骨頭。

挑戰(zhàn)越大,意味著收益越大,國產數(shù)據(jù)庫一般是從周邊業(yè)務、創(chuàng)新業(yè)務入手,從小銀行到大銀行逐步遞進,一邊積累經驗,一邊打下標桿。盡管騰訊云數(shù)據(jù)庫TDSQL在微眾銀行得到證明,但想贏得傳統(tǒng)銀行的信任還需要更多的案例、更多的時間。

“他們認為,互聯(lián)網銀行和傳統(tǒng)銀行不一樣,無論是架構的復雜度,還是業(yè)務的復雜度,雖然有微眾銀行的案例打底,他們依然對我們的數(shù)據(jù)庫缺乏信心。張家港農商行是我們做的第一個標桿,他們是國內第一家敢吃‘螃蟹’的人,幾乎把銀行科技線所有人的職業(yè)生涯,都押在我們TDSQL身上?!迸税踩赫f道。

張家港農商行是騰訊云數(shù)據(jù)庫TDSQL在國內第一個完成傳統(tǒng)銀行數(shù)據(jù)庫國產化的案例。此后,TDSQL持續(xù)深入金融核心,打造標桿產品,騰訊云逐漸在金融場景,目前已服務了國內排行前十銀行中的七家,助力20余家金融機構完成了核心系統(tǒng)替換,這一個不斷交互、不斷打磨、不斷信任的過程。

TDSQL產品第一階段主要解決強一致、高可用、彈性伸縮;第二階段加上了高性能、低成本、產品化;第三階段更多是在可用性、一致性等方面有了更高要求。

目前,可以理解為TDSQL的第四階段。“從政策推動和國家戰(zhàn)略來說,大規(guī)模復制已經開始了?!彬v訊云數(shù)據(jù)庫總經理王義成表示。

王義成坦率地表示,過去騰訊云數(shù)據(jù)庫在跟一些友商在項目上POC、壓測過程中,其實有很多性能都遠超出客戶的要求,對于這些成果我們也期望能通過更權威的評測機構來做一次證明。

言而總之,騰訊云TDSQL希望借這次打榜,傳遞出自己的技術先進性,更希望能夠在金融客戶中實現(xiàn)規(guī)模復制,如何在客戶場景做傳統(tǒng)數(shù)據(jù)庫的兼容,國產化的快速替換,進而提升產品和運維的易用性,都是未來TDSQL的方向。

如何“打榜”?

TPC-C是OLTP數(shù)據(jù)庫性能測試唯一的國際權威榜單,整個過程模擬電商交易系統(tǒng),核心有兩個指標,第一是每分鐘能夠處理的事務數(shù)tpmC,第二是性價比,通常依靠硬件的冗余,數(shù)據(jù)庫可以做到更高的性能,但客戶要看現(xiàn)實的性價比,不可能無限堆硬件,硬件成本、軟件成本、服務成本平攤之后的單位性價比,就很有參考意義。

測試主要分為四部分,一是8小時的滿壓力測試,要求整個系統(tǒng)處在穩(wěn)定的狀態(tài),能夠避免數(shù)據(jù)庫為了打榜故意短時間拉高性能指標,8小時足以看出數(shù)據(jù)庫的性能。此外,TPC-C要求性能標準規(guī)范要求波動率在2%以內,騰訊云TDSQL做到了0.2%以內。

二是故障容災測試。在滿載測試期間,模擬各種硬件的故障,比如審計員隨機選擇機器斷電,要保證數(shù)據(jù)不丟失,觀察系統(tǒng)在無任何人工干預下,請求量多久能完全恢復并且快速恢復到8.14億tpmC的極值。從實際測試結果來看,TDSQL在18秒就完成HA切換,對于大盤整體影響微乎其微。

后兩個測試是ACID測試,即數(shù)據(jù)庫的四大特性:Atomicity原子性、Consistency一致性、Isolation隔離性、Durablilty耐久性,以及最后的50%、80%壓力測試,這兩部分的難度,相比前兩部分較小。

從開始測試到測試完成,騰訊云數(shù)據(jù)庫TDSQL用了兩個月的時間,整個過程大概分為三個階段。首先,把單機性能做到極致;其次,轉到分布式水平擴展,讓數(shù)據(jù)庫性能隨機器數(shù)量線性增長;最后,利用1650臺物理機和1000臺虛擬機進行了8小時的壓力測試,確保系統(tǒng)穩(wěn)定無故障,對數(shù)據(jù)庫的內存管理、鎖的機制、網絡模型、復制模型都進行了大量優(yōu)化。

TPC-C的榜首位置已經許久沒有變化,在OceanBase之前,前二紀錄由Oracle和IBM保持,分別是2011年和2010的記錄。

行業(yè)觀點認為,采用集中式架構的傳統(tǒng)數(shù)據(jù)庫,性能無法達到目前的水準,分布式數(shù)據(jù)庫系統(tǒng)的擴展性要足夠好,才能解決傳統(tǒng)IOE集中式架構擴展性不足的問題。

而且從成本角度考量,不是每個數(shù)據(jù)庫廠商都愿意投入如此多的人力、時間和硬件資源成本。這些也是國外廠商沒有持續(xù)打榜的因素之一。

王義成介紹,TPC-C的榜單提供了相對公平的測試環(huán)境,當我們關注總榜的情況下也需要看單位成本。此次TDSQL創(chuàng)造的紀錄是每分鐘8.14億的交易量,對于這個量級,打個比方來說,目前銀行最大的業(yè)務系統(tǒng)峰值可能就是20億筆的交易(當天),20億筆的峰值平均在4-5個小時內完成,每分鐘處理的交易量遠遠低于8.14億。因此,8.14億的這個性能指標足以支撐全國所有核心系統(tǒng)的性能要求。

“雖然未來榜單的成績遲早會被超越,但實現(xiàn)單價(price/tpmC)1.27元人民幣是很有挑戰(zhàn)的?!彼f。

騰訊云數(shù)據(jù)庫的行業(yè)策略

國產數(shù)據(jù)庫正在迎來最好的時代,從技術更替維度,亦或是產業(yè)環(huán)境維度,都是如此。

于技術維度,云計算開辟了一條新的賽道,沿著Oracle的車轍,其他數(shù)據(jù)庫廠商很難越過經驗和生態(tài)筑就的高墻,不論在國內和國外,AWS、騰訊云等云廠商,都走上了云數(shù)據(jù)庫這條賽道。

于產業(yè)環(huán)境維度,國內第一批數(shù)據(jù)庫興起于21世紀初的“核高基”等政策,完成了從無到有的過程,而在近年來波詭云翳的技術脫鉤潮流之下,數(shù)據(jù)庫作為現(xiàn)代企業(yè)的核心軟件,也迎來政策的又一波加持。

MySQL,PostgreSQL,MongoDB,Redis和Neo4j,關系型或者非關系型,所有數(shù)據(jù)庫都是時代的產物,每代數(shù)據(jù)庫都有自己的長征,而現(xiàn)在,到了國產數(shù)據(jù)庫攻堅的關鍵時期。

王義成表示,騰訊云的策略是內部先全面做好金融場景的整體復制,廣泛規(guī)模復制瞄準幾個子賽道,銀行、資管、保險。

“打標桿可以投入不少人‘死磕’,但真正到了復制階段,就要拼誰的業(yè)務質量更高,誰的效率更高,2022年下半年,我們已經開始大量投入關于精細化運營質量的打磨、升級的方案,并且在金融行業(yè)已經起到了初步復制效果,在能源、交通等行業(yè)賽道,正在做標桿案例的突破。”他表示。

王義成介紹,從行業(yè)傳導來看,2021-2022年,國有大行基本已經完成技術選型,現(xiàn)在12家股份制加6家國有大行和3家政策性銀行,大多數(shù)都做了整體框架的選擇。騰訊在大行和股份制銀行里數(shù)量相對占優(yōu),但大行和股份制銀行在選型時一般并不會只選一家。

城商行和農商行體系大多數(shù)并沒有完成選型的替換,今年騰訊云大批量復制的重點就是城商行和農商行,依靠大行的成熟案例和ISV的配合,爭取在城商行和農商行領域實現(xiàn)全面覆蓋。

一個銀行的核心系統(tǒng)至少十年以上才會做更新?lián)Q代,如果不在這個周期內,該行的預算和更換動力就不會特別充足。

保險領域和銀行稍有不同,銀行更看重產品穩(wěn)定性、產品精細化運營等能力,保險領域的國產化替換并不換核心業(yè)務系統(tǒng),只是更換數(shù)據(jù)庫。大多數(shù)保險公司看重和Oracle的兼容性,騰訊云的策略是把Oracle兼容性的能力做得更豐富,圍繞數(shù)據(jù)遷移體系、Oracle評估體系,來切保險的市場。

金融資管賽道和保險、銀行不太一樣,重Oracle兼容性的同時又很重ISV,騰訊云在資管行業(yè)會在ISV的培訓中做更多投入,在相關子賽道做前續(xù)適配。其它托管的行業(yè)賽道主要還是以打標桿為主。

“就復制而言,金融行業(yè)是一個可以更好地進行批量復制的行業(yè),對于行業(yè)know-how,我們還在學習階段,等看到行業(yè)有復制機會的點來投入,做客戶攻堅?!蓖趿x成說。

(本文首發(fā)鈦媒體APP,作者 | 張帥)

關鍵詞:

專題首頁|財金網首頁

投資
探索

精彩
互動

獨家
觀察

京ICP備2021034106號-38   營業(yè)執(zhí)照公示信息  聯(lián)系我們:55 16 53 8 @qq.com  財金網  版權所有  cfenews.com