AI時代基礎架構如何演進:快手資深架構師訪談

架構互聯高可用 2024-05-14 08:18:37
導讀:2024年5月24-25日,2024全球互聯網架構大會(簡稱:GIAC大會)將于深圳華僑城洲際酒店舉行。第11屆GIAC,組委會從互聯網架構熱門的AIGC、效能提升、 雲原生架構、數據智能、新硬件等領域甄選前沿的有典型代表的技術創新及研發實踐的架構案例,分享他們在本年度值得的總結、盤點的實踐啓示,打造一個分享及討論平台,幫助和指導聽衆了解和改進互聯網構建方式。在大會前夕,GIAC組委會采訪了本屆大會基礎架構&架構演進專場出品人余昭輝老師,就當下大模型對架構師的影響以及基礎架構的演進方向等問題進行了訪談。

余昭輝,快手主站技術部/資深架構師。目前就職于快手主站技術部,探索海量互聯網架構。曾在互聯網基礎架構領域摸爬滾打多年,研發過各類互聯網常見中間件,對消息隊列、RPC等尤其情有獨鍾,曾開源過消息隊列,也參與過Apache Dubbo的開源貢獻。

GIAC組委會:余老師,您好,很高興采訪到您,能否簡單的介紹一下自己?您目前的主要工作內容是什麽?

余昭輝:嗨,我現在在快手主站做業務架構的一些工作,主要就是看看我們工程架構上一些痛點怎麽解決,比如工程耦合的合理性問題,還有數據存儲上是不是可以采用更有效的緩存模型優化性能、降低成本之類的。在加入快手之前我在去哪兒、攜程、便利蜂等公司工作過,做過十多年的基礎架構相關的研發工作。

GIAC組委會:您在快手架構領域的探索中,負責項目的成果和遇到的挑戰有哪些?並且如何帶領團隊克服挑戰的,能簡單說1-2個具體的事例麽?您接下來的工作重心是哪方面?

余昭輝:嗯,主要的挑戰有這麽幾個方面吧,第一個是短視頻領域最近幾年發展特別迅速,快手是短視頻行業頭部之一,用戶規模決定了我們很多架構的選擇其實在行業內缺少可供參考的案例,再加上這幾年的業務狂奔,也給架構積累了不少技術債。

另外一點是,在降本增效的大環境之下,如何在成本和架構合理性之間尋找平衡點也非常有挑戰,就比如微服務架構這個事情,大家都說合久必分,依賴重了,複雜了我們就拆分呗,但是如果在一個千萬qps的大規模系統裏,拆分就不僅僅是單純的依賴重不重的問題了,需要考慮的因素就很多,比如拆分後IO放大了好幾倍,相應地穩定性、性能、成本都可能會劣化,這是非常有挑戰的。所以這個也是我們未來一段時間的重點工作,尋找海量qps服務下的架構實踐。

GIAC組委會:在具體技術方案落地的過程中,您通常關注哪些問題?如何保證技術方案順利實施?

余昭輝:對于技術方案落地,我關注更多的可能是穩定性相關的,因爲就目前我們的用戶規模,如果穩定性受損,影響面將非常大,所以爲了保證技術方案順利實施,我們會做很多事前的壓測工作,還會有各種灰度的措施,比如針對每個功能點都會有灰度開關,然後緩慢地放量,還要設計周全的降級和回滾措施。

GIAC組委會:對于業務方向的架構師,在技術選型的過程中,需要考慮哪些問題?您平時在這方面是怎麽樣做的?

余昭輝:作爲業務架構師,在做技術選型的時候,我覺得首先就是要了解清楚業務背景,在問題開始之前,多想一下我要解決的問題是什麽?我要解決的問題到底是什麽?想清楚這個很多時候技術選型就會自動地浮現出來。

想清楚真正的問題之後,下一步就是對問題進行拆解,要把一個大的問題拆分成多個小問題,然後針對這些小問題各個擊破。

最後就是從穩定性、成本等各個方面做一些測算,做一些benchmark,然後就是考慮落地節奏之類的啦。

GIAC組委會:您曾經主導過消息隊列項目QMQ開發,也了解到您在Apache Dubbo等項目有過開源貢獻,您覺得一個開源項目成功的關鍵因素是什麽?對于投身開源,您有哪些經驗可以分享給那些還沒參與開源開發的工程師?

余昭輝:這方面我其實做的不太好,我覺得開源項目的成功關鍵最主要的是社區建設和維護,建設一個活躍的社區之後,就會有更多的人參與進來,然後開源項目才能發展地更好,反而項目本身倒是其次的。

GIAC組委會:這兩年AI發展如火如荼,這和幾年前的業務型態有重大變化,您認爲架構師如何適應這些變化,如何讓自己在AI時代同樣具備競爭力?

余昭輝:我其實對AI還理解的不太深,但是目前一些AI産品我基本上也都用過,有的用的還比較頻繁,現在基本上代替了一部分搜索引擎的任務。

我覺得AI這個東西,積極去擁抱就好了,看看自己日常的工作有什麽AI是可以幫助你的。其實架構師的很多工作是不確定的、模糊的,就是不好對這個問題下一個定義,所以導致你都沒法直接去搜索引擎搜,因爲你不知道keyword到底是什麽,在以前你可能需要找一些人聊聊,但是現在你可以和AI聊,然後慢慢的探索出那個keyword,然後你就可以搜一些成熟的解決方案。

GIAC組委會:隨著AI時代的到來,傳統的基礎架構也變得成熟,是不是它沒有以前重要?從事基礎架構的工程師如何接下來如何更好體現自己價值?

余昭輝:這是個好問題,我也一直在自問。傳統的基礎架構確實好像沒有以前重要了,但也又比以前更重要。

一方面現在可選的開源組件非常多,雲服務也越來越成熟,所以好像沒什麽新的東西可以做,很多公司的基礎架構團隊基本上成了SRE的角色,很少有一些原創性的開發工作了。

但是另一方面,現在很多工作都進入了深水區,以前那種基本可用,粗放型基礎架構工作不再適合了。比如以前我們很多高可用方案都采用主從同步的方式,而現在基本上Raft成了標配;還有怎麽在降本增效的大環境裏,極致的壓榨性能,在本次GIAC基礎架構專題中,來自快手的李其勝就分享了快手的持續性能分析平台Perf-Insight,就是屬于這類。

GIAC組委會:您認爲什麽是架構師的真正能力,作爲想成爲架構師的技術人如何不斷提升自己的技術順應時代潮流?

余昭輝:我個人特別認同第一性原理,我覺得架構師真正的能力就是要直擊問題本質,用第一性原理看我們的業務,看我們的架構,從本質上去思考問題到底是什麽,然後提出有效的解決方案。

提升技術可能每個人都有自己的方法,我個人比較習慣從這幾個方面:

1、多看,我會關注各種計算機頂會的論文,看看這些行業TOP的公司和專家怎麽解決問題的,他們的方案是什麽。

2、多聽,我會經常和一些其他公司的同行聊天,比如參加各種技術大會就挺好,這是個提升認知的好機會。

GIAC組委會:2024年GIAC大會深圳站即將開啓,作爲基礎架構專題的出品人,能否簡單介紹下您甄選出的幾個議題?您對大會有哪些寄語?

余昭輝:之前組織方聯系我說做基礎架構的出品人,我就回了句:我不會AI Infra啊,只會點傳統Infra,這個還有人聽嗎,哈哈哈。所以在之後的選題中,我還是力爭去尋找那種能讓人眼前一亮的topic。

我覺得這次基礎架構的幾個topic還是非常有特色的:

首先我找了字節跳動的ByteGraph數據庫的負責人張帥老師,這裏其實是有點私心的,我在快手做了一段時間的關系鏈的緩存優化工作,所以我也很想看看在抖音這個規模上,這個用戶關系鏈是怎麽做的,從一些途徑了解到抖音正在把關系鏈數據放到圖數據庫裏,快手也正在這個方向上探索,所以想看看行業裏其他人是怎麽做的。那麽聽衆也可以看看,在幾億日活的國民級APP中,如何做社交關系,這是一件非常有挑戰性的事情。

而來自AutoMQ的周新宇老師分享的主題就是我一直念念不忘的了,我曾經在MQ這個領域摸爬滾打將近十年,一直在穩定性、性能和成本這個三角上左右互搏,後來我不再從事MQ的研發了,有一天我看到Snowflake的論文,講他們怎麽基于對象存儲S3來構建數據庫,我當時都被觸動了。後來我看到AutoMQ的分享,我又一次被觸動了,這就是我想要的那個Dream MQ。

還有來自快手的李其勝老師分享快手的持續性能分析平台Perf-Insight,那我們看快手是如何做成本優化的,我們常說做性能優化是個特種兵工作,需要那種牛人把自己關小黑屋一頓分析,那這種成本也太高了,所以一些小的性能優化可能就放棄了,那快手認爲性能分析是一個持續的工作,那我們能不能把一些牛人分析完的東西形成固化的系統規則,那所有一線開發寫了個代碼部署完後,我們的分析平台就告訴他,你這個代碼這樣寫能優化多少核,能節約多少錢,是不是很酷。

GIAC裏分享的主題都是來自一線工作者的幹貨,我希望大家參會都能找到自己的收獲。

以上內容來自GIAC組委會對余昭輝老師的采訪,希望大家看後有所收獲。2024全球互聯網架構大會將于5月24-25日在深圳華僑城洲際酒店舉行。根據用戶反饋和行業分析,同時結合聯合主席和出品人的建議,組委會設置了24大專場、84個前沿創新實踐。每一個專題下都有3-4位大咖講師,致力于幫助參會者通過了解大廠(案例包括字節、阿裏等)、快速發展的互聯網公司(案例包括B站、快手等)以及傳統研發組織(案例包括華爲等)不同研發規模、不同技術棧的公司的實踐,「按圖索骥」找到符合自己特點的開發範式和架構模式,每個案例分享時長爲1小時,下面是大會的全日程,分享給大家:
0 阅读:0

架構互聯高可用

簡介:感謝大家的關注