開放平臺產(chǎn)品技術(shù)發(fā)展csdn

淘寶開放平臺技術(shù)和產(chǎn)品演進(jìn)放翁（文初）2012.8.28淘寶開放平臺技術(shù)和產(chǎn)品演進(jìn)萌芽（07年底）雛形（08年）產(chǎn)品化（09年）平臺化（10年）市場化（11年）垂直化（12年）淘寶開放平臺技術(shù)和產(chǎn)品演進(jìn)萌芽（2007）業(yè)務(wù)： SAAS概念開始普及

賣家類服務(wù)草莽成長（頁面獲取數(shù)據(jù)的方式）產(chǎn)品：

內(nèi)部開始試點SAAS平臺，希望通過構(gòu)建組件化平臺，讓isv依賴于平臺搭建應(yīng)用服務(wù)于賣家。萌芽（2007）萌芽（2007）技術(shù)：

服務(wù)化：OSGI，SCA，Webservice，ESB，SOA

解決手段：SCA結(jié)合Spring方式來實現(xiàn)bundle內(nèi)部spring簡單組合，bundle外部通過SCA規(guī)范和Webservice實現(xiàn)接口互通。

延展內(nèi)容：服務(wù)安全，服務(wù)管理

帶來的痛苦：

服務(wù)化看似很美好，但對于內(nèi)部來說用框架限制太重，性能，調(diào)試，維護(hù)，協(xié)作效率都會受到限制。

服務(wù)粒度控制成為最大的設(shè)計障礙，太細(xì)增加服務(wù)管理成本，太粗會降低服務(wù)復(fù)用性。（應(yīng)用和業(yè)務(wù)模塊邊界的界定）

關(guān)注于工具，平臺，語言等表象層面的東西，忽略了市場對業(yè)務(wù)的需求，以及開發(fā)者真實的業(yè)務(wù)訴求（易用，商業(yè)化等）

雛形（2008）業(yè)務(wù)：

部分賣家應(yīng)用開始轉(zhuǎn)型到阿里軟件開放平臺，服務(wù)市場有了簡單雛形，淘寶業(yè)務(wù)開放走出了第一步。產(chǎn)品：

阿里軟件創(chuàng)建了阿里系第一個開放平臺，業(yè)務(wù)對接阿里軟件自有服務(wù)（旺旺，簡單的企業(yè)管理流程），淘寶的服務(wù)。08年底，淘寶服務(wù)開放30個，日均服務(wù)調(diào)用量2000w。

開放平臺基礎(chǔ)設(shè)施開始構(gòu)建：服務(wù)網(wǎng)關(guān)，應(yīng)用授權(quán)中心，開發(fā)者中心，簡易的服務(wù)市場。雛形（2008）雛形（2008）技術(shù)： OAuth0.x的借鑒，自有授權(quán)流程的設(shè)計（步驟接近于OAuth2，客戶端模式考慮不多）

服務(wù)mashup的關(guān)注：數(shù)據(jù)層（Gdata，json等），語言層面YQL，Yahoopipe（rss）

數(shù)據(jù)分析：Hadoop的嘗試，每日文件離線計算

集中式緩存實踐：memcached的引入和自有客戶端的開發(fā)。（客戶端容災(zāi)，軟負(fù)載均衡，NIO等）

產(chǎn)品化（2009）業(yè)務(wù)：

賣家應(yīng)用開始正式轉(zhuǎn)戰(zhàn)淘寶開放平臺，服務(wù)市場有了明確定位（淘寶的賣家和買家），市場逐步有了。產(chǎn)品：

淘寶開放平臺，淘寶箱（賣家服務(wù)市場前身）。09年底，淘寶服務(wù)開放100個，日均服務(wù)調(diào)用量4000w。產(chǎn)品化（2009）產(chǎn)品化（2009）技術(shù)：

流量控制，規(guī)則多樣化。（集中式緩存）

服務(wù)隔離：（嘗試使用jetty和tomcat，失敗告終），嘗試使用LVS支持軟路由控制服務(wù)分流。

利用mysql做一些在線及時分析，滿足一些簡單的統(tǒng)計告警需求。（hadoop做離線統(tǒng)計）

自有日志分析框架版本雛形出現(xiàn)，解決MR編寫維護(hù)成本，支持在線配置修改方式滿足統(tǒng)計需求。（Hive的工作類似）

優(yōu)化web容器數(shù)據(jù)流解析部分。（解析原始二進(jìn)制數(shù)據(jù)流，穿插業(yè)務(wù)控制內(nèi)容到數(shù)據(jù)解析過程中，實現(xiàn)lazyparser，按需解析）

平臺化（2010）業(yè)務(wù)：

淘寶正式對外宣布開放，贏在淘寶等運營活動激活了大量的賣家應(yīng)用（管理，營銷），買家類應(yīng)用逐步出現(xiàn)，順應(yīng)sns化，大量的游戲應(yīng)用首先占有了買家市場。產(chǎn)品：

淘寶開放平臺（服務(wù)生命周期管理，數(shù)據(jù)透明化）。10年底，淘寶服務(wù)開放304個，日均服務(wù)調(diào)用量8億。

平臺化（2010）平臺化（2010）技術(shù)：

流式數(shù)據(jù)分析單機(jī)到集群構(gòu)建（反向任務(wù)索取替代正向任務(wù)分配，支持多數(shù)據(jù)來源分析，MS協(xié)作基礎(chǔ)通信層建立），每半小時分析一次結(jié)果，分析規(guī)則動態(tài)配置

服務(wù)隔離：初步引入Jetty，開始封裝支持Comet的容器，實現(xiàn)web請求處理異步化 API定義有schema描述，服務(wù)半自動接入，文檔，sdk可自動生成。

對服務(wù)路由應(yīng)用實行管道化結(jié)構(gòu)重構(gòu)，支持業(yè)務(wù)靈活降級和灰度發(fā)布測試，也為異步化web服務(wù)提供更細(xì)粒度的資源分配控制。

數(shù)據(jù)訪問控制層優(yōu)化（富客戶端：bloomfilter，多級緩存，訪問降級控制）

市場化（2011）業(yè)務(wù)：

賣家市場趨于成熟，sns熱潮退去，站內(nèi)買家應(yīng)用部分開放，無線市場剛剛起步，淘寶客市場飛速發(fā)展。產(chǎn)品：

淘寶開放平臺（多樣化服務(wù)：ATS，TQL，Streamingapi，訪問控制多樣化）。11年底，淘寶服務(wù)開放798個，日均服務(wù)調(diào)用量19億。（淘寶客占了一半）

市場化（2011）市場化（2011）技術(shù)：

流式數(shù)據(jù)分析進(jìn)入第一階段成熟期（單機(jī)性能調(diào)優(yōu)，多核充分利用（計算換存儲），磁盤換內(nèi)存，數(shù)據(jù)壓縮，任務(wù)分拆（shuffle），經(jīng)歷著hadoop經(jīng)歷著的事情，保留著最初的設(shè)計基礎(chǔ)），每3分鐘分析一次結(jié)果，分析規(guī)則動態(tài)配置，用于告警和業(yè)務(wù)分析

利用PipeComet框架在jetty上層做了封裝，支持Streamingapi（實現(xiàn)消息外送的基本原型），服務(wù)異步處理隔離，保證了平臺的穩(wěn)定性。（不再受制于后端業(yè)務(wù)的穩(wěn)定性） TQL為無線等對連接消耗敏感的開發(fā)者提供了技術(shù)基礎(chǔ)。ATS為大數(shù)據(jù)異步處理提供了技術(shù)支持。 OAuth2的引入，對客戶端模式的支持，嘗試簡化服務(wù)訪問開發(fā)成本。

垂直化（2012）業(yè)務(wù)：

淘系服務(wù)市場開始成長出來：無線，站內(nèi)買家，站外買家（網(wǎng)站集成），淘寶客，賣家市場，垂直業(yè)務(wù)線（機(jī)彩票，二手，p4p，營銷等）。產(chǎn)品：

網(wǎng)站集成（JSsdk），iossdk，應(yīng)用安全控制等級多樣化，應(yīng)用監(jiān)控系統(tǒng)，數(shù)據(jù)同步組件，聚石塔。11年底，淘寶服務(wù)開放798個，日均服務(wù)調(diào)用量25億。垂直化（2012）垂直化（2012）技術(shù)：

流式數(shù)據(jù)分析進(jìn)入第二階段，1.5分鐘迭代計算一次，支持master根據(jù)業(yè)務(wù)橫向擴(kuò)展，支持輸入輸出的多樣化。（hdfs，文件系統(tǒng)，http數(shù)據(jù)流等）

借鑒FB的jssdk，構(gòu)建了top的sdk設(shè)計思路（非常輕量化），促成了對于買家服務(wù)調(diào)用的安全控制技術(shù)手段落地，并便于網(wǎng)站集成

服務(wù)將訪問控制粒度細(xì)化到了字段級別，針對不同安全級別的應(yīng)用在訪問范圍和授權(quán)時長上都有差異化對待。

應(yīng)用監(jiān)控成為應(yīng)用身份經(jīng)驗積累和服務(wù)質(zhì)量考核的重要指標(biāo)。

數(shù)據(jù)同步組件幫助開發(fā)者省掉Streamingapi的客戶端實現(xiàn)，最大化的減輕用戶集成長連接帶來的管理成本，保證了同步數(shù)據(jù)的穩(wěn)定性。

無線賣家產(chǎn)品安全和市場化開始逐步控制起來，無線端控制能力增強(qiáng)。店鋪淘寶基礎(chǔ)業(yè)務(wù)賣家買家淘客垂直業(yè)務(wù)網(wǎng)游SNS畫報店鋪數(shù)據(jù)物流寶分銷用戶交易評價產(chǎn)品/商品類目旺旺績效營銷酒店淘花直通車收藏夾E鏈通聚劃算機(jī)票會員管理圖片空間二手交易支付流水關(guān)聯(lián)推薦購物車天貓精選彩票淘女郎物流開放數(shù)據(jù)子賬號開放平臺服務(wù)現(xiàn)狀賣家后臺無線應(yīng)用賣家前臺網(wǎng)站接入站內(nèi)買家垂直業(yè)務(wù)開放平臺用戶商品交易營銷物流p4p淘客開放平臺和應(yīng)用市場開放經(jīng)歷的感悟業(yè)務(wù)：1.開放平臺從一個垂直部門到一個橫向部門。（快速建立與長期發(fā)展）2.開放單點驅(qū)動到市場機(jī)制建立。（賣家線切入，垂直線興起）3.不同BU的開放支持方式不同。（BC差別，反向SNS支持）4.市場需要運營，內(nèi)部服務(wù)也需要運營。（開放部門的效果追蹤和規(guī)則制定，UV客單價）開放經(jīng)歷的感悟技術(shù)：1.透明化永遠(yuǎn)是平臺的第一需求。（穩(wěn)定性，優(yōu)化基礎(chǔ)）2.足夠的業(yè)務(wù)嗅覺，用技術(shù)來創(chuàng)新。（數(shù)據(jù)推送）3.安全、業(yè)務(wù)、用戶體驗的平衡。（細(xì)節(jié)控制）4.找到企業(yè)基因來差異化設(shè)計平臺。（安全設(shè)計）5.技術(shù)無