免费A级毛片无码专区网站-成人国产精品视频一区二区-啊 日出水了 用力乖乖在线-国产黑色丝袜在线观看下-天天操美女夜夜操美女-日韩网站在线观看中文字幕-AV高清hd片XXX国产-亚洲av中文字字幕乱码综合-搬开女人下面使劲插视频

  1. 首頁(yè) > 生活 > >

flink和spark對(duì)比

生活百科

1、技術(shù)理念不同：Spark的技術(shù)理念是使用微批來(lái)模擬流的計(jì)算 ， 基于Micro-batch,數(shù)據(jù)流以時(shí)間為單位被切分為一個(gè)個(gè)批次 ， 通過(guò)分布式數(shù)據(jù)集RDD進(jìn)行批量處理 ， 是一種偽實(shí)時(shí) 。而Flink是基于事件驅(qū)動(dòng) ， 它是一個(gè)面向流的處理框架 ，  Flink基于每個(gè)事件一行一行地流式處理 ， 是真正的流式計(jì)算 。另外他也可以基于流來(lái)模擬批進(jìn)行計(jì)算實(shí)現(xiàn)批處理 ， 在技術(shù)上具有更好的擴(kuò)展性 。
【flink和spark對(duì)比】2、時(shí)間機(jī)制：SparkStreaming只支持處理時(shí)間 ，  折中地使用processing time來(lái)近似地實(shí)現(xiàn)event time相關(guān)的業(yè)務(wù) 。使用processing time模擬event time必然會(huì)產(chǎn)生一些誤差 ，  特別是在產(chǎn)生數(shù)據(jù)堆積的時(shí)候 ， 誤差則更明顯 ， 甚至導(dǎo)致計(jì)算結(jié)果不可用 ， Structured streaming 支持處理時(shí)間和事件時(shí)間 ， 同時(shí)支持 watermark 機(jī)制處理滯后數(shù)據(jù)Flink 支持三種時(shí)間機(jī)制：事件時(shí)間、注入時(shí)間、處理時(shí)間、同時(shí)支持 watermark 機(jī)制處理遲到的數(shù)據(jù) ， 說(shuō)明Flink在處理亂序大實(shí)時(shí)數(shù)據(jù)的時(shí)候 ， 優(yōu)勢(shì)比較大 。
標(biāo)簽：flinkspark對(duì)比

    經(jīng)驗(yàn)總結(jié)擴(kuò)展閱讀