職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位職責:
1、負責數(shù)據(jù)庫Doris集群的部署;
2、負責基于Hadoop/Hive/Spark/Flink構(gòu)建企業(yè)級離線/實時數(shù)據(jù)倉庫,支撐PB級數(shù)據(jù)存儲與計算;
3、設(shè)計并優(yōu)化ETL流程,實現(xiàn)多源異構(gòu)數(shù)據(jù)(如MySQL、ORACLE、Kafka)的清洗、轉(zhuǎn)換與加載;
4、參與數(shù)據(jù)中臺架構(gòu)設(shè)計,開發(fā)數(shù)據(jù)服務(wù)接口(如RESTful API)供業(yè)務(wù)系統(tǒng)調(diào)用;
5、診斷并解決Flink實時作業(yè)出現(xiàn)問題,通過調(diào)整并行度或優(yōu)化算子邏輯提升吞吐量;
6、保障數(shù)據(jù)中臺穩(wěn)定運行,實現(xiàn)自動巡檢與實時告警,報表需求閉環(huán)管理,保證業(yè)務(wù)正常使用;
7、實現(xiàn)數(shù)據(jù)庫性能優(yōu)化和高可用、災(zāi)備設(shè)計方案。
任職要求:
1、本科及以上學(xué)歷,計算機科學(xué)或相關(guān)專業(yè),有3-5年行業(yè)工作經(jīng)驗;
2、精通Java/Scala/Python其中一項,熟悉Linux環(huán)境及Shell腳本編寫。
3、深入理解Hadoop生態(tài)(HDFS、YARN、Hive、Spark、Flink),掌握MapReduce/DAG計算模型
4、具備百萬級TPS場景調(diào)優(yōu)經(jīng)驗。
5、精通帆軟FineReport/FineBI,熟悉其數(shù)據(jù)集、參數(shù)、模板等核心功能,掌握DolphinScheduler架構(gòu),熟練使用。
6、熟悉Oracle/MySQL/Hive等數(shù)據(jù)庫,具備SQL調(diào)優(yōu)能力(如索引優(yōu)化、執(zhí)行計劃分析)。
7、主導(dǎo)過至少1個PB級數(shù)據(jù)倉庫建設(shè)項目,有Spark SQL優(yōu)化實戰(zhàn)經(jīng)驗,能通過執(zhí)行計劃分析解決數(shù)據(jù)傾斜問題,熟悉Doris/ClickHouse等OLAP引擎,具備列式存儲優(yōu)化經(jīng)驗。
1、負責數(shù)據(jù)庫Doris集群的部署;
2、負責基于Hadoop/Hive/Spark/Flink構(gòu)建企業(yè)級離線/實時數(shù)據(jù)倉庫,支撐PB級數(shù)據(jù)存儲與計算;
3、設(shè)計并優(yōu)化ETL流程,實現(xiàn)多源異構(gòu)數(shù)據(jù)(如MySQL、ORACLE、Kafka)的清洗、轉(zhuǎn)換與加載;
4、參與數(shù)據(jù)中臺架構(gòu)設(shè)計,開發(fā)數(shù)據(jù)服務(wù)接口(如RESTful API)供業(yè)務(wù)系統(tǒng)調(diào)用;
5、診斷并解決Flink實時作業(yè)出現(xiàn)問題,通過調(diào)整并行度或優(yōu)化算子邏輯提升吞吐量;
6、保障數(shù)據(jù)中臺穩(wěn)定運行,實現(xiàn)自動巡檢與實時告警,報表需求閉環(huán)管理,保證業(yè)務(wù)正常使用;
7、實現(xiàn)數(shù)據(jù)庫性能優(yōu)化和高可用、災(zāi)備設(shè)計方案。
任職要求:
1、本科及以上學(xué)歷,計算機科學(xué)或相關(guān)專業(yè),有3-5年行業(yè)工作經(jīng)驗;
2、精通Java/Scala/Python其中一項,熟悉Linux環(huán)境及Shell腳本編寫。
3、深入理解Hadoop生態(tài)(HDFS、YARN、Hive、Spark、Flink),掌握MapReduce/DAG計算模型
4、具備百萬級TPS場景調(diào)優(yōu)經(jīng)驗。
5、精通帆軟FineReport/FineBI,熟悉其數(shù)據(jù)集、參數(shù)、模板等核心功能,掌握DolphinScheduler架構(gòu),熟練使用。
6、熟悉Oracle/MySQL/Hive等數(shù)據(jù)庫,具備SQL調(diào)優(yōu)能力(如索引優(yōu)化、執(zhí)行計劃分析)。
7、主導(dǎo)過至少1個PB級數(shù)據(jù)倉庫建設(shè)項目,有Spark SQL優(yōu)化實戰(zhàn)經(jīng)驗,能通過執(zhí)行計劃分析解決數(shù)據(jù)傾斜問題,熟悉Doris/ClickHouse等OLAP引擎,具備列式存儲優(yōu)化經(jīng)驗。
工作地點
地址:和田地區(qū)策勒縣kpark四號樓16層
??
點擊查看地圖
詳細位置,可以參考上方地址信息
求職提示:用人單位發(fā)布虛假招聘信息,或以任何名義向求職者收取財物(如體檢費、置裝費、押金、服裝費、培訓(xùn)費、身份證、畢業(yè)證等),均涉嫌違法,請求職者務(wù)必提高警惕。
職位發(fā)布者
1589..HR
無錫拈花灣文化投資發(fā)展有限公司
-
旅游·酒店·餐飲服務(wù)
-
1000人以上
-
國有企業(yè)
-
環(huán)山西路68號
相似職位
-
生產(chǎn)班長 面議惠山區(qū) 應(yīng)屆畢業(yè)生 不限無錫樸業(yè)橡塑有限公司
-
自動化經(jīng)理 2元以上惠山區(qū) 5年以上 本科無錫樸業(yè)橡塑有限公司
-
項目總(商業(yè)) 30000-60000元江陰市 應(yīng)屆畢業(yè)生 大專碧桂園控股有限公司
-
電力產(chǎn)品工程師(售前技術(shù) 產(chǎn)品資料管理 供應(yīng)鏈尋源方向) 5000-10000元應(yīng)屆畢業(yè)生 本科天津港保稅區(qū)伊潤國際貿(mào)易有限公司
-
外貿(mào)助理(無錫) 5000-7000元應(yīng)屆畢業(yè)生 本科天津港保稅區(qū)伊潤國際貿(mào)易有限公司
-
消控員(惠山項目) 5000-6000元梁溪區(qū) 應(yīng)屆畢業(yè)生 不限無錫拈花灣文化投資發(fā)展有限公司
應(yīng)屆畢業(yè)生
本科
最近更新
1223人關(guān)注
注:聯(lián)系我時,請說是在無錫人才網(wǎng)上看到的。
