大數(shù)據(jù)剛剛興起的時(shí)候,只要懂一點(diǎn)Hadoop,就能寫一點(diǎn)HQL,就能找到工作,不過(guò)現(xiàn)在僅憑一項(xiàng)技能是沒(méi)有機(jī)會(huì)找到大數(shù)據(jù)工作的了,需要系統(tǒng)的學(xué)習(xí)掌握技術(shù)才可能找到工作。
數(shù)據(jù)開發(fā)的平臺(tái)化比較成熟。普通開發(fā)者已經(jīng)可以在沒(méi)有專業(yè)數(shù)據(jù)開發(fā)者介入的情況下完成大部分的大數(shù)據(jù)開發(fā),因此依靠單一的簡(jiǎn)單技能已經(jīng)不再流行。而且大數(shù)據(jù)行業(yè)的門檻在提高,對(duì)數(shù)據(jù)開發(fā)者的要求也變得更高。
當(dāng)然,這并不意味著我們不能入行大數(shù)據(jù)。相反,我們能夠?qū)W會(huì)系統(tǒng)的大數(shù)據(jù)技術(shù)反而能夠更好的找到工作,拿到滿意的工資待遇。很多朋友在談到數(shù)據(jù)挖掘和大數(shù)據(jù)的時(shí)候,都會(huì)不由自主的想到機(jī)器學(xué)習(xí)算法。其實(shí)大部分?jǐn)?shù)據(jù)崗位都不需要這么高深的知識(shí)。但是如果你掌握了技能樹更多的內(nèi)容,或許就能更強(qiáng)的控制你的數(shù)據(jù)上下游,或許就能晉級(jí)下一階段。數(shù)據(jù)挖掘的技能樹無(wú)論是橫向還是縱向都很深,并不適合普通人,因?yàn)樯疃葘W(xué)習(xí)真的很難,需要機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、概率論、線性代數(shù)、智能優(yōu)化方法、各種分布式和一致性算法、各種資源調(diào)度理論等很深的數(shù)學(xué)知識(shí)。
從數(shù)據(jù)的產(chǎn)生到使用,基本的環(huán)節(jié)就是:采集-清洗-加工-分析-決策。在這個(gè)環(huán)節(jié)上,前后需要的技能是不一樣的。一般來(lái)說(shuō),后端門檻越高,復(fù)雜度越高。
數(shù)據(jù)開發(fā)的崗位縱向可以分為數(shù)據(jù)采集工程師-ETL工程師-數(shù)據(jù)倉(cāng)庫(kù)工程師-算法工程師-數(shù)據(jù)分析師。橫向上還可以有大數(shù)據(jù)運(yùn)維工程師、大數(shù)據(jù)平臺(tái)開發(fā)工程師、數(shù)據(jù)治理架構(gòu)師、數(shù)據(jù)服務(wù)架構(gòu)師、大數(shù)據(jù)系統(tǒng)架構(gòu)師、大數(shù)據(jù)框架開發(fā)工程師等崗位。