从事大数据、海量数据处理相关的工作,如何自学打基础?

2023-01-14 09:56

2个回答

海量数据分成两块,一是系统建设技术,二,海量数据应用。先说系统建设,现在主流的技术是HADOOP,主要基于mapreduce的分布式框架。目前可以先学习这个。但是我的观点,在分布式系统出来之前,主要是集中式架构,如DB2,oracle。为什么现在用分布式架构,那是因为现在集中式架构受限于IO性能,出来速度慢,如果又一种硬件技术,可以很快地处理海量数据,性能上能满足需求,那么集中式架构优于分布式架构,因为集中式架构稳定,运维压力小。现在的集中式架构要么性能达不到要求,要么就是过于昂贵。我期待一种技术出现,可以非常快地传输和处理数据,那么集中式架构将再次进入人们眼球。再说海量数据应用。海量数据应用主要是数据挖掘和机器算法。具体有不同的应用场景,如个性化搜索和推荐,社交网络发现,精准营销,精准广告,实时最优路径,人工智能等等。看你想做系统支撑技术还是与业务结合的应用技术。

第一层:搞Google那个套路的,云计算方向的,hadoop那些搞搞,就可以去一些公司忽悠工作了。
第二层:搞一些社交网络,多媒体等海量数据的存储分析处理,侧重数据挖掘,以后可能能够在这个领域做点名堂。
第三层:在上面两层的数据的基础上,做PB级别“以上”规模,侧重“实时”海量数据分析,能够对在线业务做海量数据支撑的。 可能搞出商业和专业(技术)方面的重量级的。 我个人在这个行业混,是看到了需求,但个方面,还没有现成的:思想,方法,系统。 以后类似有Google M/R之类的,包含方法和系统甚至开发运维环境的东西出现。 从我个人的理解看:思想要变,并行计算的一些思想要引入比如Pipeline+Partitioning+M/R;算法要变:侧重常数事件复杂度的或者logn以下的;做业务的思想要变:比如实时要一个一定范围最优的解比一个一天后给一个全局范围的解跟重要等。

相关问答
学数据库,对于零基础.... 从哪开始
1个回答2022-08-16 15:43
HI我给语音讲解
人工智能的基础是大数据吗?
2个回答2022-11-08 01:01
从当前人工智能的技术体系结构来看,虽然数据是人工智能技术的三大基础之一,但不是唯一条件。 人工智能想要运行更准确,还需要拥有更精准、快速、可靠的分布式算法和算力对已捕获的海量数据进行分类、剖析后进行重...
全文
大数据课程基础内容有哪些?
2个回答2022-12-04 12:05
大数据课程基础内容
中医养生的基础理论依据是什么?
1个回答2022-10-29 15:20
顺其自然 天人合一
完全零基础可以自学大数据吗?
2个回答2022-12-17 23:45
可以是可以,但是有一定的难度,大数据相对来说更适合有基础的人学习,懂Java的人学习起来相对轻松很多,大数据学习一定要有方向,可以按照路线图的顺序学习,多问、多思考、多练,熟能生巧,学习就是一个不断...
全文
没有基础,能学Java大数据吗?
2个回答2022-12-06 10:16
能学是能学但是不建议学习,大数据更适合有基础的人学习,懂Java或者是做过Java的人,学习起来相对轻松很多,选择大数据培训机构的时候重点关注机构的口碑情况,除了口碑在看看机构的师资力量、课程体系、就...
全文
算命所依据的理论基础都有哪些?
2个回答2023-08-24 12:56
jingyan
关于“打好基础”的事实论据
1个回答2023-11-15 10:20
看过《灌篮高手》么。一般孩子们都看过,樱木花道起初是一个投篮的白痴,后来经过大量的练习(一天30000个投篮),终于能够熟练的运用在战场上。 这是动画片里的小故事。如果是课堂教育,最好举例一些学生们喜...
全文
幼儿园基础数据情况统计表怎么填
1个回答2024-01-29 12:43
消防安全巡查记录表做法内容包括 : 用火用电有无违章现象 2.安全出口疏散通道是否畅通  3.安全疏散指示标志是否完好  4.应急照明灯具是否完好 5.消防栓是否处于正常状态 6.消防...
全文
土力学及地基基础 数据指标
2个回答2022-10-22 03:20
wL表示液限、wp塑限,ES缩限。c是粘聚力 Ip=WL-Wp(塑性指数) IL=(W-Wp)/Ip (液性指数) Ip17粘土。 IL<0坚硬。0到0.25为硬塑。0.25到0.75为可塑。0....
全文
热门问答