Hadoop
学习记录
author:slightwjq
2023年2月10日

大数据基本概念

数据分析的方向：现状分析（分析当下）、原因分析（分析过去）、预测分析（预测未来）。

原因分析：离线分析：面向过去，分析已有数据，在时间维度的批处理。
现状分析：实时分析：面向当下，分析实时产生的数据，秒级乃至毫秒级。
预测分析：机器学习：基于历史和当下预测未来，侧重于数学算法的运用。

step1:明确分析目的和思路
step2:数据收集
step3:数据处理
step4:数据分析
step5:数据展现
step6:报告撰写

大数据5V特征：
Volume：数据体量大
Variety：种类、来源多样化
Value：低价值密度
Velocity：速度快
Veracity：数据的质量

分布式：多台机器，每台机器部署不同组件。
集群：多台机器，每台机器部署相同组件。

数据如何存储：分布式存储
数据如何计算：分布式计算