标签：储存 运算 海量 营销 用户 智能 总部 数据 分布式

一、什么是大数据
在互联网技术发展到至今阶段，大量日常，工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的技术应运而生，这就是发数据技术。

梳理海量数据的核心技术：

• 海量数据的储存（分布式）
• 海量数据的运算（分布式）

这些核心技术的实现是不需要用户从零开始造轮子的储存和运算的都已经有大量的承受的框架来用。

储存框架：

• HDFS–分布式文件储存系统
• HBase–分布式数据库系统
• Kafka – 分布式消息缓存系统（实时流式数据处理场景中应用广泛）

运算框架：（要解决的核心问题就是帮用户将处理逻辑在许多机器上并行执行）

• Hive – 数据仓库工具：可以接收SQL,翻译成mapreduce或者spark程序运行
• Flume – 数据采集
• Sqoop – 数据迁移
• Elisticsearch – 分布式的搜索引擎
  …
  换个角度说，大数据是：

1. 有海量的数据
2. 有海量的数据进行挖掘的需求，有对海量数据进行挖掘的工具（Hadoop、spark等）

大数据在现实生活中的具体应用

数据处理测最典型应用：公司的产品运营情况分析
电商推荐系统：基于海量的浏览行为，购物行为数据，进行大量的模型的运算，得出各种推荐结论，一共电商网站页面来为用户进行商品推荐，

精准广告推送系统：基于海量的互联网用户的各类数据，统计分析，进行用户画像（得到用户的各种属性标签），然后可以为广告主进行有针对性的进准的广告投放。

标签：储存,运算,海量,营销,用户,智能,总部,数据,分布式
来源： https://www.cnblogs.com/SC123321/p/13392592.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。