Hadoop教程

Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展,每一个台机都可以提供本地计算和存储。

90%的世界数据在过去的几年中产生”。

由于新技术,设备和类似的社交网站通信装置的出现,人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十亿千兆字节。如果以堆放的数据磁盘的形式,它可以填补整个足球场。在2011年创建相同数据量只需要两天,在2013年该速率仍在每十分钟极大地增长。虽然生产的所有这些信息是有意义的,处理起来有用的,但是它被忽略了。

什么是大数据?

大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。

在大数据会发生什么?

大数据包括通过不同的设备和应用程序所产生的数据。下面给出的是一些在数据的框架下的领域。

  • 黑匣子数据:这是直升机,飞机,喷气机的一个组成部分,它捕获飞行机组的声音,麦克风和耳机的录音,以及飞机的性能信息。

  • 社会化媒体数据:社会化媒体,如Facebook和Twitter保持信息发布的数百万世界各地的人的意见观点。

  • 证券交易所数据:交易所数据保存有关的“买入”和“卖出”,客户由不同的公司所占的份额决定的信息。

  • 电网数据:电网数据保持相对于基站所消耗的特定节点的信息。

  • 交通运输数据:交通数据包括车辆的型号,容量,距离和可用性。

  • 搜索引擎数据:搜索引擎获取大量来自不同数据库中的数据。

Big Data

因此,大数据包括体积庞大,高流速和可扩展的各种数据。它的数据为三种类型。

  • 结构化数据:关系数据。

  • 半结构化数据:XML数据。

  • 非结构化数据:Word, PDF, 文本,媒体日志。

大数据的好处

  • 通过保留了社交网络如Facebook的信息,市场营销机构了解可以他们的活动,促销等广告媒介的响应。

  • 利用信息计划生产在社会化媒体一样喜好并让消费者对产品的认知,产品企业和零售企业。

  • 使用关于患者以前的病历资料,医院提供更好的和快速的服务。

大数据技术

大数据的技术是在提供更准确的分析,这可能影响更多的具体决策导致更大的运行效率,降低成本,并减少了对业务的风险。

为了利用大数据的力量,需要管理和处理的实时结构化和非结构化的海量数据,可以保护数据隐私和安全的基础设施。

目前在市场上的各种技术,从不同的供应商,包括亚马逊,IBM,微软等来处理大数据。尽管找到了处理大数据的技术,我们研究了以下两类技术:

操作大数据

这些包括像MongoDB系统,提供业务实时的能力,这里主要是数据捕获和存储互动工作。

NoSQL大数据系统的设计充分利用已经出现在过去的十年,而让大量的计算,以廉价,高效地运行新的云计算架构的优势。这使得运营大数据工作负载更容易管理,更便宜,更快的实现。

一些NoSQL系统可以提供深入了解基于使用最少的编码无需数据科学家和额外的基础架构的实时数据模式。

分析大数据

这些包括,如大规模并行处理(MPP)数据库系统和MapReduce提供用于回顾性和复杂的分析,可能触及大部分或全部数据的分析能力的系统。

MapReduce提供分析数据的基础上,MapReduce可以按比例增加从单个服务器向成千上万的高端和低端机的互补SQL提供的功能,这是系统的一种新方法。

这两个类技术是互补的,并经常一起部署。

操作与分析系统

  操作 分析
等待时间 1 ms - 100 ms 1 min - 100 min
并发 1000 - 100,000 1 - 10
访问模式 写入和读取 读取
查询 选择 非选择性
数据范围 操作 回溯
最终用户 顾客 数据科学家
技术 NoSQL MapReduce, MPP 数据库

大数据的挑战

大数据相关的主要挑战如下:

  • 采集数据
  • 策展
  • 存储
  • 搜索
  • 分享
  • 传输
  • 分析
  • 展示

为了实现上述挑战,企业通常需要企业级服务器的帮助。


猿狮妹
2022-12-05
Hadoop Hadoop教程 编程课程
热门教程
1 Hadoop教程 Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展,每一个台机都可以提供本地计算和存储。
2 OOZIE 五分钟入门学习 OOZIE 是什么鬼? Apache Oozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。这里,用户被允许创建向非循环图工作流程,其可以在并列 Hadoop 并顺序地运行。 它由两部分
3 理解 MapReducer 本教程中的代码分为 3 个部分: 解释 SalesMapper 类 解释 SalesCountryReducer 类 解释 SalesCountryDriver 类 SalesMapper类的说明 在本节中,我们将了解 SalesMapper 类的实现。 我们首先指定类的包名称
4 Hadoop MapReduce MapReduce它可以编写应用程序来处理海量数据,并行,大集群的普通硬件,以可靠的方式的框架。 MapReduce是什么? MapReduce是一种处理技术和程序模型基于Java的分布式计算。 MapReduce算法包
5 Hadoop程序入门实践 问题陈述: 找出销往各个国家商品数量。 输入:我们的畋输入数据集合是一个 CSV 文件,Sales2014.csv 前提条件: 本教程是在Linux上开发 - Ubuntu操作系统 已经安装了Hadoop(本教程使用版本
6 Hadoop HDFS操作 启动HDFS 首先,格式化配置HDFS文件系统,打开NameNode(HDFS服务器),然后执行以下命令。 $ hadoop namenode -format 格式化HDFS后,启动分布式文件系统。以下命令将启动名称节点和数据节点的
7 MapReduce简介和入门 MapReduce 是适合海量数据处理的编程模型。Hadoop是能够运行在使用各种语言编写的MapReduce程序: Java , Ruby, Python, and C++. MapReduce程序是平行性的,因此可使用多台机器集群执行大规模的数
8 Hadoop安装 本教程是以Ubuntu 系统作为安装讲解环境,为了减少不必要的麻烦,请您 安装Ubuntu 并能正常启动进入系统。同时也必须要 安装Java 。 一、添加 Hadoop 系统用户组和用户 使用以下命令在终
9 MapReduce Hadoop程序连接数据 这里有两个数据集合在两个不同的文件中,如下所示: DEPT_ID 键在这两个文件中常见的。 目标是使用 MapReduce 加入来组合这些文件。 输入:我们的输入数据集是两个txt文件:DeptName.txt 和
10 Hadoop环境安装设置 Hadoop由GNU/Linux平台支持(建议)。因此,需要安装一个Linux操作系统并设置Hadoop环境。如果有Linux操作系统等,可以把它安装在VirtualBox(要具备在 VirtualBox内安装Linux经验,没有装过也可
  • Copyright © 2021 猿狮院, All rights reserved.