大发体育娱乐在线-大发体育娱乐官方网站-大发体育娱乐登录网址
做最好的网站

数据意气风发致性,HDFS数据完整性

来源:http://www.dfwstonefabricators.com 作者:关于计算机 人气:163 发布时间:2019-11-04
摘要:为了保险数据的完整性,经常接受数据校验技术: 1、奇偶校验技术 2、md5,sha1等校验技艺 3、CRC-32循环冗余校验本事 4、ECC内部存款和储蓄器纠错校验本事 HDFS 会对写入的具有数据总计

为了保险数据的完整性,经常接受数据校验技术:
1、奇偶校验技术
2、md5,sha1等校验技艺
3、CRC-32循环冗余校验本事
4、ECC内部存款和储蓄器纠错校验本事

HDFS 会对写入的具有数据总计校验和(checksum),并在读取数据时证实校验和。针对钦定字节的多少总结校验和。字节数暗中同意是512 字节,能够透过io.bytes.per.checksum属性设置。通过CRC-32编码后为4字节。

HDFS数据完整性
1、HDFS以透明格局校验全数写入的数据,能够因此io.bytes.per.checksum属性设置,字节数私下认可是512 字节,创设三个单独的校验和,假使节点检查实验数据失实,就能够报CheckSumException非凡。
2、除了在读取数据时打开表明,数据节点也会在后台运行多个线程
DataBlockscanner(数据块检查评定程序卡塔尔国周期性的验证存款和储蓄在数码节点上的兼具块。
3、风度翩翩旦质量评定到corruptblock,在heartbeat阶段,DN会收到NN发来的Block Command,从其余数据块中拷贝意气风发份新的replica(备份块卡塔 尔(阿拉伯语:قطر‎。

 

当三步跳件系统
后生可畏旦运用当半夏件系统file:///,在写二个文本file的时候,会隐式创设三个file.crc文件,包罗每一种数据块的checksum。
采取FileSystem.setVerifyChecksum(false)来禁用校验和注明,也得以在shell命令中央银行使-ignoreCrc选项。
剥夺校验的法子还是能通过RawLocalFilesystem原生扶持校验和,
1、通过设置fs.file.impl的值为org.apache.Hadoop.fs,RawLocalFileSystem
2、创设它的实例

Datanode 在保留数据前承当验证checksum。client 会把数据和校验和联合发送到两个由三个datanode 组成的行列中,最终叁个Datanode 担当验证checksum。如若申明战败,会抛出一个ChecksumException。客商端必要管理这种极其。

LocalFileSystem继承于ChecksumFileSystem,
ChecksumFileSystem提供了文这么些大学验的种类成效。

 

package org.apache.hadoop.fs;

顾客端从datanode读取数据时,也会验证checksum。每一个Datanode 都保留了多个验证checksum的日记。每一趟顾客端成功验证叁个多少块后,都会告知datanode,datanode会更新日志。

/**********************************************************
Implement the FileSystem API for the raw local filesystem.
*************************************************************/
public class RawLocalFileSystem extends FileSystem {
}

 

public abstract class ChecksumFileSystem extends FilterFileSystem {
}

各个datanode 也会在三个后台线程中运维二个DataBlockScanner,准时验证那么些 datanode 上的富有数据块。

public class LocalFileSystem extends ChecksumFileSystem {
}

 

证实是或不是留存file.crc文件

在用Hadoop fs get命令读取文件时,能够用-ignoreCrc忽视验证。假如是通过FileSystem API 读取时,能够经过setVerify**Checksum(false)**,忽略验证。

package Compress;


import java.io.IOException;

Hadoop 中的LocalFileSystem会进展顾客端的视察和,写文件时,会在目录下创办叁个名叫.filename.crc的隐没文件,要是想禁绝校验和法力,能够用RawLocalFileSystem代替LocalFileSystem 。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.ChecksumFileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;

Configuration conf = ...
FileSystem fs = newRawLocalFileSystem();
fs.initialize(null, conf);

public class CheckpointFileSystem {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "DeCodec"); 
        //打包运营必得实行的方式
        job.setJarByClass(CheckpointFileSystem.class);
        LocalFileSystem localFileSystem = ChecksumFileSystem.getLocal(conf);
        System.out.println(
                localFileSystem.getChecksumFile(new Path("/liguodong/data")));     
    }
}

要么直接设置fs.file.impl属性为 org.apache.**hadoop.fs.RawLocalFileSystem** 那样会全局禁止使用checksum

[root@master liguodong]# yarn jar checksum.jar
/liguodong/.data.crc


Hadoop怎么样更正HDFS文件存款和储蓄块大小  http://www.linuxidc.com/Linux/2013-09/90100.htm

LocalFileSystem 内部使用了ChecksumFileSystem姣好checksum专门的学问。通过 ChecksumFileSystem 能够加少将验和魔法。

将地面文件拷到HDFS中 http://www.linuxidc.com/Linux/2013-05/83866.htm

FileSystem rawFs = ...
FileSystem checksummedFs = newChecksumFileSystem(rawFs);

从HDFS下载文件到地面 http://www.linuxidc.com/Linux/2012-11/74214.htm

相关阅读:

将地方文件上传至HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

将当麻芋果件拷到HDFS中 http://www.linuxidc.com/Linux/2013-05/83866.htm

HDFS基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

从HDFS下载文件到地面 http://www.linuxidc.com/Linux/2012-11/74214.htm

Hadoop中HDFS和MapReduce节点基本简单介绍 http://www.linuxidc.com/Linux/2013-09/89653.htm

将当麻芋果件上传至HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

《Hadoop实战》中文版+英语文字版+源码【PDF】 http://www.linuxidc.com/Linux/2012-10/71901.htm

HDFS基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop: The Definitive Guide【PDF版】 http://www.linuxidc.com/Linux/2012-01/51182.htm

Hadoop中HDFS和MapReduce节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

越来越多Hadoop相关音信见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

《Hadoop实战》汉语版+阿拉伯语文字版+源码【PDF】 http://www.linuxidc.com/Linux/2012-10/71901.htm

正文长久更新链接地址:http://www.linuxidc.com/Linux/2015-06/118462.htm

Hadoop: The Definitive Guide【PDF版】 http://www.linuxidc.com/Linux/2012-01/51182.htm

图片 1

更加多Hadoop相关信息见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

图片 2

本文由大发体育娱乐在线发布于关于计算机,转载请注明出处:数据意气风发致性,HDFS数据完整性

关键词:

最火资讯