-
小知识:在Linux系统下移除文件内的隐私数据的方法和具体步骤
典型的数据文件通常关联着“元数据”,其包含这个文件的描述信息,表现为一系列属性-值的集合。元数据一般包括创建者名称、生成文件的工具、文件创建/修改时期、创建位置和编辑历史等等。几种流行的元数据标准有 exif(图片)、rdf(web资源)和doi(数字文档)等。 虽然元数据在数据管理领域有它的优点,但事实上它会危害你的隐私。相机图片中的exif格式数据会泄露出可识别的个人信息,比如相机型号、拍摄相…- 4
- 0
-
小知识:Linux下常用安全策略设置的六个方法
“安全第一”对于linux管理界乃至计算机也都是一个首要考虑的问题。加密的安全性依赖于密码本身而非算法!而且,此处说到的安全是指数据的完整性,由此,数据的认证安全和完整性高于数据的私密安全,也就是说数据发送者的不确定性以及数据的完整性得不到保证的话,数据的私密性当无从谈起! 1. 禁止系统响应任何从外部/内部来的ping请求攻击者一般首先通过ping命令检测此主机或者IP是否处于活动状态,如果…- 2
- 0
-
小知识:Linux文件系统面面观
对于计算机来说,所谓的数据就是0和1的序列。这样的一个序列可以存储在内存中,但内存中的数据会随着关机而消失。为了将数据长久保存,我们把数据存储在光盘或者硬盘中。根据我们的需要,我们通常会将数据分开保存到文件这样一个个的小单位中(所谓的小,是相对于所有的数据而言)。但如果数据只能组织为文件的话,而不能分类的话,文件还是会杂乱无章。每次我们搜索某一个文件,就要一个文件又一个文件地检查,太过麻烦。文件系…- 2
- 0
-
小知识:Linux实现文件内容去重及求交并差集
一、数据去重 日常工作中,使用Hive或者Impala查询导出来可能会存在数据重复的现象,但又不想重新执行一遍查询(查询时间稍长,导出文件内容多),因此想到了使用Linux命令将文件的内容重复数据进行去除。 案例如下: 可以看到aaa.txx有3条重复数据 想去掉多余的数据,只保留一条 sort aaa.txt | uniq > bbb.txt 将aaa.txt文件中重复数据去掉,输出到bb…- 2
- 0
-
小知识:Linux日志文件系统原来是这样工作的
文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据(metadata)包括 Superblock、inode bitmap、inode、data block bitmap等,所以写操作无法一步完成,如果其中任何一个步骤被打断,就会造成数据的不一致或损坏。 举一个简化的例…- 3
- 0
-
小知识:Linux文件系统中的硬链接及常见面试题
如果能对inode的概念有所了解,对理解本文会有所帮助。如果对inode的概念不太清楚也没有关系,我们会捎带介绍一下。在文件系统的实现层面,我们可以认为包含两个组件:一个是包含数据块的池子,池子中的数据块是等大小的,比如4KB,8KB等;另外一个是管理这些数据块的数据库。当普通用户访问文件数据时,正是通过前面所说的数据库来找到文件对应的数据块的。 什么是inode inode是Linux(Unix…- 2
- 0
-
小知识:Hadoop计数器的应用以及数据清洗
数据清洗(ETL) 在运行核心业务MapReduce程序之前,往往要先对数据进行清洗,清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序,不需要运行Reduce程序。 1.需求 去除日志中字段长度小于等于11的日志。 (1)输入数据 web.log (2)期望输出数据 每行字段长度都大于11 2.需求分析 需要在Map阶段对输入的数据根据规则进行过滤清洗。 3.实现代码 (1)编…- 6
- 0
-
小知识:磁盘阵列RAID0、RAID1和RAID5的区别和安全性介绍
RAID 0:无差错控制的带区组 要实现RAID0必须要有两个以上硬盘驱动器,RAID0实现了带区组,数据并不是保存在一个硬盘上,而是分成数据块保存在不同驱动器上。因为将数据分布在不同驱动器上,所以数据吞吐率大大提高,驱动器的负载也比较平衡。如果刚好所需要的数据在不同的驱动器上效率最好。它不需要计算校验码,实现容易。它的缺点是它没有数据差错控制,如果一个驱动器中的数据发生错误,即使其它盘上的数据正…- 14
- 0
-
小知识:Memcache缓存系统知识点梳理
Memcached概念: Memcached是一个免费开源的,高性能的,具有分布式对象的缓存系统,它可以用来保存一些经常存取的对象或数据,保存的数据像一张巨大的HASH表,该表以Key-value对的方式存在内存中。 官网下载地址: http://www.memcached.org/ 运行环境: linux,BSD,windows都可跑 协议理论:http://code.sixapart.com/…- 0
- 0
-
小知识:正确面对服务器数据存储防止数据丢失
每一家企业的管理层人员都非常重视存储在服务器的重要数据,包括:各类管理中所产生的机密办公文件、经营中所积累的客户资料、研发中所涉及的重要文件等等,用户时时关注服务器数据存储设备运行情况。其中作为存储设备中的一员,硬盘起着及其重要的作用。然而在所有的硬件部件中,硬盘又是故障率相对较高的产品,硬盘有价但数据无价,各大硬盘厂商提供的保修条例只针对于硬盘部件本身,而对于存储其中的数据没有提供相关的保障。 …- 2
- 0
-
小知识:Docker快速入门以及环境配置详解
前言 数据科学开发环境配置起来让人头疼,会碰到包版本不一致、错误信息不熟悉和编译时间漫长等问题。这很容易让人垂头丧气,也使得迈入数据科学的这第一步十分艰难。而且这也是一个完全不常见的准入门槛。 还好,过去几年中出现了能够通过搭建孤立的环境来解决这个问题的技术。本文中我们就要介绍的这种技术名叫Docker。Docker能让开发者简单、快速地搭建数据科学开发环境,并支持使用例如Jupyter note…- 1
- 0
-
小知识:服务器的日常维护需要做哪些工作
随着网络的发展,服务器在企业中发挥的作用也越来越大,但同样随着网络技术的发展,网络攻击和病毒也日益猖狂,那么我们应该要怎么来维护服务器呢? 服务器的维护可以分为两大模块,分别是软件维护和硬件维护。软件维护根据侧重点不同又可以细分为:数据库维护、操作系统维护、用户数据维护、网络资源维护;硬件维护可以细分为:定期检查、定期关机除尘等。 数据库可以说是企业的命脉,管理数据、经营数据等都存放在数据库中,所…- 1
- 0
-
小知识:HDFS分布式存储中NameNode 和DataNode 有什么区别?
随着互联网不断得突飞猛进, 数据就逐渐演变为科技和经济发展的核心 。更是 对于互联网时代的人类和企业来说,是至关重要的,可能对于普通人来说没有太大影响,但是对于国家和大型企业来说,数据就是其命脉,人工智能就是对数据海量化的最好证明之一。 所以,数据存储的稳定在一定程度上就可以决定人类经济的高度。 “但是, 许多人还没有搞清楚个人电脑互联网是什么,移动互联网在这里,当我们还没搞清楚移动互联网的时候,…- 1
- 0
-
小知识:四个用来擦除数据的 Linux 工具
用这些开源工具从你的硬盘驱动器中擦除数据。 保持数据安全的最好方法之一是只向加密的硬盘驱动器写入数据。在一个标准的硬盘上,只要把硬盘挂载就可以查看数据,就像 U 盘一样,甚至可以用 Scalpel 和 Testdisk 等工具显示和恢复已删除的数据。但是在一个加密的驱动器上,如果没有解密密钥(通常是你在挂载驱动器时输入的密码),数据是无法被读取的。 加密可以…- 4
- 0
-
小知识:Docker基础学习之数据管理
前言 docker容器中管理数据主要有两种方式,数据卷(Data Volumes)和数据卷容器(Data Volume Containers),下面我们详细介绍Docker中的数据管理,有需要的一起来学习学习吧。 数据卷 数据卷是一个可供容器使用的特殊目录,它绕过文件系统,可以提供很多有用的特性: 数据卷可以在容器之间共享和重用; &n…- 2
- 0
-
小知识:Docker 数据卷,数据卷容器详细介绍
Docker 数据卷,数据卷容器详细介绍 引子 有些时候,我们的服务运行时必不可少的会产生一些日志,或是我们需要把容器内的数据进行备份,甚至多个容器之间进行数据共享,这必然涉及容器的数据管理操作。 容器中管理数据主要有两种方式: 数据卷 数据卷容器 数据卷是一个可供容器使用的特殊目录,它绕过文件系统,可以提供很多有用的特性: - 数据卷可以在容器之间共享和重用 - 对数据卷的修改会立马生效 - 对…- 3
- 0
-
小知识:Docker 数据卷及数据容器详细介绍及示例
Docker 数据卷及数据容器 这两天开始学习docker,发现docker确实很强大,让网站部署和维护的效率大大提高。遂准备将手头维护的几个小站,全部docker化。整理的过程中感觉到,docker可以以功能或者进程为单位进行部署和维护,不用再花时间在繁琐的配置上面,但是docker和宿主之间的数据共享以及docker间的数据共享仍然是让人头疼和操心的地方。 几个基本概念: docker: 一种…- 9
- 0
-
小知识:在Ubuntu上使用Grafana监控Docker的方法
前言 grafana 是一个有着丰富指标的开源控制面板。在可视化大规模测量数据的时候是非常有用的。根据不同的指标数据,它提供了一个强大、优雅的来创建、分享和浏览数据的方式。 它提供了丰富多样、灵活的图形选项。此外,针对数据源(data source),它支持许多不同的存储后端。每个数据源都有针对特定数据源的特性和功能所定制的查询编辑器。grafana 提供了对下述数据源的正式支持:graphite…- 0
- 0
-
小知识:Docker 教程之数据管理详细介绍
Docker 数据管理 用户在使用 Docker 的过程中,往往需要能查看容器内应用产生的数据,或者需要把容器内的数据进行备份,甚至多个容器之间进行数据的共享,这必然涉及容器的数据管理操作。容器中管理数据主要有两种方式:数据卷(Data Volumes),数据卷容器(Data Volume Containers)。 数据卷 数据卷是一个可供容器使用的特殊目录,它绕过文件系统,可以提供很多有用的特性…- 0
- 0
-
小知识:Docker中容器数据卷(Data Volume)和数据管理详解
卷(Volume) 众所周知卷(Volume)是容器中的一个数据挂载点,卷可以绕过联合文件系统,从而为Docker 提供持久数据,所提供的数据还可以在宿主机-容器或多个容器之间共享。通过卷,我们可以可以使修改数据直接生效,而不必重新构建镜像。 一、数据卷 数据卷是一个可以绕过联合文件系统的,专门指定的可在一或多个容器间共享目录。卷为提供为持久化或共享数据提供了一些有用的特性。 数据卷设计的初哀是提…- 9
- 0
-
小知识:浅谈Docker基础之数据管理
用户在使用 Docker 的过程中,往往需要能查看容器内应用产生的数据,或者需要把容器内的数据进行备份,甚至多个容器之间进行数据的共享,这必然涉及容器的数据管理操作。容器中管理数据主要有两种方式:数据卷(Data Volumes),数据卷容器(Data Volume Containers)。 数据卷 数据卷是一个可供容器使用的特殊目录,它绕过文件系统,可以提供很多有用的特性: 1.数据卷可以在容器…- 0
- 0
-
小知识:docker 数据卷之进阶篇
笔者在《docker 基础 : 数据管理》一文中介绍了 docker 数据卷(volume) 的基本用法。随着使用的深入,笔者对 docker 数据卷的理解与认识也在不断的增强。本文将在前文的基础上介绍 docker 数据卷的原理及一些高级用法。如果您想先了解 docker 数据卷的基本概念与用法,请先移步这里。 为什么需要数据卷? 这得从 docker 容器的文件系统说起。出于效率等一系列原因,…- 0
- 0
-
小知识:浅谈Docker数据持久化
容器中数据持久化主要有两种方式: 数据卷(Data Volumes) 数据卷容器(Data Volumes Dontainers) 数据卷 数据卷是一个可供一个或多个容器使用的特殊目录,可以绕过UFS(Unix File System)。 数据卷可以在容器之间共享和重用 对数据卷的修改会立马生效 对数据卷的更新,不会影响镜像 数据卷默认会一直存在,即使容器被删除 一个容器可以挂载多个数据卷 注意:…- 1
- 0
-
小知识:详解Docker的持久化存储和数据共享
有些容器会自动产生一些数据,为了不让数据随着container的消失而消失,保证数据的安全性。例如:数据库容器,数据表的表会产生一些数据,如果我把container给删除,数据就丢失。为了保证数据不丢失,这就有了volume的存在。 data volume 结构图 docker持久化数据的方案 基于本地文件系统的volume。可以再执行docker create或docker run时,通过-v参…- 5
- 0
❯
个人中心
购物车
优惠劵
今日签到
有新私信
私信列表
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
猿优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!