温馨提示要查看高清无删减写真集,请用手机打开照片,点击放大。
佩森的github
提示您可以左右滑动来查看部分代码块。
1文档创建的目的
本文主要讲解如何使用Sentry实现数据脱敏(也称为数据脱敏)。数据脱敏主要是指替换掉原始数据中的全部或部分敏感值。这可以防止用户未经授权直接访原始值,并保留底层数据的模式。
灵活的数据脱敏方案必须保证底层数据的真实价值不脱敏,并且当用户查询数据时,根据用户的具体权限决定是否屏蔽。Sentry可以让你控制视图的权限,实现数据脱敏。
在本文中,Fayson通过一个简单的现实示例来演示如何使用Sentry实现Hive/Impala数据脱敏。
内容概述
1环境准备及说明
2创建敏感视图
3权限分配与测试
4总结
测试环境
1CM和CDH版本是5131。
前提
1集群已启用Kerberos。
Sentry在两个集群上启用。
2环境准备
使用Hive的超级管理员用户准备数据节点,以便您可以创建Employee表和EmployeeMask视图。
1准备测试数据
[rootip-172-31-16-68数据屏蔽]beelinebeelinegt;connectjdbc:hive2://ip-172-31-24-169ap-southeast-1computeinternal:10099/;principal=hive/ip-172-31-24-169ap-southeast-1computeinternalFAYSONCOM
3加载数据到外部表employee的HDFS目录中
[rootip-172-31-16-68~]lltotal8-rw-r--r--1rootroot97Mar1523:12Employeescsv-rw-r--r--1rootroot173Mar1523:22Employeessql[rootip-172-31-16-68数据屏蔽]hadoopfs-ls/extwarehouse/data/employees/Found1items-rwxrwx--x+3hivehive972018-03-1523:28/extwarehouse/data/employees/employeescsv[rootip-172-31-16-68数据屏蔽]kinitfaysona[rootip-172-31-16-68~]kinitfaysonb[rootip-172-31-16-68~]hadoopfs-cat/extwarehouse/data/employees/员工csv
5总结
为了降低Hive数据的敏感度,可以使用regexp_replace函数通过正则表达式屏蔽敏感数据,也可以使用自定义的UDF函数来降低敏感数据的敏感度。
通过非敏感SQL创建视图,并使用Sentry权限控制向其他用户提供数据的非敏感视图。
被授予视图访权限的用户也无权访该表的基础数据文件。
引用
提示您可以左右滑动来查看部分代码块。
让我们继承先贤的独特教诲,定天地之心,定生人之命,实现万世太平。
温馨提示要查看高清无删减写真集,请用手机打开照片,点击放大。
我们鼓励您关注Hadoop的实际操作,尽快分享更多的Hadoop信息。欢迎您在未来分享。
欢迎原创文章
一、如何对表格中的数字脱敏处理?
一般来说,有多种方法可以降低表的数字敏感性。
1-掩码通过在号码中间添加特殊字符来阻止某些号码。例如,将1234567890转换为---67890。此方法不会更改位数,但会使数字不可读。
2-随机替换随机选择一张包含大量数字的表,用随机表中的数字替换原表中的数字。此方法改变位数但保持数字的随机性。
截去3位数字对原始数字的小数或整数部分进行四舍五入。例如,将1234567890-1234567890转换为1234567890或1234567890-12。此方法会改变位数,但可能会影响数字的准确性。
4-加密处理使用加密算法对数字进行加密,如AES、RSA等加密算法。此方法不会改变位数,但需要存储加密密钥以供解密。
5-哈希处理通过哈希函数对数字进行哈希处理,并将得到的哈希值作为不敏感的数字。此方法不会更改位数,但您会丢失有关原始号码的一些信息。
选择脱敏方法应根据实际需求和数据敏感性进行权衡。对于非常敏感的数据,可以使用加密或散列等方法,对于一般敏感的数据,可以使用屏蔽、随机替换和数字截断等方法。
二、表格中地址如何脱敏处理?
1.首先打开WPS程序并停留在主界面。
2、然后点击WPS主界面右上角的“WPS标志”并点击选中。
3.然后从WPS徽标下拉菜单中选择“选项”并单击“打开”。
4.然后从“选项”设置窗口的左侧菜单中选择“拼写检查”。
5.然后在右侧窗格中选中“键入时检查拼写”并确认“保存”。WPS可以检查拼写错误并修复题。
除了对WPS格式的号码进行脱敏外,还有其他方法可以保护号码。
1-实际工作中,无需使用居民号码进行实名认证,可以使用银行卡、手机号码等其他替代方式。
2-采集数据时,可采用加密算法对ID号进行加密,保证数据安全。
3-在应用中,您可以屏蔽ID号,并用-符号替换部分数字,以防止数据泄露。
4-为了保护数据隐私,不必要的号码信息可以删除或匿名化。
这意味着对于号码等敏感信息,必须从多方面进行保护,确保数据的安全隐私,防止数据在使用和传输过程中泄露。
对于保留姓脱敏正则表达式以及关于正则表达式 脱敏的题,想必大家都了解了吧,希望能帮助到大家。
No Comment