集群安全合规过不了？ EMR Kerberos + Ranger 一站式安全方案

摘要：

大数据平台面临等保合规要求，身份认证和权限管控是核心难点。腾讯云 EMR 提供 Kerberos 认证与 Ranger 权限管控的一站式安全方案，帮助企业构建合规的大数据安全防护体系。

一、大数据安全合规的核心挑战

随着《网络安全法》《数据安全法》等法律法规的实施，企业大数据平台需要满足等保二级或三级的安全要求。在等保测评中，身份认证、访问控制、安全审计是重点考察项。

传统自建 Hadoop 集群在安全配置上面临多个难点：

a. 身份认证机制不完善，难以实现统一的强身份认证。

b. 权限管理粗放，无法实现细粒度的数据和资源访问控制。

c. 安全审计能力薄弱，无法满足等保对审计日志的要求。

d. 安全配置复杂，组件众多且各自独立，运维成本高。

等保三级是我国对非银行机构的高级信息安全认证，对身份认证、访问控制、安全审计等方面有严格要求。大数据平台作为承载企业核心数据的系统，通常需要达到等保三级标准。

二、 EMR 一站式安全方案架构

腾讯云弹性 MapReduce （ EMR ）是基于云原生技术和泛 Hadoop 生态开源技术的安全、低成本、高可靠的开源大数据平台。在安全合规方面， EMR 提供多层次的安全防护能力。

2.1 网络安全层

EMR 集群部署在腾讯云 VPC （私有网络）中，通过网络隔离和安全组机制保证网络安全可信。 VPC 网络隔离确保集群网络与其他租户网络逻辑隔离，安全组提供基于协议的访问控制策略，限制不必要的网络访问。

2.2 访问认证层： Kerberos 集群级认证

EMR 提供集群级别的 Kerberos 认证，保障集群访问安全。 Kerberos 是一种网络认证协议，通过密钥分发中心（ KDC ）提供强身份认证机制。

EMR 集群使用 MIT 的 Kerberos 作为 KDC 服务。在创建 EMR 集群时，用户可以选择开启 Kerberos 认证。开启后，集群中的开源组件以 Kerberos 的安全模式启动，只有经过认证的客户端才能访问集群的服务。

EMR 新版本（ EMR-V2.6.0 及 EMR-V3.2.1 以上）的 Kerberos 已集成 LDAP ，并在控制台支持用户管理功能。用户可以通过控制台界面创建、删除用户，系统会自动同步 Kerberos 数据库中的 principal 信息。

Kerberos 认证的工作流程包括：客户端向认证服务器（ AS ）请求票据许可票据（ TGT ），然后使用 TGT 向票据授权服务器（ TGS ）请求服务票据，最后使用服务票据访问目标服务。整个过程通过加密机制保证认证信息的安全传输。

2.3 权限管控层： Ranger 细粒度权限管理

EMR 支持基于 Ranger 对本地及 COS （对象存储）数据实现细粒度权限管控。 Ranger 是 Apache 开源的权限管理框架，提供集中式的访问控制策略管理。

通过 Ranger ，可以实现以下粒度的权限控制：

a. HDFS 文件和目录级别的读写执行权限控制。

b. Hive 数据库、表、列级别的查询、更新、创建、删除权限控制。

c. HBase 表、列族、列级别的读写权限控制。

d. YARN 队列级别的作业提交和管理权限控制。

Ranger 提供 Web UI 管理界面，管理员可以通过图形化界面配置访问控制策略，无需手动编辑各组件的配置文件。策略生效后，用户在访问大数据组件时会经过 Ranger 的权限检查，只有获得授权的操作才能执行。

2.4 用户管理层： OpenLDAP 统一用户管理

EMR 在集群内部使用 OpenLDAP 组件对用户、用户组进行统一管理。控制台提供用户和用户组管控模块，支持通过 CAM （访问管理）侧批量导入用户，也支持手动创建用户。

用户管理中新建的用户，可以选择自动同步到 Ranger 。同步完成后，可以在 Ranger 中为这些用户配置细粒度的权限策略，实现从用户认证到权限管控的完整安全链路。

三、 EMR 安全方案助力等保合规

等保三级对安全计算环境的要求包括身份认证、访问控制、安全审计、数据完整性保护等方面。 EMR 的安全方案能够覆盖这些要求。

3.1 身份认证合规

等保要求对用户进行强身份认证。 EMR 的 Kerberos 认证机制提供了基于票据的强身份认证能力，满足等保对身份鉴别的要求。

Kerberos 认证避免了明文密码传输，通过票据加密和时效控制防止重放攻击。集成 LDAP 后，用户密码统一存储在 OpenLDAP 中，支持密码策略管理。

3.2 访问控制合规

等保要求实现细粒度的访问控制。 EMR 通过 Ranger 实现的权限管控，可以精确到数据库表的列级别权限，满足等保对访问控制的要求。

Ranger 的权限策略支持基于用户、用户组、 IP 地址、时间窗口等多维度条件设置，可以实现复杂的权限管控需求。例如，可以设置某个用户只能在工作时间访问特定数据库表的特定列。

3.3 安全审计合规

等保要求记录用户操作和系统事件，保留审计日志。 EMR 提供多层次的安全审计能力：

a. Ranger 审计日志：记录所有经过 Ranger 权限检查的操作，包括操作时间、操作用户、操作类型、操作结果等信息。

b. 组件运行日志： EMR 支持查看服务角色运行日志，通过日志搜索功能快速定位问题。

c. 操作日志记录：用户和用户组的相关操作均可通过操作日志查看变更流程和操作记录。

3.4 数据安全合规

等保要求保护数据的机密性和完整性。 EMR 的安全方案通过以下方式保障数据安全：

a. 网络隔离： VPC 和安全组防止未授权网络访问。

b. 传输加密： Kerberos 认证过程中的通信采用加密保护。

c. 权限最小化： Ranger 的默认策略是拒绝所有访问，只有明确授权的操作才被允许，实现权限最小化原则。

四、 EMR 安全方案的技术优势

相较于自建开源大数据平台的安全方案， EMR 提供的安全能力具有以下优势：

4.1 开箱即用的安全配置

在创建 EMR 集群时，只需在控制台勾选相关选项，即可自动完成 Kerberos 和 Ranger 的部署和初始配置。无需手动安装、配置各个组件，大幅降低安全方案的实施门槛。

4.2 统一的控制台管理

EMR 控制台提供统一的用户管理、权限配置界面。管理员无需登录到集群节点，即可完成用户创建、权限分配等操作。所有的配置变更都有操作记录，便于审计和追溯。

4.3 与腾讯云安全体系深度集成

EMR 的安全能力与腾讯云的整体安全体系深度集成。腾讯云已通过等级保护三级测评，金融云通过等级保护四级测评。 EMR 运行在已通过等保认证的云平台底座上，帮助企业降低合规工作量。

4.4 支持存算分离架构的安全管控

EMR 支持将计算资源和存储资源分离，数据可以存储在 COS （对象存储）中。 Ranger 支持对 COS 数据的细粒度权限管控，确保存算分离架构下的数据安全。

五、安全配置实践要点

在 EMR 集群中配置 Kerberos 和 Ranger 时，需要注意以下要点：

a. 在创建集群时选择开启 Kerberos 认证，集群创建完成后暂不支持开启或关闭 Kerberos 服务。

b. 选择集成 LDAP 组件的 EMR 版本，以便在控制台使用用户管理功能。

c. 在创建集群时勾选 Ranger 组件，集群创建完成后可以在 EMR 管理控制台中开启 Ranger 服务。

d. 合理使用用户组功能，通过用户组关联权限策略，简化权限管理工作。

e. 定期审查权限策略和使用情况，及时清理不再需要的权限配置。

六、构建全面的大数据安全防护体系

等保合规不是一次性工作，需要建立持续的安全运营机制。 EMR 提供的安全能力为企业构建大数据安全防护体系提供了基础，但企业还需要结合自身业务特点，完善安全管理制度和操作流程。

在等保测评过程中，技术措施和管理措施同等重要。 EMR 的安全功能覆盖了等保要求中的多项技术层面要求，但企业仍需建立健全的安全管理制度，包括人员安全管理、系统建设管理、系统运维管理等方面。

腾讯云提供等级保护合规建设技术咨询服务，依托具备深厚行业背景的资深专家团队，降低企业安全建设门槛，助力高效完成合规目标。

了解更多产品详情