尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
【配置/认证】Authentication for Hadoop(3.3.1) HTTP web-consoles : Hadoop的simple认证 不是银弹
文章目录一. Introduction二. Configuration1. 在每一个hadoop节点配置core-site.xml2.创建密钥3. 重启 hadoop 集群4. 访问示例三、不是银弹解决方案一解决方案二-自定义插件ing官网Authentication for Hadoop HTTP web-consoles一. Introduction可以通过Kerberos、Pseudo或Simple能够实现web页面的安全设置。本文通过使用user.name的Simple方式实现web页面的安全设置http://localhost:8088/cluster?user.namebabu.此外我们还可以自定义一个插件实现自己的安全机制参考AuthenticationHandlerBy default Hadoop HTTP web-consoles (ResourceManager,NameNode, NodeManagers and DataNodes) allow access without any form of authentication.Hadoop HTTP web-consoles can be configured to require Kerberosauthentication using HTTP SPNEGO protocol (supported by browsers like Firefox and Internet Explorer).In addition, Hadoop HTTP web-consoles support the equivalent ofHadoop’s Pseudo/Simple authentication. If this option is enabled, theuser name must be specified in the first browser interaction using theuser.name query string parameter. e.g.http://localhost:8088/cluster?user.namebabu.If acustomauthentication mechanism is required for the HTTPweb-consoles, it is possible to implement aplugin to support thealternate authentication mechanism(refer to Hadoop hadoop-auth fordetails on writing an AuthenticationHandler).二. Configuration1. 在每一个hadoop节点配置core-site.xmlThe following properties should be in the core-site.xml of all the nodes in the cluster.configuration......//此处省略已有配置!-- Authentication for Hadoop HTTP web-consoles --propertynamehadoop.http.filter.initializers/namevalueorg.apache.hadoop.security.AuthenticationFilterInitializer/value/propertypropertynamehadoop.http.authentication.type/namevaluesimple/value/propertypropertynamehadoop.http.authentication.token.validity/namevalue3600/value/propertypropertynamehadoop.http.authentication.signature.secret.file/namevalue/data/app/hadoop/etc/hadoop/secret/hadoop-http-auth-signature-secret/value/propertypropertynamehadoop.http.authentication.cookie.domain/namevalue/value/propertypropertynamehadoop.http.authentication.simple.anonymous.allowed/namevaluefalse/value/property/configuration2.创建密钥//在每个hadoop 节点都操作mkdir-p/data/app/hadoop/etc/hadoop/secret cd/data/app/hadoop/etc/hadoop/secret echo \hadoop\hadoop-http-auth-signature-secret3. 重启 hadoop 集群# 关闭hadoop 集群 cd/data/app/hadoop./sbin/stop-dfs.sh./sbin/stop-yarn.sh # 启动hadoop 集群 cd/data/app/hadoop./sbin/start-dfs.sh./sbin/start-yarn.sh4. 访问示例http://namenode_ip:18137 出现错误 http://namenode_ip:18137?user.namehadoop 访问正确三、不是银弹简单的说hadoop的simple认证的密钥文件并没有起作用输入任何认证例如http://namenode_ip:18137?user.namexxxx都可以进入hadoop界面。解决方案一详见其他博主博文Hadoop Web 控制台安全认证——使用用户名 密码登陆设置方法 Hadoop HTTP web-控制台认证 但似乎tengine要和管理节点namenode和resourcemanager放到一个位置方案有待完善。解决方案二-自定义插件ing此外我们还可以自定义一个插件实现自己的安全机制参考AuthenticationHandler
RELATED

相关推荐

shell基础(1):shell概述、第一个shell脚本、shell怎么执行、怎么判断bash的内部命令

shell基础(1):shell概述、第一个shell脚本、shell怎么执行、怎么判断bash的内部命令

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/11/3 1:10:34
Luxand FaceSDK的8.0和8.1和8.2和8.3和9.0.1序列号

Luxand FaceSDK的8.0和8.1和8.2和8.3和9.0.1序列号

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/11/3 1:10:34
工业隔离SPI实战:MAX14431与PIC18F46K40设计排错

工业隔离SPI实战:MAX14431与PIC18F46K40设计排错

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/11/3 1:05:34
MORE NEWS

更多资讯

📰

解决ColabFold部署中的JAX版本冲突问题

1. 问题背景与核心痛点最近在本地环境部署ColabFold时遇到了JAX版本冲突问题,这其实是生物信息学工具链中一个相当典型的依赖管理难题。ColabFold作为AlphaFold2的高效替代方案,其核心计算依赖于JAX这个高性能数值计算库。但JAX的版本迭代速度极快&#…

📰

渗透测试必备搜索引擎工具集与实战技巧

1. 项目概述作为一名长期从事网络安全领域的技术从业者,我深知在渗透测试和信息收集阶段,选择合适的搜索引擎工具往往能事半功倍。今天要分享的这份精选搜索引擎列表,是我在过去五年实战中逐步积累和验证的核心工具集,涵盖了从常规…

📰

Java+SpringBoot构建冷链物流生鲜销售系统实践

1. 项目概述:冷链运输生鲜销售系统的核心价值冷链物流生鲜销售平台是当前生鲜电商和食品供应链数字化转型的关键基础设施。这个基于Java技术栈开发的系统,解决了从产地到餐桌全流程的温控管理、库存周转和订单协同问题。我在实际部署中发现,传…

📰

基于DSP28335与AD2S1210的SPI角度读取实战

简介:面向电机控制方向初学者与嵌入式开发者的DSP28335与AD2S1210旋变解码配置资料,聚焦入职初期如何通过SPIA模块完成高精度位置信息采集这一实际问题。内容围绕SPI接口初始化展开,涵盖时钟极性与相位设置、波特率配置、SPI收发函数编写&…

📰

程序员必备1800词汇:突破英文技术文档阅读障碍

简介:这份资源是一份面向程序员群体的计算机英语词汇手册,覆盖前端与后端开发场景,适合从编程初学者到进阶开发者用来补齐技术英语短板。内容围绕约1800个开发常用词汇展开,每个词条配有音标与中文注释,并收录了access…

📰

SolidWorks二次开发入门:宏录制、API读写与避坑指南

简介:这是一份面向SolidWorks二次开发初学者与希望提升自动化建模效率的工程师的系统教程文档,围绕API与VBA宏展开,重点解决从录制宏到编辑、调试与精简代码的入门问题。压缩包内共1个doc文件,大小约276KB,以图文教程形…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬