本文简要概述了如何使用 YARN 安全容器中的 Linux Container Executor (LCE),以及如何使用 JavaSandboxLinuxContainerRuntime。参考资料除了官网资料之外,还有YARN-5280与网络资料。

阅读全文 »

本文简述了Hadoop YARN Container NUMA 感知相关配置。主要参考资料来自维基百科YARN-5764

阅读全文 »

本文简要概述了在使用 Hadoop S3 时遇到的 Resource changed on src filesystem 问题及临时解决方法。关于如何在 Hadoop 中使用 S3,请参考 在Hadoop集群中使用S3(对象存储)文件系统

阅读全文 »

本文简要介绍 SeaweedFS 的搭建指南,以及使用方法。搭建部分主要参考这篇文章。本文基于以下版本:

1
2
3
Go 1.17.5
SeaweedFS 2.84
Redis 6.2.6
阅读全文 »

本文简要介绍私有镜像仓库 Harbor 的搭建指南(HTTP 版),以及使用方法。搭建部分主要参考官网。本文基于以下版本:

1
2
3
Docker: 20.10.12
Docker-compose: 1.29.2
Harbor: 2.4.1
阅读全文 »

本文简要介绍一下如何给博客增加Disqus评论区,同时保留原来的Valine评论区的过程。

本文运行环境:

1
2
3
4
5
node: v16.13.0
npm: 8.1.4
hexo: 5.4.0
hexo-cli: 4.3.0
NexT: 8.8.1
阅读全文 »

本文详细记录一下本站的建立过程,以便查阅。对于具体的细节则不会做过多解释,主要展示步骤。这一篇主要讲述准备工作、首次部署、自动部署、更换NexT主题以及后续维护的相关内容。本文是Hexo静态博客指南:本站是如何诞生的(上)(2020年版)Hexo静态博客指南:本站是如何诞生的(中)(2020年版)的更新版。

本文运行环境:

1
2
3
4
5
node: v16.13.0
npm: 8.1.4
hexo: 5.4.0
hexo-cli: 4.3.0
NexT: 8.8.1
阅读全文 »

本文简要概述了本网站的 Hexo 与 NexT 升级过程。对于具体的细节则不会做过多解释,主要展示步骤。

升级前后的运行环境对比:

1
2
3
4
5
node: v14.4.0     => v16.13.0
npm: 6.14.7 => 8.1.4
hexo: 4.2.1 => 5.4.0
hexo-cli: 3.1.0 => 4.3.0
NexT: 8.0.0-rc.4 => 8.8.1
阅读全文 »

最近在尝试使用 YARN REST API 提交 MapReduce PI 任务的时候,发现了一个现象:通过 REST API 提交的任务会失败,但是在提交的任务后面会额外多出两个任务,而这两个额外任务都会成功。本文针对这一现象进行深入探讨。

阅读全文 »

本文翻译自Hadoop 官网,简要介绍YARN Capacity Scheduler (容量调度器) 及其主要配置。本文基于Hadoop 3.3.1。

阅读全文 »