决定彻底放弃对MooseFS的研究-Mysql Tutorial-php.cn

Home

Database

Mysql Tutorial

决定彻底放弃对MooseFS的研究

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 07, 2016 pm 03:06 PM

distributedthoroughgive upResearch

虽然对分布式也有一些了解，但是一直没有深入到代码去研究具体的实现。在群里咨询了一下，自己也google了一些资料，最终决定从MooseFS入手来深入研究分布式系统。第一步，就是从网上找文档，自己动手安装部署一番。官方网站上有一个中文的安装手册

虽然对分布式也有一些了解，但是一直没有深入到代码去研究具体的实现。在群里咨询了一下，自己也google了一些资料，最终决定从MooseFS入手来深入研究分布式系统。第一步，就是从网上找文档，自己动手安装部署一番。官方网站上有一个中文的安装手册，非常nice，整个安装配置过程也非常顺利，感觉还不错，就是看它的代码实现。看完之后有些失望，在main函数中的第一个函数strerr_init（）中看到了这样的代码：

for (n=0 ; errtab[n].str ; n++) {}

而errtab的定义（部分）如下所示：

static errent errtab[] = {
#ifdef E2BIG
	{E2BIG,"E2BIG (Argument list too long)"},
#endif
#ifdef EACCES
	{EACCES,"EACCES (Permission denied)"},
#endif
......
	{0,NULL}
};

很明显，那个循环仅仅是为了计算errtab中元素的个数，而这样的计算有必要用一个循环么？sizeof不能解决么？我实现看不出来作者这里要写一个循环的好处是什么？

另一个地方让我感觉作者在写代码的时候很不用心，cfg_reload()在解析配置文件时定义了一个缓冲区linebuff[1000]数组来存储每行读取的内容。mfs解析配置文件时是按行读取的，每行的配置内容类似“key=value"这样的形式。这个缓冲区的长度定义为1000，也让我很不解。因为在定义缓冲区或分配内存的时候，一般都会考虑到对齐，都会对齐到word size或者CPU cache line的长度。这里的1000让我很不解！

代码中还有很多无用的、多余的判断。例如下面的代码段：

    logappname = cfg_getstr("SYSLOG_IDENT",STR(APPNAME));

	if (rundaemon) {
		if (logappname[0]) {
			openlog(logappname, LOG_PID | LOG_NDELAY , LOG_DAEMON);
		} else {
			openlog(STR(APPNAME), LOG_PID | LOG_NDELAY , LOG_DAEMON);
		}
	}

这个APPNAME是在编译的时候通过-DAPPNAME=mfsmaster这样的方式定义的一个宏，所以这个宏是必须定义的，否则前面的代码就没法运行（获取配置文件名称）。而且获取SYSLOG_IDENT配置变量的值是会指定默认值，所以if (logappname[0])这样的判断完全多余。如果是在两个函数中，这样的判断还说的过去，可是获取配置变量值的操作和
判断仅一个空行之隔，没必要到极点了吧。

抛开这些细节性的东西不提，mfs选择的I/O复用机制也让人不敢恭维。现在需要监听套接字的读写事件，毫无疑问首选的eventpoll。如果没有记错的话，moosefs是07年开始的，这个时候内核中的eventpoll机制已经很完善了，实在不懂作者为什么要选用poll()来作为I/O复用的接口。在继续之前，先看一下下面的代码：

        i = poll(pdesc,ndesc,50);
		......
		if (i  我不明白在poll()返回-1时，为什么要检查EAGAIN错误。查看了man手册，只有EFAULT、EINTR、EINVAL、ENOMEM错误，看了一下内核代码，也没有返回EAGAIN错误的地方。而且很不明白，为什么在EAGAIN的时候要调用usleep()等待100毫秒，不理解！
<p>  最终<strong>彻底</strong>击穿我的信心的是matoclserv_gotpacket()函数，这个函数通过判断eptr->registered的值来做不同的三种处理，这三个代码块中很多都是可以合并的。要么给每种处理封装成一个函数，要么将这三块代码合并成一块，这样看着不是更简洁么？很多switch-case分支中的处理也不用区分eptr->registered的值，为什么写的这么庞大？难道作者在写的时候为了方便，复制粘贴了一番？反正我是很不理解，这样的代码风格真是让我没办法看下去，我<strong>决定</strong><strong>放弃</strong>了。我知道半途而废很不好，本来自己写代码风格就不好，怕看完之后更偏了，所以果断<strong>放弃</strong>！</p>
<p>  下面是matoclserv_gotpacket()函数的代码，大家欣赏一下：</p>
<p></p><pre name="code" class="cpp">void matoclserv_gotpacket(matoclserventry *eptr,uint32_t type,const uint8_t *data,uint32_t length) {
	if (type==ANTOAN_NOP) {
		return;
	}
	if (eptr->registered==0) {	// unregistered clients - beware that in this context sesdata is NULL
		switch (type) {
			case CLTOMA_FUSE_REGISTER:
				matoclserv_fuse_register(eptr,data,length);
				break;
			case CLTOMA_CSERV_LIST:
				matoclserv_cserv_list(eptr,data,length);
				break;
			case CLTOMA_SESSION_LIST:
				matoclserv_session_list(eptr,data,length);
				break;
			case CLTOAN_CHART:
				matoclserv_chart(eptr,data,length);
				break;
			case CLTOAN_CHART_DATA:
				matoclserv_chart_data(eptr,data,length);
				break;
			case CLTOMA_INFO:
				matoclserv_info(eptr,data,length);
				break;
			case CLTOMA_FSTEST_INFO:
				matoclserv_fstest_info(eptr,data,length);
				break;
			case CLTOMA_CHUNKSTEST_INFO:
				matoclserv_chunkstest_info(eptr,data,length);
				break;
			case CLTOMA_CHUNKS_MATRIX:
				matoclserv_chunks_matrix(eptr,data,length);
				break;
			case CLTOMA_QUOTA_INFO:
				matoclserv_quota_info(eptr,data,length);
				break;
			case CLTOMA_EXPORTS_INFO:
				matoclserv_exports_info(eptr,data,length);
				break;
			case CLTOMA_MLOG_LIST:
				matoclserv_mlog_list(eptr,data,length);
				break;
			default:
				syslog(LOG_NOTICE,"main master server module: got unknown message from unregistered (type:%"PRIu32")",type);
				eptr->mode=KILL;
		}
	} else if (eptr->registeredsesdata==NULL) {
			syslog(LOG_ERR,"registered connection without sesdata !!!");
			eptr->mode=KILL;
			return;
		}
		switch (type) {
			case CLTOMA_FUSE_REGISTER:
				matoclserv_fuse_register(eptr,data,length);
				break;
			case CLTOMA_FUSE_RESERVED_INODES:
				matoclserv_fuse_reserved_inodes(eptr,data,length);
				break;
			case CLTOMA_FUSE_STATFS:
				matoclserv_fuse_statfs(eptr,data,length);
				break;
			case CLTOMA_FUSE_ACCESS:
				matoclserv_fuse_access(eptr,data,length);
				break;
			case CLTOMA_FUSE_LOOKUP:
				matoclserv_fuse_lookup(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETATTR:
				matoclserv_fuse_getattr(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETATTR:
				matoclserv_fuse_setattr(eptr,data,length);
				break;
			case CLTOMA_FUSE_READLINK:
				matoclserv_fuse_readlink(eptr,data,length);
				break;
			case CLTOMA_FUSE_SYMLINK:
				matoclserv_fuse_symlink(eptr,data,length);
				break;
			case CLTOMA_FUSE_MKNOD:
				matoclserv_fuse_mknod(eptr,data,length);
				break;
			case CLTOMA_FUSE_MKDIR:
				matoclserv_fuse_mkdir(eptr,data,length);
				break;
			case CLTOMA_FUSE_UNLINK:
				matoclserv_fuse_unlink(eptr,data,length);
				break;
			case CLTOMA_FUSE_RMDIR:
				matoclserv_fuse_rmdir(eptr,data,length);
				break;
			case CLTOMA_FUSE_RENAME:
				matoclserv_fuse_rename(eptr,data,length);
				break;
			case CLTOMA_FUSE_LINK:
				matoclserv_fuse_link(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETDIR:
				matoclserv_fuse_getdir(eptr,data,length);
				break;
/* CACHENOTIFY
			case CLTOMA_FUSE_DIR_REMOVED:
				matoclserv_fuse_dir_removed(eptr,data,length);
				break;
*/
			case CLTOMA_FUSE_OPEN:
				matoclserv_fuse_open(eptr,data,length);
				break;
			case CLTOMA_FUSE_READ_CHUNK:
				matoclserv_fuse_read_chunk(eptr,data,length);
				break;
			case CLTOMA_FUSE_WRITE_CHUNK:
				matoclserv_fuse_write_chunk(eptr,data,length);
				break;
			case CLTOMA_FUSE_WRITE_CHUNK_END:
				matoclserv_fuse_write_chunk_end(eptr,data,length);
				break;
// fuse - meta
			case CLTOMA_FUSE_GETTRASH:
				matoclserv_fuse_gettrash(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETDETACHEDATTR:
				matoclserv_fuse_getdetachedattr(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETTRASHPATH:
				matoclserv_fuse_gettrashpath(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETTRASHPATH:
				matoclserv_fuse_settrashpath(eptr,data,length);
				break;
			case CLTOMA_FUSE_UNDEL:
				matoclserv_fuse_undel(eptr,data,length);
				break;
			case CLTOMA_FUSE_PURGE:
				matoclserv_fuse_purge(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETRESERVED:
				matoclserv_fuse_getreserved(eptr,data,length);
				break;
			case CLTOMA_FUSE_CHECK:
				matoclserv_fuse_check(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETTRASHTIME:
				matoclserv_fuse_gettrashtime(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETTRASHTIME:
				matoclserv_fuse_settrashtime(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETGOAL:
				matoclserv_fuse_getgoal(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETGOAL:
				matoclserv_fuse_setgoal(eptr,data,length);
				break;
			case CLTOMA_FUSE_APPEND:
				matoclserv_fuse_append(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETDIRSTATS:
				matoclserv_fuse_getdirstats_old(eptr,data,length);
				break;
			case CLTOMA_FUSE_TRUNCATE:
				matoclserv_fuse_truncate(eptr,data,length);
				break;
			case CLTOMA_FUSE_REPAIR:
				matoclserv_fuse_repair(eptr,data,length);
				break;
			case CLTOMA_FUSE_SNAPSHOT:
				matoclserv_fuse_snapshot(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETEATTR:
				matoclserv_fuse_geteattr(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETEATTR:
				matoclserv_fuse_seteattr(eptr,data,length);
				break;
/* do not use in version before 1.7.x */
			case CLTOMA_FUSE_QUOTACONTROL:
				matoclserv_fuse_quotacontrol(eptr,data,length);
				break;
/* for tools - also should be available for registered clients */
			case CLTOMA_CSERV_LIST:
				matoclserv_cserv_list(eptr,data,length);
				break;
			case CLTOMA_SESSION_LIST:
				matoclserv_session_list(eptr,data,length);
				break;
			case CLTOAN_CHART:
				matoclserv_chart(eptr,data,length);
				break;
			case CLTOAN_CHART_DATA:
				matoclserv_chart_data(eptr,data,length);
				break;
			case CLTOMA_INFO:
				matoclserv_info(eptr,data,length);
				break;
			case CLTOMA_FSTEST_INFO:
				matoclserv_fstest_info(eptr,data,length);
				break;
			case CLTOMA_CHUNKSTEST_INFO:
				matoclserv_chunkstest_info(eptr,data,length);
				break;
			case CLTOMA_CHUNKS_MATRIX:
				matoclserv_chunks_matrix(eptr,data,length);
				break;
			case CLTOMA_QUOTA_INFO:
				matoclserv_quota_info(eptr,data,length);
				break;
			case CLTOMA_EXPORTS_INFO:
				matoclserv_exports_info(eptr,data,length);
				break;
			case CLTOMA_MLOG_LIST:
				matoclserv_mlog_list(eptr,data,length);
				break;
			default:
				syslog(LOG_NOTICE,"main master server module: got unknown message from mfsmount (type:%"PRIu32")",type);
				eptr->mode=KILL;
		}
	} else {	// old mfstools
		if (eptr->sesdata==NULL) {
			syslog(LOG_ERR,"registered connection (tools) without sesdata !!!");
			eptr->mode=KILL;
			return;
		}
		switch (type) {
// extra (external tools)
			case CLTOMA_FUSE_REGISTER:
				matoclserv_fuse_register(eptr,data,length);
				break;
			case CLTOMA_FUSE_READ_CHUNK:	// used in mfsfileinfo
				matoclserv_fuse_read_chunk(eptr,data,length);
				break;
			case CLTOMA_FUSE_CHECK:
				matoclserv_fuse_check(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETTRASHTIME:
				matoclserv_fuse_gettrashtime(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETTRASHTIME:
				matoclserv_fuse_settrashtime(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETGOAL:
				matoclserv_fuse_getgoal(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETGOAL:
				matoclserv_fuse_setgoal(eptr,data,length);
				break;
			case CLTOMA_FUSE_APPEND:
				matoclserv_fuse_append(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETDIRSTATS:
				matoclserv_fuse_getdirstats(eptr,data,length);
				break;
			case CLTOMA_FUSE_TRUNCATE:
				matoclserv_fuse_truncate(eptr,data,length);
				break;
			case CLTOMA_FUSE_REPAIR:
				matoclserv_fuse_repair(eptr,data,length);
				break;
			case CLTOMA_FUSE_SNAPSHOT:
				matoclserv_fuse_snapshot(eptr,data,length);
				break;
			case CLTOMA_FUSE_GETEATTR:
				matoclserv_fuse_geteattr(eptr,data,length);
				break;
			case CLTOMA_FUSE_SETEATTR:
				matoclserv_fuse_seteattr(eptr,data,length);
				break;
/* do not use in version before 1.7.x */
			case CLTOMA_FUSE_QUOTACONTROL:
				matoclserv_fuse_quotacontrol(eptr,data,length);
				break;
/* ------ */
			default:
				syslog(LOG_NOTICE,"main master server module: got unknown message from mfstools (type:%"PRIu32")",type);
				eptr->mode=KILL;
		}
	}
}

Statement

The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn

如何完全删除Windows.oldFeb 18, 2024 pm 05:32 PM

Windows.old文件夹是在使用Windows10更新之前的操作系统版本中生成的一个文件夹。此文件夹包含旧的Windows安装文件、程序文件和个人文件，它占用了大量的磁盘空间。当您在使用Windows10更新之后的一段时间内确认您不会回滚到旧的操作系统版本时，您可以考虑彻底删除Windows.old文件夹。下面将介绍一些方法供您选择

扩散+超分辨率模型强强联合，谷歌图像生成器Imagen背后的技术Apr 10, 2023 am 10:21 AM

近年来，多模态学习受到重视，特别是文本 - 图像合成和图像 - 文本对比学习两个方向。一些 AI 模型因在创意图像生成、编辑方面的应用引起了公众的广泛关注，例如 OpenAI 先后推出的文本图像模型 DALL・E 和 DALL-E 2，以及英伟达的 GauGAN 和 GauGAN2。谷歌也不甘落后，在 5 月底发布了自己的文本到图像模型 Imagen，看起来进一步拓展了字幕条件（caption-conditional）图像生成的边界。仅仅给出一个场景的描述，Imagen 就能生成高质量、高分辨率

深度学习撞墙？LeCun与Marcus到底谁捅了马蜂窝Apr 09, 2023 am 09:41 AM

今天的主角，是一对AI界相爱相杀的老冤家：Yann LeCun和Gary Marcus在正式讲述这一次的「新仇」之前，我们先来回顾一下，两位大神的「旧恨」。LeCun与Marcus之争Facebook首席人工智能科学家和纽约大学教授，2018年图灵奖（Turing Award）得主杨立昆（Yann LeCun）在NOEMA杂志发表文章，回应此前Gary Marcus对AI与深度学习的评论。此前，Marcus在杂志Nautilus中发文，称深度学习已经「无法前进」Marcus此人，属于是看热闹的不

GPT-4的研究路径没有前途？Yann LeCun给自回归判了死刑Apr 04, 2023 am 11:55 AM

Yann LeCun 这个观点的确有些大胆。「从现在起 5 年内，没有哪个头脑正常的人会使用自回归模型。」最近，图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归，正是当前爆红的 GPT 家族模型所依赖的学习范式。当然，被 Yann LeCun 指出问题的不只是自回归模型。在他看来，当前整个的机器学习领域都面临巨大挑战。这场辩论的主题为「Do large language models need sensory grounding for meaning and u

谷歌是否真的放弃了Golang？Feb 29, 2024 pm 04:36 PM

谷歌是否真的放弃了Golang？随着互联网技术的快速发展，不同的编程语言也呈现出不同的发展趋势。Golang作为一种较为新兴的编程语言，自问世以来受到了不少开发者的青睐。作为一家全球知名的科技巨头，谷歌在很多项目中也广泛应用了Golang。然而，最近有传言称谷歌正在逐渐放弃Golang，这是否真实呢？首先，我们需要了解一下Golang的特点和优势。Golan

科学家展示世界上有史以来超小的“螃蟹”遥控步行机器人，体积比跳蚤还小Apr 09, 2023 pm 10:41 PM

日前，美国西北大学工程师开发出有史以来最小的遥控步行机器人，它以一种小巧可爱的螃蟹形式出现。这种微小的“螃蟹”机器人宽度只有半毫米，可以弯曲、扭曲、爬行、行走、转弯甚至跳跃，无需液压或电力。IT之家了解到，相关研究成果发表在《科学・机器人》上。据介绍，这种机器人是用形状记忆合金材料所制造的，然后可以变成所需的形状，当你加热后又会变回原来的形状，而热量消失时可以再次弹回变形时的样子。据介绍，其热量是由激光所带来的。激光通过“螃蟹”加热合金，但因为它们非常小，所以热量传播非常快，这使得它们的响应速度

用魔法打败魔法！一个叫板顶级人类棋手的围棋AI输给了它的同类Apr 12, 2023 am 08:40 AM

近几年，自我博弈中的强化学习已经在围棋、国际象棋等一系列游戏中取得了超人的表现。此外，自我博弈的理想化版本还收敛于纳什均衡。纳什均衡在博弈论中非常著名，该理论是由博弈论创始人，诺贝尔奖获得者约翰 · 纳什提出，即在一个博弈过程中，无论对方的策略选择如何，当事人一方都会选择某个确定的策略，则该策略被称作支配性策略。如果任意一位参与者在其他所有参与者的策略确定的情况下，其选择的策略是最优的，那么这个组合就被定义为纳什均衡。之前就有研究表明，自我博弈中看似有效的连续控制策略也可以被对抗策略利用，这表明

参数少量提升，性能指数爆发！谷歌：大语言模型暗藏「神秘技能」Apr 11, 2023 pm 11:16 PM

由于可以做一些没训练过的事情，大型语言模型似乎具有某种魔力，也因此成为了媒体和研究员炒作和关注的焦点。当扩展大型语言模型时，偶尔会出现一些较小模型没有的新能力，这种类似于「创造力」的属性被称作「突现」能力，代表我们向通用人工智能迈进了一大步。如今，来自谷歌、斯坦福、Deepmind和北卡罗来纳大学的研究人员，正在探索大型语言模型中的「突现」能力。解码器提示的 DALL-E神奇的「突现」能力自然语言处理（NLP）已经被基于大量文本数据训练的语言模型彻底改变。扩大语言模型的规模通常会提高一系列下游N

See all articles