bash 实现了一个简单 分布式文本处理框架 欢迎拍砖
- 0次
- 2021-07-28 07:05:34
- idczone
看到各种语言都有分布式处理数据的框架。我在github上却发现bash分布式处理数据的还真没有
于是自己折腾了一个。
https://github.com/ri0day/mafia
欢迎拍砖,或者提交代码.
敬仰。。。。
赞,请教一个问题:看到里面直接用echo的地方不少,在我看来有些危险,因为bash一般用来操作配置文件,很多字符串含命令符,容易发生悲剧。我不知道啥时会忘记给变量加引号被执行,于是用 cat /tmp/abcdefg << 吸进任意字符串,再用cat输出,来替代echo,不知你遇过类似问题没有。
使用 echo 主要是为了便于传递变量.使用 nc 1.1.1.1 123 <
赞,能简单介绍下原理吗?
原理很简单.就是主控程序 根据传进来的参数 算出有多少个节点.要处理哪个文件.然后用split 将原始文件按照行数切分成"节点数"个分片.然后在节点上监听2个端口 一个用来接收数据.一个用来接收命令. 节点最后用传到节点的命令 处理收到的数据.然后发送给 接收结果的节点