技术解析

shell 采集 google 和 api 随机调用的问题
0
2021-07-16 15:42:26
idczone
需要借助api和google大批量的查询域名的相关信息

shell没怎么系统的学过,开始用的php实现的,但是发现php处理速度太慢了,据说用python不错,但是python完全没学过

请教一

for DOMAIN in $(cat domains.txt)
do
DOMAIN_PATH="list/$DOMAIN/";
mkdir -p $DOMAIN_PATH;
curl -s -d "app=domain.whois&domain=$DOMAIN&appkey=$APPKEY&sign=$SIGN&format=json" $API_URL > $DOMAIN_PATH"age.txt"
done

由于api是免费的,但是限制每小时只能查询240次,远远不够我的需求,所以我申请了多组api

请教怎么让$APPKEY 和 $SIGN 随机调用 我的API组 (或者依次,240次后换下一个)

请教二

curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" https://www.google.com/search?q=keyword&gws_rd=ssl

可以获取到google查询的内容,但是据说查询多了,google会封你的ip

除了 -x 使用代理服务器的话 还有更简单的避免方法吗?

回归到前面 使用 -x 代理服务器, 又是随机调用的问题


请教三

api结果返回的json的数据,shell 有什么好用处理json的工具吗?


请教四
shell 可以正则提取内容吗?

谢谢
知道了四,shell里面有正则

shell 处理json 用 jq 很爽

还是python吧,比shell强大而且舒服很多

呵呵,知道python处理这个很好,就是现在不会

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服