技术解析

爬虫运行的时候终端卡
0
2021-07-05 04:52:36
idczone

服务器是 Centos 6 , 爬虫运行的时候终端上操作就会非常卡。检查过 cpu ,内存都不高,磁盘读写也不高。
然后通过more /proc/sys/fs/file-nr看,文件的打开数也才 1900

同样的程序在我的 mac 上跑就没有这些现象。


可能是网络原因

网络带宽占满了?

估计和我一样 网络带宽限制

如果是 ssh 到服务器应当会卡的

用云服务器,上行带宽不限,很适合跑爬虫,比如阿里云买 1M 的带宽 ECS ,爬虫用 1G 带宽都可以

这个终端卡,不都是网络问题吗。。。我还以为都是常识来的

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服