1.爬虫现在还是有很多请求被掘金的防爬机制给和谐了，需要弄动态ip池 2.现在爬虫有时候跑久了会自动停止，还没有找到其原因 3.打算将爬虫需要的所有环境和依赖弄成docker仓库，再次弄爬虫环境的时候只需要镜像就行了，避免重复安装环境太费时间了，以前弄过docker，但是很多都忘了，需要在回顾一下 4.将爬虫改成分布式爬虫。