python爬虫遵循的规则

引自：https://www.cnblogs.com/kongyijilafumi/p/13969361.html

1.遵守Robots协议，谨慎爬取

2.限制你的爬虫行为，禁止近乎DDOS的请求频率，一旦造成服务器瘫痪，约等于网络攻击

3.对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是Hacker行为

4.如果爬取到别人的隐私，立即删除，降低进局子的概率。另外要控制自己的欲望