这个网站freeget.co/ 带了防爬机制,但不知道这是何种防爬这么厉害的。
不带header头返回的是


还有下面的的带了header头的
request unsuccessful. incapsula incident id: 406000510241030862-742862014603723574

回复内容： 这个网站freeget.co/ 带了防爬机制,但不知道这是何种防爬这么厉害的。
不带header头返回的是


还有下面的的带了header头的
request unsuccessful. incapsula incident id: 406000510241030862-742862014603723574

如果你搜搜incapsula，你就会知道答案。
和cloudflare一样，对访客进行分析，判断好坏。
如果你想知道怎么过，那么最简单的方法就是模拟一次真实访问。
一样的ip一样的ua以及自己先访问一次获取到所有cookie并使用在爬虫上。