火车头7.6版本采集https网站报错System.Net.HttpWebRequest解决方案

2021-04-25  阅读 963 次

当火车头7.6遇到新版的https协议时,经常无法完成网页请求而无法继续使用(就会报错System.Net.HttpWebRequest),比如部分TLS1.3加密的网站,用火车头采集会直接请求不到数据,下面提供几个解决方案

方案一:在本地搭建一个简易http服务,用这个服务去请求源代码,然后用火车头请求这个简易http即可。原理就是给火车头和目标网页中间加了一层中转,从而解决火车头无法直接请求获取源代码的问题。我把这个流程写成了一个软件,大家可以下载打开测试。在采集数据时需要该软件保持运行,从而实现请求的中转。编写采集规则时,需要在网址前面添加前缀"http://127.0.0.1:8000?yaai="

202104251924151426281.jpg


QQ截图20210425092857.jpg


2021042509293429920946.jpg


本文地址:http://yaaibk.com/post/259.html
版权声明:本文为原创文章,版权归 本站 所有,欢迎分享本文,转载请保留出处!

评论已关闭!