本文主要探讨,如何实现必应搜索查询域名是否收录的方法!
在开发必应批量查询域名收录工具过程中,可谓是一波三折。
国内这些主流的搜索引擎,采用隧道代理+防指纹浏览器组合就可以解决验证码频繁出现的问题,但此方式用在必应上就出现了各种问题,如:出现返回空内容、几乎100%出现验证码。
- 使用国内的隧道代理,很大概率出现空值返回,而此空值返回与无收录返回很难区分,导致查询极度不准确,无法使用。
- 使用海外的隧道代理,几乎 100% 出现验证码,此验证码实现免费突破也无意义,何况还不能,海外代理IP可信度不行。
最让人难受的是,以上问题都是功能开发到最后,甚至是上线了一段时间才发现,导致做了很多无用功,为熬的夜感到懊恼。
经过几天寻找解决方案并深思熟虑后,我放弃了自己解决以上问题!国内代理查不准、海外代理IP信用度不够,在没有足够资源的情况下,即使投入更多精力到最后也极可能白忙乎一场。
最后,我采用了国外的网页抓取服务商提供的 API,把最难的问题交给他们,国外搜索引擎用国外团队去解决还是很可靠的。
域名工具箱内的域名历史查询功能,里面推荐的海外隧道代理就是DECODO,我从一开始使用的就是这家,是一家国外公司也支持中文,客服基本都是老外,中文交流自动翻译问题不大。
这家代理类型的住宅就是隧道代理,通过主机、端口、用户、密码提供服务,配置到工具箱中就可以使用了,支持域名收录查询、域名历史记录查询等。
而抓取APIs服务就是我们查询必应收录时所使用的,支持2500个成功请求免费体验,为了提高成功率,工具箱也采用了重试等逻辑,提高查询成功率并且支持结果页面的重试按钮等策略。
开通免费或付费计划后,左侧就会多出一个菜单栏,里面就有基本认证令牌,可以在工具箱的全局设置处配置啦!
该说不说,此功能使用的API比单纯使用住宅的隧道代理成本高些,所以在功能设计上煞费苦心,代码复杂、繁琐程度堪比域名历史查询功能,耗时长。
欢迎大家开通个免费计划体验一下,经过我这么久的尝试,可以说目前是唯一批量查询必应收录的解决方案了。



评论(0)