本文主要探讨,如何实现必应搜索查询域名是否收录的方法!


在开发必应批量查询域名收录工具过程中,可谓是一波三折。

国内这些主流的搜索引擎,采用隧道代理+防指纹浏览器组合就可以解决验证码频繁出现的问题,但此方式用在必应上就出现了各种问题,如:出现返回空内容、几乎100%出现验证码。

  • 使用国内的隧道代理,很大概率出现空值返回,而此空值返回与无收录返回很难区分,导致查询极度不准确,无法使用。
  • 使用海外的隧道代理,几乎 100% 出现验证码,此验证码实现免费突破也无意义,何况还不能,海外代理IP可信度不行。

最让人难受的是,以上问题都是功能开发到最后,甚至是上线了一段时间才发现,导致做了很多无用功,为熬的夜感到懊恼。


经过几天寻找解决方案并深思熟虑后,我放弃了自己解决以上问题!国内代理查不准、海外代理IP信用度不够,在没有足够资源的情况下,即使投入更多精力到最后也极可能白忙乎一场。

最后,我采用了国外的网页抓取服务商提供的 API,把最难的问题交给他们,国外搜索引擎用国外团队去解决还是很可靠的。

域名工具箱内的域名历史查询功能,里面推荐的海外隧道代理就是DECODO,我从一开始使用的就是这家,是一家国外公司也支持中文,客服基本都是老外,中文交流自动翻译问题不大。

这家代理类型的住宅就是隧道代理,通过主机、端口、用户、密码提供服务,配置到工具箱中就可以使用了,支持域名收录查询、域名历史记录查询等。

而抓取APIs服务就是我们查询必应收录时所使用的,支持2500个成功请求免费体验,为了提高成功率,工具箱也采用了重试等逻辑,提高查询成功率并且支持结果页面的重试按钮等策略。

开通免费或付费计划后,左侧就会多出一个菜单栏,里面就有基本认证令牌,可以在工具箱的全局设置处配置啦!

该说不说,此功能使用的API比单纯使用住宅的隧道代理成本高些,所以在功能设计上煞费苦心,代码复杂、繁琐程度堪比域名历史查询功能,耗时长。

欢迎大家开通个免费计划体验一下,经过我这么久的尝试,可以说目前是唯一批量查询必应收录的解决方案了。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。