网站信息库

我经常收到这种网站信息数据库的推广邮件。

这种信息库产品，就有点类似于独立站领域的卖家精灵，会把市面上的网站数据做成一个可以检索的标准化产品。

比如最常见的玩法，有些人会通过这种数据库来检索那些刚上线但有很不错流量的网站，从而找到可以切入的低竞争方向。

其实这种类型的数据，说实话还挺有价值的，毕竟这种刚上线就有不错流量的线索就挺值钱的。

因为这种类型的线索至少有两层含义：

一是这个领域的竞争不激烈，网站内容上线上去就会获得搜索引擎的青睐。

二是品牌有优势，或者营销渠道有优势，能发现这些点也值得我们花精力好好学习。

所以有时候我就比较好奇，这些数据是到底是怎么收集来的，或者从哪些渠道收集来的？

像我今天收到的这封邮件，里面就介绍了这类网站的发现逻辑。

大体就分为三步，先是通过技术手段获取到大量的网站列表，然后再通过第三方 API 去查询这些网站的在搜索数据，最后把这些数据清洗整理好之后沉淀到数据库里。

其实最难的就是第一个步骤，通过技术手段来获取大量的网站列表。

目前这种网站列表的获取方式，我觉得最简单的应该是第三方的 API，而非自己去搭建什么爬虫系统。

比如这个搜索结果页面信息获取 API 工具，就可以非常方便的帮我们获取到一系列的网站列表。

最简单的操作方法，我们先在本地组装一系列的种子关键词，然后把这个种子关键词传递给对方的 API，于是 API 便会给我们返回搜索结果页面上的信息。

有了这些信息之后，简单清洗一下便可以提炼出网站域名了。

紧接着便可以去查询这些网站的域名注册时间与当前的流量水平，两相对比就知道这个方向值不值得投入。

但这种方法也是有成本的，最直接的就是 API 的使用费用。

像刚刚那个工具，每月 150 美金的订阅费用，仅仅支持每月15,000 次的查询，属实是有一点贵了。

且这个工具最近也是在跟谷歌打官司，可能是侵犯了平台的一些权益吧，数据更新也不是那么的及时。

某种程度上性价比更高的一个方案是，自己去搭建一套专属于爬虫方案。

这套爬虫系统只专注于自己感兴趣的领域，然后再在这个领域内做深度的信息挖掘。

比如我想挖掘出所有与瑜伽裤有关的网站，那在前期调研的时候，就把瑜伽裤所有的关键词都覆盖到，然后启动爬虫系统，自动根据我们设置的关键词去抓取信息就好。