nodejs爬虫制作知乎专栏RSS抓取程

现在这个社会是信息爆炸的社会,各个网站、app上铺天盖地的都是各种新闻和信息。为了获取信息,我们每天都要进行各种麻烦的操作,打开各种网站或者手机app,操作显得低效,后来发现了一个神器,那就是RSS。

什么是RSS

RSS中文名是简易信息聚合,就是让网站一个按照一定周期更新网站的文章概要内容(有些是全文)到一个xml中。RSS订阅工具一定时间抓取这个RSS订阅源生成数据供订阅者读取网站内容。

有了RSS,你只要去订阅工具上就可以浏览你自己订阅的新的更新内容,非常简单高效。这里推荐一个RSS订阅神器inoreader,支持中文。这个我认为是目前最好的RSS订阅器。知乎专栏是一个知乎开给个人写的博客,有些专栏上面具有有价值的信息,但是很遗憾知乎专栏不提供RSS订阅,当然作为开发者来说,我们可以自己动手做一个知乎专栏RSS抓取程序。

制作爬虫

很多网站提供了RSS,但是更多网站其实没有提供RSS订阅源。我们可以使用爬虫抓取网站更新内容制作个人的RSS订阅源。我作为一个前端er可以使用nodejs来进行RSS的制作。

什么是nodejs

Node.js是一个基于ChromeJavaScript运行时建立的平台,用于方便地搭建响应速度快、易于扩展的网络应用。Node.js使用事件驱动,非阻塞I/O模型而得以轻量和高效,非常适合在分布式设备上运行数据密集型的实时应用。

简单的说Node.js就是运行在服务端的JavaScript。使用nodejs的可以让你一个只会用JavaScript也能写后端服务代码。当然也能用它进行爬虫抓取的工作。

先安装爬虫所需依赖

进行爬取工作的话先要安装所要用到的依赖。superagent是最常用的一个依赖库,利用它可以轻松发送各种请求。cheerio就是一个nodejs版本的jquery,利用它可以获取网页中的各种dom结构。data2xml就是一个json转化成xml的一个库。其他还有node-schedule和fs就是进行定时操作和文件操作。

新建一个文件夹rssmaker,并且执行npminit创建package.json。

用npminstallnode_modules_name--save来进行安装各种依赖。

分析知乎专栏结构获取要爬取的入口

我这次举例爬取一个专栏前端学习指南。想这种适配手机端的网页,一般都有采用发送API请求来获得数据进行前端渲染页面,我们可以用chrome的network的查看可疑的请求。打开chrome的开发者工具。我们很快就发现了一个目标。一个可疑请求


转载请注明:http://www.guyukameng.com/html/html1/12765.html