博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
显示在哪咧
阅读量:5876 次
发布时间:2019-06-19

本文共 377 字,大约阅读时间需要 1 分钟。

最近都在学nodeJs,刚好看到http模块,于是就心血来潮,想写个简单的爬虫。

  简单的爬虫实现原理很简单:发送http请求至目标地址获取HTML页面数据,然后从获取来的页面数据中提取需要的数据保存。

  用nodeJs写爬虫,主要就是用到http.get发送请求至目标地址,然后在res.on("data")中监听数据传输并且保存数据,最后在res.on("end")数据传送完毕后对数据进行处理,保存。

  先来说步骤吧。

    我用了express框架,先进入项目目录,在命令行敲入express -e myCreeper 生成express的目录。然后进入myCreeper的目录下再敲入命令npm install。然后项目就搭建好了。

转载于:https://juejin.im/post/59cb1c555188250f7b036e01

你可能感兴趣的文章
ORACLE---Unit04: SQL(高级查询)
查看>>
Entity Framework Code First 模式-建立多对多联系
查看>>
[LeetCode] Reverse Lists
查看>>
前台页面之<base>标签
查看>>
angular分页插件tm.pagination 解决触发二次请求的问题
查看>>
day08-文件操作
查看>>
教学-45 对象的相等
查看>>
贪食蛇
查看>>
关于Spring 中的事务
查看>>
为什么现在都用面向对象开发,为什么现在都用分层开发结构?
查看>>
【离散数学】 SDUT OJ 偏序关系
查看>>
写给学弟学妹的产品入门建议(持续更新)
查看>>
view视图总结
查看>>
C# 知识点随手学习网站推荐
查看>>
深入剖析tomcat之一个简单的web服务器
查看>>
记一次数据库查询语句的优化
查看>>
poj2365
查看>>
SQL学习笔记三select语句的各种形式
查看>>
Android cts all pass 全攻略
查看>>
数学 SCU 4436 Easy Math
查看>>