管理资源吧首页>>>教程>>>编程>>>JavaScript教程>>>

Node.js抓取中文网页乱码问题和解决方法

　　Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码

　　

复制代码 代码如下:

　　var request = require('request')

　　var url = 'http://www.163.com'

　　request(url, function (err, res, body) {

　　console.log(body)

　　})

　　可以使用 iconv-lite 来解决

　　安装

　　

复制代码 代码如下:

　　npm install iconv-lite

　　同时我们顺带把 user-agent 修改一下，以防网站屏蔽：

　　

复制代码 代码如下:

　　var originRequest = require('request')

　　var iconv = require('iconv-lite')

　　var headers = {

　　'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'

　　}

　　function request (url, callback) {

　　var options = {

　　url: url,

　　encoding: null,

　　headers: headers

　　}

　　originRequest(options, callback)

　　}

　　request(url, function (err, res, body) {

　　var html = iconv.decode(body, 'gb2312')

　　console.log(html)

　　})

　　乱码问题解决

　　使用 cheerio 解析 HTML

　　cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多

　　安装

　　

复制代码 代码如下:

　　npm install cheerio

　　request(url, function (err, res, body) {

　　var html = iconv.decode(body, 'gb2312')

　　var $ = cheerio.load(html)

　　console.log($('h1').text())

　　console.log($('h1').html())

　　})

　　输出如下

　　

复制代码 代码如下:

　　网易

　　网易

　　那么问题来了，$('h1').html() 输出的代码是经过 Unicode 编码的，网易变成了网易，给我们的字符处理带来了一些麻烦

　　解决 cheerio .html() 「乱码」问题

　　查阅文档可知，可以关闭这个转换实体编码的功能

　　

复制代码 代码如下:

　　var $ = cheerio.load(html)

　　改成

　　

复制代码 代码如下:

　　var $ = cheerio.load(html, {decodeEntities: false})

　　即可，完整代码如下：

　　

复制代码 代码如下:

　　var originRequest = require('request')

　　var cheerio = require('cheerio')

　　var iconv = require('iconv-lite')

　　var headers = {

　　'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'

　　}

　　function request (url, callback) {

　　var options = {

　　url: url,

　　encoding: null,

　　headers: headers

　　}

　　originRequest(options, callback)

　　}

　　var url = 'http://www.163.com'

　　request(url, function (err, res, body) {

　　var html = iconv.decode(body, 'gb2312')

　　var $ = cheerio.load(html, {decodeEntities: false})

　　console.log($('h1').text())

　　console.log($('h1').html())

　　})

教程首页 更多教程