使用ruby来抓取小说

好久没有写ruby代码了,手有点生,今年准备多练练~ 话说MM都喜欢看小说,网上连载的一直下一页下一页的点也不方便,于是就想到用代码把小说都抓取下来。html分析工具用的是hpricot。

require 'rubygems'require 'hpricot'require 'open-uri'require 'fileutils'def wri   url = "http://www.yqxs.com/data/book2/ZfUAt35561/book35561_"   (1..22).each do |page|     sub_url = url+page.to_s+".html"     get_novel(sub_url)   endenddef get_novel(target_url)puts target_urldoc = Hpricot(open(target_url))ele = doc.search("div[@id=content]")write_file(ele.inner_html,"test")enddef write_file(file_content,title)  path = "E:\\"  file_name = path+title+".html"  file = File.open(file_name,"a")  file.puts file_content  file.closeendwri   

Hpricot挺好用,可以根据css的class来找,还可以根据id来找。

  ele = doc.search("div[@id=content]")

就是找到id是content的div就这样吧,简单记录下。命运如同手中的掌纹,无论多曲折,终掌握在自己手中。

使用ruby来抓取小说

相关文章:

你感兴趣的文章:

标签云: