前言
jsoup的简介
使用项目原话：jsoup是一个Java库来处理实际的HTML。它提供了一个非常方便的API来提取和操纵数据,使用最好的DOM,CSS和jquery-like方法
jsoup的配置
jsoup的配置很简单，需要在gradle中添加以下依赖
compile 'org.jsoup:jsoup:1.10.2'
由于jsoup需要获取网络数据，所以记得添加网络权限
正文
已经通过Jsoup.connect(URL).get();方法获取到整个网站的代码，但是发现我需要的新闻板块是这样的，没有任何标识
台湾液晶面板厂中华映管申请破产重整！ 负债348亿新台币
于是我采用获取全文有href的a标签，同时为了排除网站上一些板块的导航入口，href中又必须含有"/connect/“和”/html/"
new Thread() {
@Override
public void run() {
super.run();
try {
Document doc = Jsoup.connect(WebMainURL).get();
Elements els = doc.select("a[href]");
for(Element el : els){
String href=el.attr("href");
if (href.contains("/special/") && href.contains("html"))
{
Log.e("完整",el.toString());
Log.e("链接",href);
Log.e("内容",el.text());
Log.e("分隔","\n"+"----------------------------------------------------------");
}
}
}
catch (IOException e) {
e.printStackTrace();
}
}
}.start();
结果如下
然后就可以进去获取更具体的作者、时间、内容等信息，为了方便测试，我这里先指定进入一个网址。并找到了它代码中的作者和时间
文章来源： 半导体投资联盟 发布时间：-12-14
谢天谢地它终于有class了！感人！，马上读取出它的text,
发现是这样的 文章来源： 半导体投资联盟 发布时间：-12-14
获取到“发布时间”的位置，用2个substring得到作者和时间
if(href.equals("/special/detail_375109.html")){
Document docDetailRaw = Jsoup.connect(WebMainURL+href).get();
Elements els_docDetail = docDetailRaw.select("div.public-time");
String doc_detail = els_docDetail.text();
int timeInString = els_docDetail.text().indexOf("发布时间");
String doc_detailAuthor = doc_detail.substring(5,timeInString).trim();
String doc_detailTime = doc_detail.substring(timeInString+5).trim();
Log.e("author",doc_detailAuthor);
Log.e("time",doc_detailTime);
}
log如下
12-15 06:36:30.622 9210-9226/com.example.asus.spidertest E/author: 半导体投资联盟
12-15 06:36:30.622 9210-9226/com.example.asus.spidertest E/time: -12-14
同理，文章的内容也能轻而易举爬出来了
Elements els_docContent = docDetailRaw.select("div.main-text");
String doc_content = els_docContent.text();
Log.e("content",doc_content);
但是发现没有图片
参考(Android开发技巧——TextView加载HTML的图片及代码显示问题)
最后成功!
后面就是一些封装成Bean，连接数据库等操作，可以自己根据需求来。
