网站抓取(Scraping)是一门安全性比较薄弱的学科。人们经常使用服务器来解决，而调试和解决这些问题非常困难，至少现在是这样。 抓取采用现代浏览器构建的网站比十年前更具挑战性。jsoup是一个方便的API，它通过DOM遍历、CSS选择器、类似JQuery的方法等使抓取 ...

百度里查了下说是请求头里的参数设置问题，fiddler抓包没有提到的“if-none-match”参数名，结果就怎么改参数都是412，也尝试了禁用缓存什么的 ...

做了一个RCP项目，想要去抓取网页页面的内容，用了jsoup的jar包。 关键是在抓取类中写了main测试方法可以抓取信息。

本周五，接到一个任务，要使用爬虫技术来获取某点评网站里面关于健身场馆的数据，之前从未接触过爬虫技术，于是就从网上搜了一点学习资料，本篇文章就记录爬虫技术Jsoup技术，爬虫技术听名称很牛叉，其实没什么难点，慢慢的用心学习就会了。 Jsoup介绍 ...

也许大家有过在java运行平台上解析html的经历，通常的方式是将HTML以XML的形式进行结点解析，调用java本身的xml解析类库。这样的方式很容易理解并且很方便，但习惯用jQuery的各位是否在感叹能否在java中像jQuery一样获取标签内容，实现DOM操作呢？终于，发现了 ...

从19年开始，社长，就在写系列文章，整个系列写完后，就需要写一篇总结的文章，需要把所有的文章归纳进去。相信不少童鞋都会有这种困惑。 需求 通过csdn系列文章的网站，采用jsoup，输出该系列文章的所有标题和url地址。使用MD方式网址输出 到这里，我们就 ...