| 123456 |
- 今日学习日报:
- 学习采集天津市东丽区民政局政府公开信息的列表页和详情页;
- 学习使用HTTP Client获取网页的html格式数据;
- 学习使用Jsoup解析html数据,通过css选择器的方式进行数据预处理，提取需要的目标数据，例如标题、 正文、文件ur;
- 学习通正则表达式处理Jsoup无法处理的特殊情况，例如总页数不在html元素显示，而是通过javascript动态渲染的方式显示，所以需要使用正则表达式提取混在js代码中的总页数数据;
- 学习通过ojdbc6操作数据，预处理sql编写、sql参数动态填充、执行预编译sql,将采集、清洗完成的数据入库;
|
