Jelajahi Sumber

doc:更新学习日报

xiaoliu 2 minggu lalu
induk
melakukan
19ea4c741a
2 mengubah file dengan 4 tambahan dan 3 penghapusan
  1. 4 0
      2026.10.19
  2. 0 3
      2026.10.20

+ 4 - 0
2026.10.19

@@ -0,0 +1,4 @@
+今日学习日报:
+学习采集网站列表页和详情页,学习采集列表页和详情页要分别处理的思路;
+学习使用HTTP Client获取网页的html格式数据;
+学习使用Jsoup解析html数据,通过css选择器的方式进行数据预处理,提取需要的目标数据,例如标题、 正文、文件url;

+ 0 - 3
2026.10.09 → 2026.10.20

@@ -1,6 +1,3 @@
 今日学习日报:
-学习采集天津市东丽区民政局政府公开信息的列表页和详情页;
-学习使用HTTP Client获取网页的html格式数据;
-学习使用Jsoup解析html数据,通过css选择器的方式进行数据预处理,提取需要的目标数据,例如标题、 正文、文件ur;
 学习通正则表达式处理Jsoup无法处理的特殊情况,例如总页数不在html元素显示,而是通过javascript动态渲染的方式显示,所以需要使用正则表达式提取混在js代码中的总页数数据;
 学习通过ojdbc6操作数据,预处理sql编写、sql参数动态填充、执行预编译sql,将采集、清洗完成的数据入库;