1 基本信息
商店地址::Instant Data Scraper - Chrome 应用商店
简介:: 即时数据抓取器从网页中提取数据并将其导出为 Excel 或 CSV 文件
2 背景
[[知识管理能力]]中很重要的一环就是[[采集能力]]能力的建设,当然首先是需要[[信息筛选]],保证数据源的质量是优秀,采集的内容有[[触动点]]。
[[B站视频笔记采集方案]]讲述了怎么采集视频笔记,[[五彩插件]]采集普通的网页,其实还有另一类机构化数据也需要采集:比如 [[豆瓣网]]的电影、音乐、书籍,[[大众点评]]的点评记录。
由于没有技术实力,之前都是复制粘贴。少量的内容足够少没有问题,但是当数据量级达到上千级别,手工采集就浪费时间
2023-07-02[[Johnny学]]介绍了一个软件[[Instant-Data-Scraper]]可以快速采集[[豆瓣网]]和[[大众点评]]相关的内容。
在商店中安装插件,可以置顶插件。
我们体验一下抓取豆瓣电影的Top250:
- 打开豆瓣电影 Top 250
- 打开插件
- 定位下一页的位置
- 点击抓取:
- 完成后导出excel格式,最好导出为[[csv]]格式,不然导入到腾讯文档比较慢
- 可以上传到[[腾讯文档]]:豆瓣电影top250-230702,经过加工后,复制到[[obsidian]]
整过过程非常的丝滑,太帅了!
后期更新,会放在这里