Python 与爬虫
本组定位
05-项目 的 自研爬虫工程线——与前两组（Git/Linux 教程线）性质不同，这里是你自己的生产级招聘数据采集系统的完整工程实录：架构设计、方法论长文、实战日志、产品策划、基类源码深读、以及 chu 招聘数据自动化项目的 35 个代码模块全文。Python 爬虫知识随工程实录展开，不是教程抄写。
组内结构
| 单元 | 内容 | 篇数 |
|---|---|---|
| 01-爬虫架构总览 | 整体设计思路：基类 → 子类 → 远端集群三层架构（含架构图） | 1 |
| 02-爬虫系统建设 | 方法论长文：十七个阶段从设计到反爬、清洗、入库 | 1 |
| 03-爬虫系统建设实战 | 2026-04-03 实战实录，与 02 篇互为表里 | 1 |
| 04-zhaogebanshang | 产品策划：招聘信息聚合平台（找哥搬上山）——本爬虫系统的产品化出口 | 1 |
| 05-基类进阶 | spider.py 基线：学习顺序 → 基类深度解析 → getProxy/setProxyRecord → 代码全文 | 4 |
| 06-招聘数据自动化 | chu 项目全模块：主程序 4 篇 + parsegpt/auto_gen/auto_gen_com/auto_on_response/auto_api/api 六模块 + data | 41 |
| 07-爬虫课程六讲 | chu 系统前置课程：六讲从爬虫概念到逐行拆解 chu 源码（SpiderCom/DOM/API/on_response） | 10 |
学习动线
理解系统：从 01-爬虫架构总览 三层架构入手 → 02/03 两篇长文（方法论 + 实战对照）→ 基类深度解析 吃透基础设施。
读代码：06-项目导航 给出六模块依赖动线（parsegpt → auto_gen → auto_on_response → auto_api → api → data），每个 .py 篇 = 功能说明 + ## 代码 全文；配合 07 组第 6 讲 的逐行源码拆解食用。
与其他分区的关系
- 00-Linux总览：上一组（Linux 实操线），本组的远端部署与 cron 定时任务是其延伸
- 00-项目线全景：项目线总导论
- 03-项目筑基：Python 语法与工具类基础在材料库，本组只放工程实录
💬 评论