---
title: "00-Python与爬虫总览"
created: 2026-09-04
tags:
  - 项目
aliases:
  - Python与爬虫总览
---
# Python 与爬虫

> [!info] 本组定位
> 05-项目 的 **自研爬虫工程线**——与前两组（Git/Linux 教程线）性质不同，这里是你自己的生产级招聘数据采集系统的完整工程实录：架构设计、方法论长文、实战日志、产品策划、基类源码深读、以及 chu 招聘数据自动化项目的 35 个代码模块全文。Python 爬虫知识随工程实录展开，不是教程抄写。

## 组内结构

| 单元 | 内容 | 篇数 |
| --- | --- | --- |
| [[01-爬虫架构总览\|01-爬虫架构总览]] | 整体设计思路：基类 → 子类 → 远端集群三层架构（含架构图） | 1 |
| [[02-爬虫系统建设\|02-爬虫系统建设]] | 方法论长文：十七个阶段从设计到反爬、清洗、入库 | 1 |
| [[03-爬虫系统建设实战\|03-爬虫系统建设实战]] | 2026-04-03 实战实录，与 02 篇互为表里 | 1 |
| [[04-zhaogebanshang\|04-zhaogebanshang]] | 产品策划：招聘信息聚合平台（找哥搬上山）——本爬虫系统的产品化出口 | 1 |
| [[00-学习顺序\|05-基类进阶]] | spider.py 基线：学习顺序 → 基类深度解析 → getProxy/setProxyRecord → 代码全文 | 4 |
| [[00-项目导航\|06-招聘数据自动化]] | chu 项目全模块：主程序 4 篇 + parsegpt/auto_gen/auto_gen_com/auto_on_response/auto_api/api 六模块 + data | 41 |
| [[00-爬虫课程六讲\|07-爬虫课程六讲]] | chu 系统前置课程：六讲从爬虫概念到逐行拆解 chu 源码（SpiderCom/DOM/API/on_response） | 10 |

## 学习动线

**理解系统**：从 [[01-爬虫架构总览|01-爬虫架构总览]] 三层架构入手 → 02/03 两篇长文（方法论 + 实战对照）→ [[01-Spider.py基类深度解析|基类深度解析]] 吃透基础设施。

**读代码**：[[00-项目导航|06-项目导航]] 给出六模块依赖动线（parsegpt → auto_gen → auto_on_response → auto_api → api → data），每个 .py 篇 = 功能说明 + `## 代码` 全文；配合 [[09-对照项目源码拆解——从配置到入库的完整链路|07 组第 6 讲]] 的逐行源码拆解食用。


## 与其他分区的关系

- [[00-Linux总览|00-Linux总览]]：上一组（Linux 实操线），本组的远端部署与 cron 定时任务是其延伸
- [[00-项目线全景|00-项目线全景]]：项目线总导论
- [[00-项目筑基|03-项目筑基]]：Python 语法与工具类基础在材料库，本组只放工程实录

---

**项目分区导航**：[[27-拓展|27-拓展]] ⬅️ | 00-Python与爬虫总览 | ➡️ [[01-爬虫架构总览|01-爬虫架构总览]]