main_proc.py
main_proc.py — 入口路由
根据 _key(公司编号)分发到专项处理函数:目前只有 com_91000(兴业银行)一个分支,后续新增特殊公司在这里加 elif 即可。设计背景见 auto_on_response 主篇。
代码
import time
import hashlib
import os
import requests
from urllib.parse import urlencode
import sys
sys.path.append('../')
import json
from utils import ner_logger
import re
from .xingye_proc import xingye_proc
# API响应统一处理入口函数
# 根据不同公司_key,分发到对应的专属处理逻辑
def on_response_proc(spider_com, page, _key, com_info, k, url, _stat):
"""
监听接口响应并执行专属解析/处理逻辑
:param spider_com: 爬虫实例
:param page: 页面对象
:param _key: 公司唯一标识
:param com_info: 公司配置信息
:param k: 路由/接口标识
:param url: 请求URL
:param _stat: 状态统计对象
:return: 处理结果
"""
# 如果是 com_91000 公司,执行兴业专属处理逻辑
if _key == "com_91000":
# 调用兴业定制处理函数
xingye_proc(spider_com, page, _key, com_info, k, url, _stat)
# 默认返回 True,表示处理完成
return True
项目分区导航:auto_on_response ⬅️ | 01-main_proc | ➡️ xingye_proc
💬 评论