main_proc.py

main_proc.py — 入口路由

根据 _key(公司编号)分发到专项处理函数:目前只有 com_91000(兴业银行)一个分支,后续新增特殊公司在这里加 elif 即可。设计背景见 auto_on_response 主篇

代码

import time
import hashlib
import os 
import requests
from urllib.parse import urlencode 
import sys
sys.path.append('../')
import json
from utils import ner_logger
import re
from .xingye_proc import xingye_proc

# API响应统一处理入口函数
# 根据不同公司_key,分发到对应的专属处理逻辑
def on_response_proc(spider_com, page, _key, com_info, k, url, _stat):
    """
    监听接口响应并执行专属解析/处理逻辑
    :param spider_com: 爬虫实例
    :param page: 页面对象
    :param _key: 公司唯一标识
    :param com_info: 公司配置信息
    :param k: 路由/接口标识
    :param url: 请求URL
    :param _stat: 状态统计对象
    :return: 处理结果
    """
    # 如果是 com_91000 公司,执行兴业专属处理逻辑
    if _key == "com_91000":
        # 调用兴业定制处理函数
        xingye_proc(spider_com, page, _key, com_info, k, url, _stat)
    
    # 默认返回 True,表示处理完成
    return True

项目分区导航auto_on_response ⬅️ | 01-main_proc | ➡️ xingye_proc