CIMC 价格提取 Skill

提取 CIMC（广州/深圳）空运运价表 → 24列标准输出 → 上传 WPS。

⚠️ 铁律：仅提取用户最新提交文件，禁止复制历史数据

• 禁止查看/引用/复制任何历史脚本中的 price/data 数组
• 禁止从历史输出文件直接读取数据
• 禁止硬编码历史文件路径作为源文件
• 每次提取必须从用户当前提交文件全新读取
• 有就是有，没有就是没有：不得用历史数据填补缺失值

一、核心参数（固定不变）

广州

深圳

二、强制流程（铁律）

1. 确定源文件路径（广州 .xls / 深圳 .xls）
2. 确定基准日期 BASE_DATE（如 "2026-05-18"）
3. 加载 Skill 规则 → 运行提取脚本
4. 比重引擎处理（apply_ratio_engine）
5. 24列校验 → 保存 Excel → 自动上传 WPS

三、广州 Sheet 配置（17 个 Sheet）⚠️ 最可能变化

3.1 航司映射

AIRLINE_CODE_MAP = {
    "TK-广州": "TK", "TK-成都": "TK", "TK-联运": "TK",
    "MU": "MU", "VJ-SGN": "VJ", "BR-TPE": "BR",
    "ZH": "ZH", "CZ 美线": "CZ", "CZ 欧线": "CZ",
    "CZ 客机欧线 ": "CZ", "CZ腹仓": "CZ", "CA欧线": "CA",
    "CA美线": "CA", "QR货机": "QR", "QR联运": "QR", "RA-KTM": "RA", "KE": "KE",
    "DT": "DT", "VN": "VN", "GF": "GF",
}

3.2 Sheet 规则表

3.3 四重 boolean 详解（易错）

四、深圳 Sheet 配置

五、核心提取逻辑

5.1 表头查找（find_header_row）

• 搜索含「目的地」+「起运地」的行
• 排除含「转运」开头的转运表标题行
• 识别列：目的地/起运地/中转地/MIN/N/+45KG/+100KG/+300KG/+500KG/+1000KG/比重/货型/频率/备注

5.2 价格行判断（is_price_row）

跳过条件：
- 前 2 列含「航班时刻表」「始发站」「目的站」「参考二程」「FlightType」「AC Type」
- 前 2 列是 D1-D7（航班时刻表头）
- 所有重量段（+45/100/300/500/1000）全无值或 ≤1
- N列（单价）≤10 且 MIN列 ≤100

5.3 转运数据过滤

• 行中前几列含「转运」→ 标记进入转运区
• 转运区中遇到「目的地」或价格>100 → 退出
• 转运区内数据全部跳过

5.4 非数据行跳过（is_note_row）

前几列含：收运说明/仓储/备注/费用/更新/报价已含/报关/加班/叉车/仓租/截单

六、生效日期处理

6.1 提取方式

1. 扫描表头区域（前20行）正则匹配 YYYY-MM-DD → default_eff_date
2. 每行数据前扫描 extract_effective_date_from_row 动态更新 → cur_eff_date
3. 若都无 → 默认 "2026-05-18"（文件日期）

6.2 过滤

BASE_DATE = "2026-05-18"  # ← 每批次修改
df2 = df2[df2["开始生效日期"] >= BASE_DATE]

6.3 格式

输出："YYYY-MM-DD HH:MM:SS" 格式

七、比重引擎（ratio_engine.apply_ratio_engine）

提取完成后调用，参数：

df2 = apply_ratio_engine(df, src_col='起始港', dst_col='目的港', airline_col='航司', cargo_col='货型')

关键：
- 链式比重：gt档按阈值升序，end=下档start，末档=9999
- lt档：独立区间 [0, lt值]
- 1:1档：start=0，end=首gt档阈值或9999
- 货型清理：保留 1:\d+ >\d+ <\d+ 三种格式

八、散托类型与增量（优先级）

1. 行级备注含 托盘+X → 散货，增量=X（正则 r'托盘[/／\s]*\+(\d+)'）
2. 表头标题行含 托盘+X → block 初始值
3. Sheet 规则默认值（如 MU=2, CZ=2, CA=2）
4. 值为 0 → 增量空字符串 ''

散托类型判定

• 有托盘增量（行级/block级） → 「散货」
• 货型列明确写「散货」/「托盘」 → 按描述
• 以上都无 → 「散货/托盘」

BR-TPE 特殊规则

• tray_from_remark=True：只有备注含「托盘+X」才填增量
• 无备注 → 增量为空（不继承 Sheet 默认值）
• 中转地 → 跳转点（jump_point=True）
• 目的地含 / → 拆分多行

九、CZ 腹仓特殊规则

• 目的地含 / 不拆分，只替换为 ,（如 KTI/PNH → KTI,PNH）
• cargo_filter_priority: ["普货", "a3", "a2"]
• 同一 block 中优先取高级别货型，低级别跳过

十、QR 货机/联运特殊规则

• default_cargo_type: "1:1"（比重列为空时默认货型）
• QR货机只提「普货」+「散箱」
• QR联运只提「普货」
• 去重时包含转运点（区分 DOH 和 KUL）

十一、常见坑和修复记录

坑1：CZ 美线 w45_fallback=False

Block 首行有 45KG，后续档为空。不应 fallback。

坑2：CA 欧线 ratio_to_cargo=False

45KG 列全为空，不应 fallback 到 100KG。

坑3：QR 货型为 1:1

比重列为空，需 default_cargo_type="1:1"。

坑4：多行备注含换行符

remark_full = str(remark).replace('\n', ' ').replace('\r', ' ')

坑5：散托类型覆盖问题

st_type='散货' 优先级最高，不被后续空备注覆盖。只有 st_type=='散货/托盘' 才允许更新。

坑6：int() 转换价格丢失小数

禁止 int()，价格列保留 float。

坑7：TK 中转地合并单元格丢失

TK Sheet 中转地列是合并单元格（Rows 9-149 全为 IST），xlrd 读取 .xls 时只在首行返回值，其余行为空。
修复：添加 transit_merged=True 标记，目的港变化时不清空中转地继承值。

elif not transit_val and dest_val and dest_val != cur_dest:
    if not rules.get("transit_merged"):  # TK 等合并单元格不清空
        cur_transit = ""

坑8：停飞/停航/暂停行必须整行跳过（0615新增）

频次列含 停飞、停航、暂停 时，不属于有效运价，必须整行跳过；不要只做频次清洗。注意脚本判断要用 sname 或 freq_raw，不要写成 if sh == "CZ腹仓"（sh 是 sheet 对象，会导致判断永远不命中）。

坑9：无比重列 Sheet 不得输出空比重（0615新增）

TK、QR货机、QR联运等无比重列/比重为空的有效价格行，必须设置默认货型 1:1，并输出 开始比重=0、结束比重=9999。禁止让开始比重、结束比重、货型为空。

坑10：新增航司必须配置 default_cargo_type（0622新增）

症状：DT 航司输出时 开始比重=None、结束比重=None、货型=None。
原因：DT 比重列和货型列在源数据中全为空，但 get_sheet_rules() 未配置 default_cargo_type: "1:1"，导致 ratio_lo/ratio_hi 均为 None，output 行没有默认值。
修复：在 DT 的 rules dict 中添加 "default_cargo_type: "1:1"。凡是比重列为空的 Sheet，必须检查是否缺少此配置。

坑11：TK拆分为多Sheet，TK-成都必须跳过（0713新增）

症状：0713批次TK从单个Sheet拆分为TK-广州、TK-成都、TK-联运三个Sheet。
原因：TK-成都起始港为CTU（成都），非CAN（广州），不应在广州数据源中提取。
修复：将 TK-成都 添加到 SKIP_SHEETS。airline_from_sheet 正则 ^([A-Z]{2,3}) 可正确从 TK-广州/TK-联运 提取航司代码 TK。

坑12：多日期块行内日期检测（0713新增）

症状：CZ美线/CZ欧线/CZ客机欧线/CA欧线等Sheet含多个日期块，find_date_near_row 只找到header附近的第一个日期，导致后续日期块全部使用错误日期。
原因：extract_standard_sheet 只在header附近查找一次日期，不跟踪数据区内的行内日期（含「生效时间：YYYY-MM-DD」的单元格）。
修复：在第一遍扫描中增加行内日期检测——扫描含「生效」+日期格式的单元格，动态更新 current_date，同时重置 last_dest/last_freq/last_remark（新数据块）。每条记录存储各自的 current_date，第二遍构建记录时使用行级日期。

坑13：散托增量正则误匹配备注中的其他数字（0713新增）

症状：CZ美线散托增量输出为1，实际应为2。
原因：旧正则 r'托盘[^\d]*(\d+)' 在CZ美线备注 托盘泡单询\n1:120以上分八...托盘+2/KG 中，先匹配到「托盘泡单询」后跳过所有非数字字符，捕获到 1:120 中的 1，而非 托盘+2 中的 2。
修复：正则改为 r'托盘[^+\d]*\+(\d+)'，要求「托盘」后必须含 + 号才匹配，避免误匹配其他数字。

坑14：1:1比重区间多>N场景end_r取值Bug（0811修复）⚠️ 关键

症状：CA欧线/CZ客机欧线等含 1:1 + 多个 >N 的动态比重Sheet，1:1区间结束比重与>N区间重叠。
原因：旧代码 end_r = gt_ratios[-1][1]（取最后一个>N的start），导致1:1区间过大（如140-500），与>N区间重叠。
修复：改为 end_r = gt_ratios[0][1]（取第一个>N的start），1:1→140-200正确。
影响范围：所有含1:1 + 多个>N的动态比重Sheet（CA欧线、CZ客机欧线等）。已同步修复0803和0810脚本。

坑15：频次为空时必须填"Daily"（0727新增，全局规则）

规则：所有数据源，频次列如果为空则填入 Daily。适用所有Sheet、所有航司。
实现：在 build_record() 中添加：freq = freq or 'Daily'

坑16：分泡列不提取（0720新增，全局规则）

规则：分泡列始终留空，不提取任何分泡数据。适用所有数据源。

十二、频率归一化

- "二程 D13467" → "D13467"（去掉前缀"二程 "）
- "CZ daily窄体" → "Daily"（匹配 Daily 关键词）
- "1357.0" → "D1357"（float→int→加D前缀）
- D号码规范化：收集所有 D+数字，取最长、去重、排序拼接

十三、脚本模板

广州脚本模板：e:/FCI-RATE/.workbuddy/tools/extract_cimc_can_{批次}.py
深圳脚本模板：e:/FCI-RATE/.workbuddy/tools/extract_cimc_szx_{批次}.py

新批次时：
1. 复制最新版本脚本
2. 更新 DEFAULT_SOURCE_FILE 指向新文件
3. 更新 BASE_DATE 为文件日期
4. 对照源文件确认 Sheet 规则是否需要调整
5. 运行 → 验证 → 上传 WPS

十四、输出验证

from columns_24 import COL_24, validate_columns

# CIMC 脚本内联 24 列定义（不使用 COL_24 常量）
# 确保列名完全一致：
COLS = ["起始港", "目的港", "航司", "开始比重", "结束比重", "货型",
        "45KG", "100KG", "300KG", "500KG", "1000KG",
        "散托类型", "开始生效日期", "分泡", "频次", "Remark", 
        "跳转点", "转运点", "转运费增量值(RMB/KG)", "转运费最低收费（/票）", 
        "备注", "来源", "价格编号", "散托增量"]