摘要:记录一次很有趣的爬虫运行过程中requests.text卡顿的排查。

背景记录

爬虫过程中使用requests.text对爬取的网页进行入库,发现有些url爬取的时候爬虫程序直接占用100%的cpu并且疑似卡死。

问题分析

爬取的响应没有明确字符编码,因此requests访问.text时会自动调用 chardet。http的响应体大小约:1,356,900 字节,其中存在一段连续:346,210 字节的纯英文字母内容。chardet 5.2.0使用下面的正则:[a-zA-Z]*[\x80-\xff]+[a-zA-Z]*[^a-zA-Z\x80-\xff]?,它先贪婪匹配大量英文字母,再寻找高位字节。当超长 ASCII 串里不存在高位字节时,会产生近似O(n²)的回溯。因此就造成了程序卡死的假像。

测试结果:

5,000 字符:0.29 秒
10,000 字符:1.09 秒
20,000 字符:3.35 秒
30,000 字符:8.37 秒

按照这个增长速度,346 KB 的长串单次匹配约需十几到二十分钟;而 SBCSGroupProber 会对多个字符集探测器重复执行,因此整个检测可能需要数小时。

触发条件

网站服务器的HTTP响应头没有返回有效的编码(比如 Content-Type: text/html; charset=utf-8)。此时 r.encoding 为 None;访问response.text会触发chardet库对响应体进行编码探测。如果http响应体包含特定的超长连续字母串,且未被提前识别为 UTF-8,就会触发本文讨论的耗时问题。

注意:python3 -m http.server 8081启动的临时服务器虽然返回了Content-Type: text/html,并没有返回编码。但是Requests库检测到HTTP响应头中的Content-Type返回text/html后,会默认使用ISO-8859-1作为编码。因此将chardet_backtracking_repro.html网页放在python3 -m http.server 8081启动的服务器下,会复现不了。

问题复现

generate_chardet_page.py:

#!/usr/bin/env python3
#!/usr/bin/env python3
# 脚本作用:生成用于测试 chardet 5.2.0 字符编码探测耗时的 HTML 网页。
# 网页的注释中放入一个无效 UTF-8 字节,后面另起一段连续的 ASCII 字母 A;
# 这样可避免 UTF-8 探测提前结束,同时保留单字节探测器的长串回溯条件。
# 使用 --serve 时,本地 HTTP 服务不发送 Content-Type,让 requests 的
# Response.encoding 保持为 None,从而在访问 Response.text 时进行编码探测。
#
# 常见用法(在脚本所在目录执行):
#   python3 generate_chardet_page.py
#       只生成 chardet_backtracking_repro.html,默认连续 8000 个 A。
#   python3 generate_chardet_page.py --letters 8000 --serve
#       生成网页并在 http://127.0.0.1:8081/chardet_backtracking_repro.html 提供访问。
#   python3 generate_chardet_page.py --letters 12000 --output sample.html --serve --port 8090
#       调整连续字母数量、文件名和服务端口;按 Ctrl+C 停止服务。
#
# 测试方法:在另一个终端用 requests.get(上述 URL) 获取响应,确认 r.encoding
# 为 None,再单独计时 r.text。建议先测较短样本;较长的字母串可能运行很久。
# requests.get(..., timeout=10) 只约束网络等待;可用 timeout 30s 给整个
# 客户端进程设置测试上限。

import argparse
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from pathlib import Path
from urllib.parse import urlsplit


def make_page(letters: int) -> bytes:
    # The invalid UTF-8 byte is in a comment, separated from the ASCII run by
    # markup. This makes UTF-8 detection fail without supplying the regex's
    # required high byte *inside* the long word.
    before = (
        b"<!doctype html>\n"
        b"<html><head><title>chardet backtracking test</title></head>\n"
        b"<body><h1>chardet backtracking test</h1>\n"
        b"<p>The test data is hidden in the page source.</p>\n"
        b"<!-- invalid UTF-8 byte: "
        + bytes([0xFF])
        + b" -->\n<div hidden>\n"
    )
    after = b"\n</div>\n</body></html>\n"
    return before + b"A" * letters + after


def serve(payload: bytes, filename: str, host: str, port: int) -> None:
    route = "/" + filename

    class Handler(BaseHTTPRequestHandler):
        def do_GET(self) -> None:
            if urlsplit(self.path).path != route:
                self.send_error(404)
                return
            self.send_response(200)
            # No Content-Type or charset: Response.encoding should be None.
            self.send_header("Content-Length", str(len(payload)))
            self.send_header("Cache-Control", "no-store")
            self.end_headers()
            self.wfile.write(payload)

    with ThreadingHTTPServer((host, port), Handler) as server:
        print(f"Serving http://{host}:{server.server_port}{route}", flush=True)
        try:
            server.serve_forever()
        except KeyboardInterrupt:
            print("\nStopped.")


def main() -> None:
    parser = argparse.ArgumentParser(description=__doc__)
    parser.add_argument("--letters", type=int, default=8000,
                        help="number of consecutive A bytes (default: 8000)")
    parser.add_argument("--output", type=Path,
                        default=Path("chardet_backtracking_repro.html"))
    parser.add_argument("--serve", action="store_true",
                        help="serve the generated file without Content-Type")
    parser.add_argument("--host", default="0.0.0.0")
    parser.add_argument("--port", type=int, default=8081)
    args = parser.parse_args()

    if not 1 <= args.letters <= 1_000_000:
        parser.error("--letters must be between 1 and 1000000")
    if not 0 <= args.port <= 65535:
        parser.error("--port must be between 0 and 65535")
    if args.output.name != str(args.output) or args.output.name in ("", ".", ".."):
        parser.error("--output must be a filename in the current directory")

    payload = make_page(args.letters)
    args.output.write_bytes(payload)
    print(f"Wrote {args.output} ({len(payload)} bytes; {args.letters} consecutive A bytes)",
          flush=True)
    if args.serve:
        serve(payload, args.output.name, args.host, args.port)


if __name__ == "__main__":
    main()

时间延迟测试脚本.py:

import requests
import time

url = 'http://127.0.0.1:8081/chardet_backtracking_repro.html'
r = requests.get(url, timeout=10)

print("status:", r.status_code, "url:", r.url)
print("bytes:", len(r.content))
print("Content-Type:", r.headers.get("Content-Type"))
print("encoding:", r.encoding)
print("detector:", requests.compat.chardet.__name__)
print("detector version:", requests.compat.chardet.__version__)


started = time.perf_counter()
content = r.text  # 预期在 chardet 5.2.0 中长时间占用 CPU
print("elapsed:", time.perf_counter() - started)

先运行python3 generate_chardet_page.py --letters 32000 --serve。然后运行时间延迟测试脚本.py,观察响应时间,即可复现。

规避做法

r = requests.get(url, timeout=10)
data = r.content()
text = data.decode("utf-8", errors="replace")
文章目录