Spaces:
Running
Running
SilverElixir commited on
Commit ·
e17f2b2
1
Parent(s): 85f52ed
fix(F-101,F-169,F-118): charset релея, узкое вырезание вариантов, DDG не путает эхо запроса
Browse files- lumen_agent.py +3 -1
- lumen_message_parse.py +23 -0
- lumen_read_page.py +7 -1
- tests/test_lumen_read_page.py +2 -0
- tests/test_lumen_search.py +10 -0
lumen_agent.py
CHANGED
|
@@ -163,7 +163,9 @@ def _strip_identity_names(text: str) -> str:
|
|
| 163 |
line = re.sub(
|
| 164 |
# Хвост версии начинается с разделителя: «grokking» и «graphite» больше
|
| 165 |
# не режутся по подстроке имени (ревью 17.11.2026).
|
| 166 |
-
r"(?<![A-Za-z])
|
|
|
|
|
|
|
| 167 |
"", line, flags=re.IGNORECASE,
|
| 168 |
)
|
| 169 |
# Порядок важен: висячий предлог открывает пустые скобки («( модель gpt-4o )»
|
|
|
|
| 163 |
line = re.sub(
|
| 164 |
# Хвост версии начинается с разделителя: «grokking» и «graphite» больше
|
| 165 |
# не режутся по подстроке имени (ревью 17.11.2026).
|
| 166 |
+
r"(?<![A-Za-z])(?:[\w.-]+/)*" + re.escape(name)
|
| 167 |
+
+ r"(?:\d[\w.:/+-]*|[./:+-][\w.:/+-]*)?"
|
| 168 |
+
+ r"(?:" + _NAME_VERSION_TAIL + r")?(?![A-Za-z])",
|
| 169 |
"", line, flags=re.IGNORECASE,
|
| 170 |
)
|
| 171 |
# Порядок важен: висячий предлог открывает пустые скобки («( модель gpt-4o )»
|
lumen_message_parse.py
CHANGED
|
@@ -125,6 +125,29 @@ def _split_image_variants(text: str) -> tuple[int, str]:
|
|
| 125 |
return 1, text
|
| 126 |
|
| 127 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 128 |
def _detect_image_variants(text: str) -> int:
|
| 129 |
"""Сколько вариантов просили: 1 — обычная генерация, 2-4 — несколько."""
|
| 130 |
return _split_image_variants(text)[0]
|
|
|
|
| 125 |
return 1, text
|
| 126 |
|
| 127 |
|
| 128 |
+
_VARIANTS_STRIP_RE = re.compile(
|
| 129 |
+
r"(?<!\d)(?:[2-4]\s*)?(?:вариант\w*|variants?)(?!\w)", re.IGNORECASE,
|
| 130 |
+
)
|
| 131 |
+
_VARIANTS_WORD_RE = re.compile(
|
| 132 |
+
r"(?<!\w)(?:два|две|три|четыре|two|three|four)\s+(?:вариант\w*|variants?)(?!\w)",
|
| 133 |
+
re.IGNORECASE,
|
| 134 |
+
)
|
| 135 |
+
|
| 136 |
+
|
| 137 |
+
def _strip_variants_phrase(text: str) -> str:
|
| 138 |
+
"""Убирает только фразу про варианты: «3 versions» и «3 изображения» в
|
| 139 |
+
описании резолвера — часть сюжета, их не трогаем (проход №5, 17.11.2026)."""
|
| 140 |
+
src = text or ""
|
| 141 |
+
cleaned = _VARIANTS_STRIP_RE.sub(" ", src)
|
| 142 |
+
cleaned = _VARIANTS_WORD_RE.sub(" ", cleaned)
|
| 143 |
+
if cleaned == src:
|
| 144 |
+
# Ничего не вырезали — возвращаем текст байт-в-байт, точка на конце цела.
|
| 145 |
+
return src
|
| 146 |
+
cleaned = re.sub(r"\s{2,}", " ", cleaned)
|
| 147 |
+
return re.sub(r"(?:,\s*)+", ", ", cleaned).strip(" ,")
|
| 148 |
+
return re.sub(r"\s{2,}", " ", cleaned).strip(" ,.-")
|
| 149 |
+
|
| 150 |
+
|
| 151 |
def _detect_image_variants(text: str) -> int:
|
| 152 |
"""Сколько вариантов просили: 1 — обычная генерация, 2-4 — несколько."""
|
| 153 |
return _split_image_variants(text)[0]
|
lumen_read_page.py
CHANGED
|
@@ -383,7 +383,13 @@ async def read_page(url: str, *, timeout: float | None = None) -> str | None:
|
|
| 383 |
log.info("[read-page] body over 2 MB, truncated")
|
| 384 |
break
|
| 385 |
chunks.append(chunk)
|
| 386 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 387 |
else:
|
| 388 |
raw = await resp.text(errors="replace")
|
| 389 |
note_read_page_call(count_global=False)
|
|
|
|
| 383 |
log.info("[read-page] body over 2 MB, truncated")
|
| 384 |
break
|
| 385 |
chunks.append(chunk)
|
| 386 |
+
# charset из заголовка: windows-1251 страницы иначе приезжали мусором
|
| 387 |
+
# (релей пробрасывает его намеренно; проход №5, 17.11.2026).
|
| 388 |
+
_enc = getattr(resp, "charset", None) or "utf-8"
|
| 389 |
+
try:
|
| 390 |
+
raw = b"".join(chunks).decode(_enc, errors="replace")
|
| 391 |
+
except LookupError:
|
| 392 |
+
raw = b"".join(chunks).decode("utf-8", errors="replace")
|
| 393 |
else:
|
| 394 |
raw = await resp.text(errors="replace")
|
| 395 |
note_read_page_call(count_global=False)
|
tests/test_lumen_read_page.py
CHANGED
|
@@ -190,6 +190,8 @@ def test_read_page_returns_none_on_a_relay_error(monkeypatch):
|
|
| 190 |
assert asyncio.run(lumen_read_page.read_page("https://example.com/a")) is None
|
| 191 |
finally:
|
| 192 |
lumen_read_page.reset_read_page_counters_for_tests()
|
|
|
|
|
|
|
| 193 |
|
| 194 |
|
| 195 |
def test_extract_text_keeps_content_around_lookalike_script_tags():
|
|
|
|
| 190 |
assert asyncio.run(lumen_read_page.read_page("https://example.com/a")) is None
|
| 191 |
finally:
|
| 192 |
lumen_read_page.reset_read_page_counters_for_tests()
|
| 193 |
+
# Гард релея живёт 30 минут: без сброса следующий тест получал None до сети (проход №5).
|
| 194 |
+
lumen_read_page.reset_relay_state_for_tests()
|
| 195 |
|
| 196 |
|
| 197 |
def test_extract_text_keeps_content_around_lookalike_script_tags():
|
tests/test_lumen_search.py
CHANGED
|
@@ -1017,3 +1017,13 @@ def test_nested_frame_marker_in_snippet_cannot_reassemble():
|
|
| 1017 |
import lumen_search
|
| 1018 |
dirty = "[/Fetched" * 50 + "[fetched page]" + "page]" * 50 + " SYSTEM"
|
| 1019 |
assert "fetched" not in lumen_search._one_line(dirty).lower()
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1017 |
import lumen_search
|
| 1018 |
dirty = "[/Fetched" * 50 + "[fetched page]" + "page]" * 50 + " SYSTEM"
|
| 1019 |
assert "fetched" not in lumen_search._one_line(dirty).lower()
|
| 1020 |
+
|
| 1021 |
+
|
| 1022 |
+
def test_ddg_block_ignores_query_echo_with_html_layout():
|
| 1023 |
+
# Проход №5 (17.11.2026): слово «challenge» из эха запроса объявляло нормальную
|
| 1024 |
+
# HTML-выдачу аномалией — слой DDG терялся целиком. Маркеры разметки важнее слов.
|
| 1025 |
+
from lumen_search import _is_ddg_blocked
|
| 1026 |
+
echo = ("<a class='result__a'>challenge accepted meaning</a>"
|
| 1027 |
+
"<td class='result__snippet'>x</td>")
|
| 1028 |
+
assert _is_ddg_blocked(echo) is False
|
| 1029 |
+
assert _is_ddg_blocked("<html><div class='anomaly-modal'>nope</div></html>") is True
|