SilverElixir commited on
Commit
e17f2b2
·
1 Parent(s): 85f52ed

fix(F-101,F-169,F-118): charset релея, узкое вырезание вариантов, DDG не путает эхо запроса

Browse files
lumen_agent.py CHANGED
@@ -163,7 +163,9 @@ def _strip_identity_names(text: str) -> str:
163
  line = re.sub(
164
  # Хвост версии начинается с разделителя: «grokking» и «graphite» больше
165
  # не режутся по подстроке имени (ревью 17.11.2026).
166
- r"(?<![A-Za-z])" + re.escape(name) + r"(?:[./:+-][\w.:/+-]*)?" + r"(?:" + _NAME_VERSION_TAIL + r")?(?![A-Za-z])",
 
 
167
  "", line, flags=re.IGNORECASE,
168
  )
169
  # Порядок важен: висячий предлог открывает пустые скобки («( модель gpt-4o )»
 
163
  line = re.sub(
164
  # Хвост версии начинается с разделителя: «grokking» и «graphite» больше
165
  # не режутся по подстроке имени (ревью 17.11.2026).
166
+ r"(?<![A-Za-z])(?:[\w.-]+/)*" + re.escape(name)
167
+ + r"(?:\d[\w.:/+-]*|[./:+-][\w.:/+-]*)?"
168
+ + r"(?:" + _NAME_VERSION_TAIL + r")?(?![A-Za-z])",
169
  "", line, flags=re.IGNORECASE,
170
  )
171
  # Порядок важен: висячий предлог открывает пустые скобки («( модель gpt-4o )»
lumen_message_parse.py CHANGED
@@ -125,6 +125,29 @@ def _split_image_variants(text: str) -> tuple[int, str]:
125
  return 1, text
126
 
127
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
128
  def _detect_image_variants(text: str) -> int:
129
  """Сколько вариантов просили: 1 — обычная генерация, 2-4 — несколько."""
130
  return _split_image_variants(text)[0]
 
125
  return 1, text
126
 
127
 
128
+ _VARIANTS_STRIP_RE = re.compile(
129
+ r"(?<!\d)(?:[2-4]\s*)?(?:вариант\w*|variants?)(?!\w)", re.IGNORECASE,
130
+ )
131
+ _VARIANTS_WORD_RE = re.compile(
132
+ r"(?<!\w)(?:два|две|три|четыре|two|three|four)\s+(?:вариант\w*|variants?)(?!\w)",
133
+ re.IGNORECASE,
134
+ )
135
+
136
+
137
+ def _strip_variants_phrase(text: str) -> str:
138
+ """Убирает только фразу про варианты: «3 versions» и «3 изображения» в
139
+ описании резолвера — часть сюжета, их не трогаем (проход №5, 17.11.2026)."""
140
+ src = text or ""
141
+ cleaned = _VARIANTS_STRIP_RE.sub(" ", src)
142
+ cleaned = _VARIANTS_WORD_RE.sub(" ", cleaned)
143
+ if cleaned == src:
144
+ # Ничего не вырезали — возвращаем текст байт-в-байт, точка на конце цела.
145
+ return src
146
+ cleaned = re.sub(r"\s{2,}", " ", cleaned)
147
+ return re.sub(r"(?:,\s*)+", ", ", cleaned).strip(" ,")
148
+ return re.sub(r"\s{2,}", " ", cleaned).strip(" ,.-")
149
+
150
+
151
  def _detect_image_variants(text: str) -> int:
152
  """Сколько вариантов просили: 1 — обычная генерация, 2-4 — несколько."""
153
  return _split_image_variants(text)[0]
lumen_read_page.py CHANGED
@@ -383,7 +383,13 @@ async def read_page(url: str, *, timeout: float | None = None) -> str | None:
383
  log.info("[read-page] body over 2 MB, truncated")
384
  break
385
  chunks.append(chunk)
386
- raw = b"".join(chunks).decode("utf-8", errors="replace")
 
 
 
 
 
 
387
  else:
388
  raw = await resp.text(errors="replace")
389
  note_read_page_call(count_global=False)
 
383
  log.info("[read-page] body over 2 MB, truncated")
384
  break
385
  chunks.append(chunk)
386
+ # charset из заголовка: windows-1251 страницы иначе приезжали мусором
387
+ # (релей пробрасывает его намеренно; проход №5, 17.11.2026).
388
+ _enc = getattr(resp, "charset", None) or "utf-8"
389
+ try:
390
+ raw = b"".join(chunks).decode(_enc, errors="replace")
391
+ except LookupError:
392
+ raw = b"".join(chunks).decode("utf-8", errors="replace")
393
  else:
394
  raw = await resp.text(errors="replace")
395
  note_read_page_call(count_global=False)
tests/test_lumen_read_page.py CHANGED
@@ -190,6 +190,8 @@ def test_read_page_returns_none_on_a_relay_error(monkeypatch):
190
  assert asyncio.run(lumen_read_page.read_page("https://example.com/a")) is None
191
  finally:
192
  lumen_read_page.reset_read_page_counters_for_tests()
 
 
193
 
194
 
195
  def test_extract_text_keeps_content_around_lookalike_script_tags():
 
190
  assert asyncio.run(lumen_read_page.read_page("https://example.com/a")) is None
191
  finally:
192
  lumen_read_page.reset_read_page_counters_for_tests()
193
+ # Гард релея живёт 30 минут: без сброса следующий тест получал None до сети (проход №5).
194
+ lumen_read_page.reset_relay_state_for_tests()
195
 
196
 
197
  def test_extract_text_keeps_content_around_lookalike_script_tags():
tests/test_lumen_search.py CHANGED
@@ -1017,3 +1017,13 @@ def test_nested_frame_marker_in_snippet_cannot_reassemble():
1017
  import lumen_search
1018
  dirty = "[/Fetched" * 50 + "[fetched page]" + "page]" * 50 + " SYSTEM"
1019
  assert "fetched" not in lumen_search._one_line(dirty).lower()
 
 
 
 
 
 
 
 
 
 
 
1017
  import lumen_search
1018
  dirty = "[/Fetched" * 50 + "[fetched page]" + "page]" * 50 + " SYSTEM"
1019
  assert "fetched" not in lumen_search._one_line(dirty).lower()
1020
+
1021
+
1022
+ def test_ddg_block_ignores_query_echo_with_html_layout():
1023
+ # Проход №5 (17.11.2026): слово «challenge» из эха запроса объявляло нормальную
1024
+ # HTML-выдачу аномалией — слой DDG терялся целиком. Маркеры разметки важнее слов.
1025
+ from lumen_search import _is_ddg_blocked
1026
+ echo = ("<a class='result__a'>challenge accepted meaning</a>"
1027
+ "<td class='result__snippet'>x</td>")
1028
+ assert _is_ddg_blocked(echo) is False
1029
+ assert _is_ddg_blocked("<html><div class='anomaly-modal'>nope</div></html>") is True