File size: 8,170 Bytes
2afacb9
 
 
 
 
 
aa69981
 
 
2afacb9
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
aa69981
 
 
 
 
2afacb9
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
"""Живой замер агентного цикла: что модель просит искать, за сколько шагов и что находит.

Меряет не «пришлился ли блок», а поведение надстройки в бою: число планирующих
вызовов, число и формулировки запросов, долинувших источников, время фазы и токены.
Ключ только из окружения или .env, значение нигде не печатается.
Запуск:  python eval/agent_loop_probe.py
Переменные прогона: PROBE_EFFORT (например, high — уровень фиксируется, и вместе с
ним потолок поисков становится равен двум: проверяется, уточняет ли модель запрос
после первой выдачи) и LUMEN_ENV_DIR (где искать .env при запуске из worktree).
"""
from __future__ import annotations

import asyncio
import json
import os
import sys
import time
from pathlib import Path

ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT))
# .env живёт только в общем checkout: worktree его не получает (gitignore), а
# импорты берутся из worktree, где лежит проверяемый код.
ENV_FILE = Path(os.getenv("LUMEN_ENV_DIR", r"C:/Users/egork/Documents/Default Project/Lumen")) / ".env"

BASE_DEFAULT = "https://api.munito.ai/inference/v1"

# Вопросы, где ответ обязан быть датированным: разные намерения из живой выдачи,
# а не одна тема. Первый блок — то, что ловит детектор свежести.
QUESTIONS = [
    "кто сейчас главный тренер сборной Беларуси по футболу",
    "какая ключевая ставка ЦБ России",
    "сколько стоит билет на поезд Минск Москва",
    "когда вышла Claude Opus 5.5",
    "погода в Гомеле на завтра",
    "курс доллара к российскому рублю сегодня",
    "кто выиграл Лигу наций по футболу",
    "какая сейчас версия Blender",
    "сколько серий в новом сезоне The Bear",
    "кто возглавляет NVIDIA сейчас",
    "какой процессор лучше купить для игр в 2026",
    "последние новости Беларуси за сегодня",
]


def _env(name: str, default: str = "") -> str:
    value = (os.getenv(name, "") or "").strip()
    if value:
        return value
    env_file = ENV_FILE
    if not env_file.exists():
        return default
    for line in env_file.read_text(encoding="utf-8", errors="replace").splitlines():
        line = line.strip().lstrip("")
        if line.startswith(f"{name}="):
            return line.split("=", 1)[1].strip().strip('"').strip("'")
    return default


def _payload_stats() -> dict:
    """Сколько запросов и токенов ушло: считаем по обёртке _munito_request."""
    return {"requests": 0, "prompt": 0, "completion": 0, "thinking": 0, "errors": 0}


async def main() -> None:
    key = _env("MUNITO_API_KEY")
    if not key:
        print("НЕТ КЛЮЧА MUNITO_API_KEY — выхожу")
        return

    import aiohttp

    import bot
    import lumen_agent
    from lumen_router_config import _MUNITO_ORDER, agent_max_searches, pick_reasoning_effort

    base = _env("MUNITO_BASE_URL", BASE_DEFAULT).rstrip("/")
    bot.MUNITO_API_KEY = key
    bot.MUNITO_BASE_URL = base
    stats = _payload_stats()

    async def fake_request(path: str, method: str = "GET", *, json_body: dict | None = None, deadline=None):
        stats["requests"] += 1
        timeout = None if deadline is None else max(0.5, deadline - time.monotonic())
        async with aiohttp.ClientSession() as session:
            async with session.post(
                f"{base}/chat/completions",
                headers={"Authorization": f"Bearer {key}", "Content-Type": "application/json"},
                json=json_body, timeout=aiohttp.ClientTimeout(total=timeout or 60.0, connect=15.0),
            ) as resp:
                raw = await resp.text()
                if resp.status >= 400:
                    stats["errors"] += 1
                    raise bot.MunitoAPIError(f"HTTP {resp.status}: {raw[:160]}", status_code=resp.status)
                data = json.loads(raw)
        usage = data.get("usage") or {}
        stats["prompt"] += int(usage.get("prompt_tokens") or 0)
        stats["completion"] += int(usage.get("completion_tokens") or 0)
        stats["thinking"] += int(((usage.get("completion_tokens_details") or {}).get("reasoning_tokens")) or 0)
        return data

    async def fake_build(chat_id, user_text, model_id, *, history_meta=None, current_parts=None):
        # Тот же системный текст, что уходит в бой, но без состояния чата и фото:
        # замеряется цикл, а не сборка истории.
        return [{"role": "system", "content": bot.get_system_prompt(model_id)},
                {"role": "user", "content": user_text}]

    bot._munito_request = fake_request
    bot._build_openai_turn_messages = fake_build

    head = _MUNITO_ORDER[0]
    print(f"голова: {head} · хост {base} · вопросов {len(QUESTIONS)}")
    rows = []
    for question in QUESTIONS:
        # PROBE_EFFORT фиксирует уровень, а с ним и потолок поисков: при high
        # лимит равен двум, и прогон отвечает на вопрос «уточняет ли модель
        # запрос, увидев выдачу» (после правки 12.11.2026).
        effort = (os.getenv("PROBE_EFFORT", "").strip()
                  or pick_reasoning_effort(question, needs_freshness=True))
        limit = agent_max_searches(effort)
        t0 = time.monotonic()
        turn = await lumen_agent.run_search_turn(
            chat_id=1, user_prompt=question, clean_prompt=question, model_id=head,
            effort=effort, max_searches=limit, status=None,
            deadline=time.monotonic() + 30.0, history_meta=None,
        )
        dt = time.monotonic() - t0
        rows.append({
            "q": question[:38], "effort": effort, "limit": limit, "sec": round(dt, 2),
            "searches": turn.searches, "queries": turn.queries, "snippets": len(turn.snippets),
            "failed": turn.failed, "preambles": turn.preambles,
        })
        print(f"  {dt:5.2f}s effort={effort:6s} поиск={turn.searches} источников={len(turn.snippets):2d} "
              f"failed={turn.failed!s:5s} запросы={turn.queries}")
        await asyncio.sleep(1.5)

    print("\n=== сводка фазы ===")
    total = sum(r["sec"] for r in rows)
    searched = sum(1 for r in rows if r["searches"])
    with_sources = sum(1 for r in rows if r["snippets"])
    multi = sum(1 for r in rows if r["searches"] > 1)
    print(f"вопросов {len(rows)} · цикл сработал на {searched} · источники есть на {with_sources} "
          f"· больше одного поиска на {multi}")
    print(f"суммарное время фазы {total:.1f}s · среднее {total / len(rows):.2f}s на вопрос")
    print(f"запросов к провайдеру {stats['requests']} · ошибок {stats['errors']} · "
          f"токены in={stats['prompt']} out={stats['completion']} thinking={stats['thinking']}")
    per_request = (stats["prompt"] + stats["completion"]) // max(1, stats["requests"])
    print(f"средний токенов на запрос: {per_request}")


if __name__ == "__main__":
    sys.stdout.reconfigure(encoding="utf-8", errors="replace")
    asyncio.run(main())