Spaces:
Running
Running
File size: 8,170 Bytes
2afacb9 aa69981 2afacb9 aa69981 2afacb9 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 | """Живой замер агентного цикла: что модель просит искать, за сколько шагов и что находит.
Меряет не «пришлился ли блок», а поведение надстройки в бою: число планирующих
вызовов, число и формулировки запросов, долинувших источников, время фазы и токены.
Ключ только из окружения или .env, значение нигде не печатается.
Запуск: python eval/agent_loop_probe.py
Переменные прогона: PROBE_EFFORT (например, high — уровень фиксируется, и вместе с
ним потолок поисков становится равен двум: проверяется, уточняет ли модель запрос
после первой выдачи) и LUMEN_ENV_DIR (где искать .env при запуске из worktree).
"""
from __future__ import annotations
import asyncio
import json
import os
import sys
import time
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT))
# .env живёт только в общем checkout: worktree его не получает (gitignore), а
# импорты берутся из worktree, где лежит проверяемый код.
ENV_FILE = Path(os.getenv("LUMEN_ENV_DIR", r"C:/Users/egork/Documents/Default Project/Lumen")) / ".env"
BASE_DEFAULT = "https://api.munito.ai/inference/v1"
# Вопросы, где ответ обязан быть датированным: разные намерения из живой выдачи,
# а не одна тема. Первый блок — то, что ловит детектор свежести.
QUESTIONS = [
"кто сейчас главный тренер сборной Беларуси по футболу",
"какая ключевая ставка ЦБ России",
"сколько стоит билет на поезд Минск Москва",
"когда вышла Claude Opus 5.5",
"погода в Гомеле на завтра",
"курс доллара к российскому рублю сегодня",
"кто выиграл Лигу наций по футболу",
"какая сейчас версия Blender",
"сколько серий в новом сезоне The Bear",
"кто возглавляет NVIDIA сейчас",
"какой процессор лучше купить для игр в 2026",
"последние новости Беларуси за сегодня",
]
def _env(name: str, default: str = "") -> str:
value = (os.getenv(name, "") or "").strip()
if value:
return value
env_file = ENV_FILE
if not env_file.exists():
return default
for line in env_file.read_text(encoding="utf-8", errors="replace").splitlines():
line = line.strip().lstrip("")
if line.startswith(f"{name}="):
return line.split("=", 1)[1].strip().strip('"').strip("'")
return default
def _payload_stats() -> dict:
"""Сколько запросов и токенов ушло: считаем по обёртке _munito_request."""
return {"requests": 0, "prompt": 0, "completion": 0, "thinking": 0, "errors": 0}
async def main() -> None:
key = _env("MUNITO_API_KEY")
if not key:
print("НЕТ КЛЮЧА MUNITO_API_KEY — выхожу")
return
import aiohttp
import bot
import lumen_agent
from lumen_router_config import _MUNITO_ORDER, agent_max_searches, pick_reasoning_effort
base = _env("MUNITO_BASE_URL", BASE_DEFAULT).rstrip("/")
bot.MUNITO_API_KEY = key
bot.MUNITO_BASE_URL = base
stats = _payload_stats()
async def fake_request(path: str, method: str = "GET", *, json_body: dict | None = None, deadline=None):
stats["requests"] += 1
timeout = None if deadline is None else max(0.5, deadline - time.monotonic())
async with aiohttp.ClientSession() as session:
async with session.post(
f"{base}/chat/completions",
headers={"Authorization": f"Bearer {key}", "Content-Type": "application/json"},
json=json_body, timeout=aiohttp.ClientTimeout(total=timeout or 60.0, connect=15.0),
) as resp:
raw = await resp.text()
if resp.status >= 400:
stats["errors"] += 1
raise bot.MunitoAPIError(f"HTTP {resp.status}: {raw[:160]}", status_code=resp.status)
data = json.loads(raw)
usage = data.get("usage") or {}
stats["prompt"] += int(usage.get("prompt_tokens") or 0)
stats["completion"] += int(usage.get("completion_tokens") or 0)
stats["thinking"] += int(((usage.get("completion_tokens_details") or {}).get("reasoning_tokens")) or 0)
return data
async def fake_build(chat_id, user_text, model_id, *, history_meta=None, current_parts=None):
# Тот же системный текст, что уходит в бой, но без состояния чата и фото:
# замеряется цикл, а не сборка истории.
return [{"role": "system", "content": bot.get_system_prompt(model_id)},
{"role": "user", "content": user_text}]
bot._munito_request = fake_request
bot._build_openai_turn_messages = fake_build
head = _MUNITO_ORDER[0]
print(f"голова: {head} · хост {base} · вопросов {len(QUESTIONS)}")
rows = []
for question in QUESTIONS:
# PROBE_EFFORT фиксирует уровень, а с ним и потолок поисков: при high
# лимит равен двум, и прогон отвечает на вопрос «уточняет ли модель
# запрос, увидев выдачу» (после правки 12.11.2026).
effort = (os.getenv("PROBE_EFFORT", "").strip()
or pick_reasoning_effort(question, needs_freshness=True))
limit = agent_max_searches(effort)
t0 = time.monotonic()
turn = await lumen_agent.run_search_turn(
chat_id=1, user_prompt=question, clean_prompt=question, model_id=head,
effort=effort, max_searches=limit, status=None,
deadline=time.monotonic() + 30.0, history_meta=None,
)
dt = time.monotonic() - t0
rows.append({
"q": question[:38], "effort": effort, "limit": limit, "sec": round(dt, 2),
"searches": turn.searches, "queries": turn.queries, "snippets": len(turn.snippets),
"failed": turn.failed, "preambles": turn.preambles,
})
print(f" {dt:5.2f}s effort={effort:6s} поиск={turn.searches} источников={len(turn.snippets):2d} "
f"failed={turn.failed!s:5s} запросы={turn.queries}")
await asyncio.sleep(1.5)
print("\n=== сводка фазы ===")
total = sum(r["sec"] for r in rows)
searched = sum(1 for r in rows if r["searches"])
with_sources = sum(1 for r in rows if r["snippets"])
multi = sum(1 for r in rows if r["searches"] > 1)
print(f"вопросов {len(rows)} · цикл сработал на {searched} · источники есть на {with_sources} "
f"· больше одного поиска на {multi}")
print(f"суммарное время фазы {total:.1f}s · среднее {total / len(rows):.2f}s на вопрос")
print(f"запросов к провайдеру {stats['requests']} · ошибок {stats['errors']} · "
f"токены in={stats['prompt']} out={stats['completion']} thinking={stats['thinking']}")
per_request = (stats["prompt"] + stats["completion"]) // max(1, stats["requests"])
print(f"средний токенов на запрос: {per_request}")
if __name__ == "__main__":
sys.stdout.reconfigure(encoding="utf-8", errors="replace")
asyncio.run(main())
|