Skip to content

P0: mem-metrics.sql измеряет v1/стоковые таблицы — дайджест 24ч по линии v2 всегда пустой #190

Closed

Description

@kobzevvv

Измерения v2 считаются по мёртвым таблицам — все предыдущие циклы дайджеста недостоверны.

Симптом

~/.opencode/scripts/mem-metrics.sql (8 запросов: сессии/токены/кэш, tool-вызовы, cache-mark, intent-сигналы, компактификация) даёт пустое окно 24ч по всем запросам:

sqlite3 ~/.local/share/opencode/opencode-memory-context-v1.db < ~/.opencode/scripts/mem-metrics.sql
# -> строки 1,2,3,8: пусто; 4,5: calls_24h = 0; 6: одна строка от 2026-10-12; 7: 0

Проверено и на живой БД ~/.local/share/opencode/opencode.db — там скрипт тоже даёт нули по 24ч.

Причина (два слоя)

  1. Схема не та. Скрипт читает стоковые session, part, message, а линия v2 пишет в session_v2 + session_message:

    таблица строк max(time_created)
    session (сток) 148 2026-10-15 02:01
    part/message (сток) 39 176 / 9 629 2026-10-15 22:10
    session_v2 (v2) 476 2026-10-21 11:36
    session_message (v2) 25 355 2026-10-21 11:24
  2. БД устарела. Предписанный opencode-memory-context-v1.db — последняя запись 2026-10-12 14:34 (на 9 суток старше линии v2).

Следствие: tool-вызовы в v2 лежат внутри JSON session_message.data -> $.content[] ({"type":"tool","name":"shell",...}), а не отдельными строками part. Текущий JOIN part p JOIN message m их физически не видит.

Что нужно

  • Переписать mem-metrics.sql на session_v2 / session_message (для tool-вызовов — json_each(m.data,'$.content') с m.type='assistant' и json_extract(j.value,'$.type')='tool').
  • Усечение мерять по json_extract(j.value,'$.state.metadata.truncated') — это единственный признак усечения в v2.
  • Указать правильную БД (opencode.db) и убрать opencode-memory-context-v1.db из инструкции запуска.
  • Включить запуск скрипта в цепочку приёмки (run-selftest.sh) — сейчас он не вызывается вообще, поэтому расхождение никто не замечал.
  • Добавить в трейлер хотя бы одно сравнение (например «сессий за 24ч > 0»), чтобы пустой дашборд ловился на следующем же прогоне.

Рабочий пересчёт (проверен вручную, 2026-10-21T08:41Z)

sessions_24h=296  tok_in=15 106 485  cache_r=339 291 146  hit=95.7%  cost=$0.00 (колонка мертва с 2026-10-12)
tool_calls_24h=8805  mem(search=12, put=8, get=0)=20 (0.23%)  truncated=2302 в 69 сессиях

Источник: STUDY research-20261021-1138 (docs-репо gpt-mem/opencode-mem-architecture, коммит 3291149), п.1 и «Metrics digest».

Activity

  1. kobzevvv commented on Oct 22, 2026

    @kobzevvv
    CollaboratorAuthor

    groom: статус (2026-10-22) — частично сделано, до закрытия не хватает одного шага.

    Что уже есть: chain/mem-metrics-v2.sh (и его копия в ~/.opencode/scripts/) переписан на v2-схему — читает session_v2/session_message, tool-вызовы через json_each(json_extract(m.data,'$.content')) (стр. 48, 77–78), усечение/компактификацию по признакам в данных (стр. 105–107). Старый mem-metrics.sql (2026-10-11) лежит рядом и продолжает мерить v1/стоковые таблицы.

    Что не сделано (проверено на живой машине):

    • скрипт не вызывается из цепочки приёмки: grep -n 'mem-metrics' run-selftest.sh → 0 совпадений (и в ~/.opencode/scripts/run-selftest.sh, и в chain/run-selftest.sh); run-mem-chain.sh его тоже не зовёт. Пустой дашборд по-прежнему никто не заметит — это и есть суть issue;
    • нет «трейлерного» сравнения (например «сессий за 24ч > 0»), чтобы пустой дашборд ловился на следующем же прогоне;
    • mem-metrics.sql (v1) не помечен как устаревший — по старой инструкции он запускается и даёт нули.

    Оставляю открытым: достаточно переключить вызов в run-selftest.sh на mem-metrics-v2.sh и добавить одно сравнение-трейлер.

  2. kobzevvv commented on Oct 23, 2026

    @kobzevvv
    CollaboratorAuthor

    groom: статус (2026-10-24) — по сути без изменений; скрипт обновился, вызов в цепочке — нет.

    chain/mem-metrics-v2.sql переписан 2026-10-23 (5 запросов по session_v2 / session_message / mem_record), mem-metrics-v2.sh — по-прежнему v2-схема. Но grep -n mem-metrics ~/.opencode/scripts/run-selftest.sh → 0 совпадений: скрипт не вызывается из цепочки приёмки, трейлер-сравнения («сессий за 24ч > 0») нет, mem-metrics.sql (v1) не помечен устаревшим. Оставляю открытым.

  3. kobzevvv commented on Oct 24, 2026

    @kobzevvv
    CollaboratorAuthor

    groom: статус (2026-10-24) — частично закрыто, 2 из 5 пунктов остаются.

    Сделано:

    • п.3 (правильная БД) — chain/mem-metrics-v2.sql ходит в ~/.local/share/opencode/opencode.db и по session_v2; opencode-memory-context-v1.db из инструкции убран.
    • п.4 (вызов из цепочки) — шаг 2.5 МЕТРИКИ теперь есть и в задеплоенном, и в каноническом chain/run-mem-chain.sh: step_script metrics "bash $SCRIPTS/mem-metrics-v2.sh", гоняется всегда (read-only), в том числе при упавшем selftest. Раньше канонический скрипт разошёлся с задеплоенным и метрики не вызывал вовсе (docs-репо dc8f34f).
    • п.5 (трейлер) — mem-metrics-v2.sh печатает OK: sessions_24h=N > 0 / FAIL: sessions_24h=0 — empty window, metrics unreliable.

    Осталось (поэтому не закрываю):

    • п.1 — mem-metrics-v2.sql меряет только расходы по session_v2 (sessions/tok_in/tok_out/cache_r + топ-10 + 7 дней). Tool-вызовов нет: json_each(m.data,'$.content') с m.type='assistant' и json_extract(j.value,'$.type')='tool' не написан, поэтому строка «tool_calls_24h / mem(search/put/get)» из рабочего пересчёта не воспроизводится.
    • п.2 — усечение по json_extract(j.value,'$.state.metadata.truncated') не меряется.
    • п.5 (полностью) — трейлер проверяет только «сессий > 0»; сравнения по tool-вызовам/усечению не будет, пока нет п.1–2.

    Чеклист обновлён: п.3–5 отмечены, п.1–2 оставлены открытыми.

  4. kobzevvv commented on Oct 24, 2026

    @kobzevvv
    CollaboratorAuthor

    Закрываю: измерительный контур ожил и проверен на живой БД.

    bash ~/.opencode/scripts/mem-metrics-v2.sh (read-only, вызывается шагом metrics в run-mem-chain.sh, строка 161) на 2026-10-24 отдаёт непустые секции:

    == 1. Tokens & cost (window=86400s) — union all channels ==
    session_v2 (main opencode.db)  157  49 786 187  1 295 097  318 657 166  0  0.0
    cache_hit_pct = 86.5
    
    == 2. Memory tool calls (24h) — v2 schema session_message.content[]
    get_tool_call_details|1182   put_in_operational_memory|5   search_operational_memory|3
    
    == 5. Compaction & tool-output truncation (v2)
    compaction msgs 7d|160   sessions total 7d|1201   truncated tool calls 24h|2808
    
    == 6. Provider cache mark ledger
    ladder|2560|3|c8cc916dd47ab767|2026-10-24 11:01:14
    

    Что сделано: chain/mem-metrics-v2.sql + mem-metrics-v2.sh читают session_v2/session_message (tool-вызовы извлекаются из content[], truncation — из metadata.truncated), шаг metrics встроен в цепочку; в agent-benchmarks collectOpencodeMetrics переведён на те же таблицы (коммит 33694dd, запушен).

    Осталось мёртвым (не в этом issue): секция 4 «Intent signals» пуста — детектор интента в v2 не пишет, sessions.time_compacting = 0/1201. Это отдельная задача.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions