notebooks/luke-scribe-colab.ipynb

@@ -171,7 +171,7 @@
    "execution_count": null,
    "metadata": {},
    "outputs": [],
-   "source": "# 13) 벤치마크 — 샘플 manifest 사용 (선택, 시간 소요)\n# 간단 manifest 생성\nimport yaml\nmanifest = {\n    'name': 'colab-quick',\n    'dataset_version': '1.0',\n    'language': 'ko',\n    'targets': {'entity_preservation': 0.95, 'cer': 0.15},\n    'clips': [\n        {'name': 'ko-en-tech', 'audio_path': 'samples/colab-ko-en.mp3',\n         'duration_sec': 10.5, 'entities': ['vLLM', 'Kubernetes', 'GPU']},\n    ],\n}\nyaml.safe_dump(manifest, open('/content/manifest.yaml', 'w'))\n\n# 실행 (기본: turbo만 → 빠름)\n!luke-scribe bench /content/manifest.yaml --models large-v3-turbo --device auto --repeats 2 --output /content/bench-report.json 2>&1 | tail -20\n"
+   "source": "# 13) 벤치마크 — 샘플 manifest 사용 (선택, 시간 소요)\n# entities는 {canonical, surface, start_char, end_char} dict여야 한다\n# (문자열이면 entity_retention이 .get() 호출에 실패해 clip이 실패 처리됨)\nimport yaml\n\nREF_TEXT = '오늘은 vLLM 서버를 Kubernetes 클러스터에 배포하는 방법을 설명합니다. GPU 가속 추론으로 대기 시간을 줄일 수 있습니다.'\nwith open('/content/reference.txt', 'w', encoding='utf-8') as f:\n    f.write(REF_TEXT)\n\nentities = []\nfor name in ('vLLM', 'Kubernetes', 'GPU'):\n    idx = REF_TEXT.index(name)\n    entities.append({\n        'canonical': name, 'surface': name,\n        'start_char': idx, 'end_char': idx + len(name),\n    })\n\nmanifest = {\n    'name': 'colab-quick',\n    'dataset_version': '1.0',\n    'language': 'ko',\n    'targets': {'entity_preservation': 0.95, 'cer': 0.15},\n    'clips': [\n        {'id': 'ko-en-tech', 'audio_path': 'samples/colab-ko-en.mp3',\n         'reference_path': '/content/reference.txt',\n         'duration_sec': 10.5, 'entities': entities},\n    ],\n}\nyaml.safe_dump(manifest, open('/content/manifest.yaml', 'w'))\n\n# 실행 (기본: turbo만 → 빠름)\n!luke-scribe bench /content/manifest.yaml --models large-v3-turbo --device auto --repeats 2 --output /content/bench-report.json 2>&1 | tail -20\n"
   },
   {
    "cell_type": "markdown",

scripts/build_colab_notebook.py

@@ -332,16 +332,31 @@ def cells() -> list[dict]:
         ),
         code(
             "# 13) 벤치마크 — 샘플 manifest 사용 (선택, 시간 소요)\n"
-            "# 간단 manifest 생성\n"
+            "# entities는 {canonical, surface, start_char, end_char} dict여야 한다\n"
+            "# (문자열이면 entity_retention이 .get() 호출에 실패해 clip이 실패 처리됨)\n"
             "import yaml\n"
+            "\n"
+            "REF_TEXT = '오늘은 vLLM 서버를 Kubernetes 클러스터에 배포하는 방법을 설명합니다. GPU 가속 추론으로 대기 시간을 줄일 수 있습니다.'\n"
+            "with open('/content/reference.txt', 'w', encoding='utf-8') as f:\n"
+            "    f.write(REF_TEXT)\n"
+            "\n"
+            "entities = []\n"
+            "for name in ('vLLM', 'Kubernetes', 'GPU'):\n"
+            "    idx = REF_TEXT.index(name)\n"
+            "    entities.append({\n"
+            "        'canonical': name, 'surface': name,\n"
+            "        'start_char': idx, 'end_char': idx + len(name),\n"
+            "    })\n"
+            "\n"
             "manifest = {\n"
             "    'name': 'colab-quick',\n"
             "    'dataset_version': '1.0',\n"
             "    'language': 'ko',\n"
             "    'targets': {'entity_preservation': 0.95, 'cer': 0.15},\n"
             "    'clips': [\n"
-            "        {'name': 'ko-en-tech', 'audio_path': 'samples/colab-ko-en.mp3',\n"
+            "        {'id': 'ko-en-tech', 'audio_path': 'samples/colab-ko-en.mp3',\n"
-            "         'duration_sec': 10.5, 'entities': ['vLLM', 'Kubernetes', 'GPU']},\n"
+            "         'reference_path': '/content/reference.txt',\n"
+            "         'duration_sec': 10.5, 'entities': entities},\n"
             "    ],\n"
             "}\n"
             "yaml.safe_dump(manifest, open('/content/manifest.yaml', 'w'))\n"