今回のゴール
第5回で、出典付きで答える社内FAQアシスタントが完成・公開できました。でも公開して終わりではありません。実際に使われると「答えにくい質問」「ちょっと違う回答」が必ず出てきます。今回は、それを見つけて直す“運用”の基本を身につけます。
💡 今回のゴール
- 利用ログを開いて、実際にどんな会話がされたかを確認できる
- アノテーション返信で「この質問にはこの回答」と固定の正解を教え込める
- ログ→修正→改善の“育てるサイクル”を回せるようになる
① 利用ログを見る
ボットの編集画面の上部メニューから ログ＆注釈 を開き、ログ タブを見ます。ここには実際に行われた会話が記録されていて、タイトル（最初の質問）、使った人（アカウントや匿名のエンドユーザーID）、メッセージ数、ユーザー評価などが一覧で確認できます。各行をクリックすると、会話の中身も読めます。
⚠️ Sandboxのログは30日まで
無料のSandboxプランでは、ログ履歴の保存は30日間です。それより前の会話は消えてしまうので、長期的に分析したい場合は注意してください（上位プランで保存期間が延びます）。なお、ログを見るだけならクレジットは消費しません。
② 間違いをその場で直す（アノテーション返信）
ログを見て「この質問には、いつも決まったこの内容を正確に答えてほしい」と思ったら、アノテーション返信の出番です。これは 「特定の質問が来たら、AIに考えさせず、登録した固定の回答をそのまま返す」仕組み。よくある質問の“模範解答”を固定したり、誤答の応急処置に使えます。
STEP 1：固定の質問と回答を登録する
注釈 タブを開き、注釈を追加 をクリック。質問と、それに対して必ず返したい回答を入力して 追加 します。今回は例として「問い合わせ窓口はどこですか？」に対する正確な窓口一覧を登録しました。
STEP 2：アノテーション返信をオンにする
登録しただけでは効きません。注釈タブの 注釈の返信 をオンにします。すると初期設定が開き、2つを決めます。
- スコア閾値（0.0〜1.0）… 登録した質問と「どれくらい似ていればヒットとみなすか」のきびしさ。1.0に近いほど“ほぼ同じ質問”だけに反応します（初期値は0.90）。
- 埋め込みモデル… 質問の“意味”を比べるために、登録した注釈をベクトル化するモデル。今回は軽い
text-embedding-3-smallを選びました。
保存して有効にする を押せば完了。以降、登録した質問に近い質問が来ると、AIに生成させず（＝ナレッジ検索もLLMも通さず）、登録した回答をそのまま即返します。
⚠️ Sandboxの注釈は10件まで
無料プランで登録できる注釈は10件までです。すべてのQ&Aを注釈で固定するのではなく、「特に重要・絶対に間違えたくない」質問だけに絞って使うのがコツです。残りは第4・5回のナレッジ（RAG）に任せましょう。
③ “育てる”運用サイクル
運用の基本サイクルはとてもシンプルです。プログラミングは一切不要で回せます。
| ステップ | やること |
|---|---|
| ① 見る | ログで、実際の質問と回答（うまくいかなかったもの）を確認する |
| ② 直す | 原因に応じて対処：資料の不足ならナレッジを追記、決まった正解を固定したいなら注釈に登録 |
| ③ 確かめる | もう一度同じ質問をして、改善を確認する |
これを繰り返すほど、ボットは“自社になじんだ”使えるアシスタントに育っていきます。
④ クレジットの確認
今回の操作でのクレジットは、ログの閲覧は0、注釈のベクトル化（埋め込み）でごく少量消費する程度です（軽い text-embedding-3-small を使用）。アノテーション返信がヒットした場合は、AIに生成させない分むしろLLMのクレジットを節約できる、という側面もあります。残量は 設定▸モデルプロバイダー▸クォータ で確認しておきましょう。
まとめと次回予告
今回は運用編として、利用ログの見方と、アノテーション返信で固定の正解を教え込む方法を学びました。これで「作る→公開する→育てる」という一連の流れがそろい、社内FAQアシスタントを継続的に改善できるようになりました。
ここからは応用編。会話ではなくフォームに入力すると定型文を返す「Text Generator（テキスト生成）」で、メール下書きや要約を自動化します。あわせて、クレジットを節約する自前APIキーの入門も扱います。
この記事で参照した公式情報
※ 画面のメニュー名や設定項目（しきい値の表記など）は、Difyのアップデートで変わることがあります。本記事は公開時点の情報・実画面にもとづいています。スクリーンショット内のワークスペース名・利用者のメールアドレスは記事用に伏せています。