「AIチャットボットを導入したいが、コストも期間も読めない」というご相談をよくいただきます。本記事では、ヨクトが実際にAWS構築を含めて10日間で社内向けAIチャットボットを立ち上げたときの進め方と、実用に耐える品質にするための工夫を共有します。
なぜDifyを選んだのか
フルスクラッチでLLMアプリを組むと、プロンプト管理・RAG・ログ分析の基盤づくりだけで数週間かかります。今回は「短納期・低コストでまず価値を出す」ことを最優先に、LLMアプリ開発プラットフォームのDifyを採用しました。ワークフロー・ナレッジ（RAG）・APIが一通り揃っており、PoCから本番運用まで同じ基盤で進められる点が決め手です。
10日間の進め方
大まかには次のスケジュールで進めました。要件定義から運用開始まで、専任エンジニアが一気通貫で担当しています。
- Day 1–2：利用シーンと回答範囲の定義、社内ドキュメントの棚卸し
- Day 3–5：ドキュメントのチャンク分割・ベクトル化、RAGの初期構築
- Day 6–7：AWS上へのデプロイ、CORS・Referer検証などのセキュリティ実装
- Day 8–9：回答精度の評価とプロンプト調整
- Day 10：社内公開・フィードバック収集の仕組み整備
ハルシネーションを抑える3つの工夫
生成AIで最も怖いのが、もっともらしい誤答（ハルシネーション）です。今回は次の対策を入れました。
1. ハイブリッド検索でRAGの精度を上げる
ベクトル検索だけだと固有名詞や型番に弱いため、キーワード検索（スパース検索）と組み合わせたハイブリッド検索で関連文書のヒット率を高めました。
2. 「分からない」と言わせる
システムプロンプトで「社内ドキュメントに根拠がない場合は推測せず、担当部署へ問い合わせるよう案内する」と明示。回答に必ず参照元を添えるようにしています。
3. 会話ログを継続的に評価する
運用開始後も、誤答・低評価の会話を定期的にレビューし、ドキュメントとプロンプトを更新（LLMOps）。AIは「作って終わり」ではなく、運用で育てるものです。
ポイントは、最初から完璧を目指さず「小さく出して、ログで育てる」こと。スモールスタートなら導入リスクを最小化できます。
まとめ
適切なツール選定と段取りがあれば、社内AIチャットボットは想像よりずっと短期間で立ち上げられます。ヨクトでは、Difyを使った高速・低コストな組み込みから、機密要件に応じたローカルLLMのフルスクラッチ構築まで、貴社にとって最適なアプローチをご提案します。AI導入の進め方でお悩みの際は、お気軽にご相談ください。