Enterprise AI Portal

AI Portal กลางสำหรับทั้งองค์กร ใช้งานภายใต้โดเมนของหน่วยงานเอง

Enterprise AIOpen sourceArchitecture

โจทย์: TOR ต้องการ multi-LLM, agent เฉพาะทาง, RBAC ที่ต่อกับ SSO และรองรับปริมาณโทเคนสูงมาก แค่ค่า license ของแพลตฟอร์มเชิงพาณิชย์ก็เกินงบแล้ว
แนวทาง: เทียบสถาปัตยกรรมห้าแบบ แล้วเสนอ AI Portal ที่พัฒนาเองและติดตั้งบนระบบของหน่วยงาน ต่อกับ model gateway แบบโอเพนซอร์ส ตัว AI Portal (SvelteKit + FastAPI) ดูแลการเข้าสู่ระบบ ตรวจโควตาของแต่ละคนก่อนเรียกใช้ทุกครั้ง และเก็บประวัติแชตกับ audit log ทุกคำขอแชตผ่าน LiteLLM gateway ซึ่งเลือกส่งไปยัง Anthropic, Gemini, OpenAI และค่ายอื่นตามโมเดล สลับไปตัวสำรองเมื่อค่ายใดขัดข้อง แคชคำถามที่ซ้ำ และบันทึกยอดใช้จ่าย ส่วน Langfuse เก็บ trace ของ prompt และมี Prometheus กับ Grafana คอยดู latency อัตรา error ค่าใช้จ่าย และ uptime
ผลลัพธ์: ครอบคลุมทุกข้อใน TOR โดยไม่มีค่า license ซอฟต์แวร์เลย
เครื่องมือที่ใช้: SvelteKitFastAPILiteLLMPostgreSQLRedisLangfusePrometheusGrafana