Published onMarch 19, 2025在搭建 AI 会话 API 时,选择 WebSocket 还是 HTTP + Stream 返回ai-companionWebSocket在搭建 AI 会话 API 的场景中, 可以结合两者优势, 使用 `HTTP + 流式返回` 处理初始响应,快速获取第一段回复, 使用 `WebSocket` 维护后续的对话,实现更顺畅的交互体验.
Published onMarch 18, 2025日志分析: Pino + AWS Glue + AWS S3 + Athenaawsai-companionpino使用 pino 记录日志并将其写入到 Amazon S3 后通过 Athena 进行分析
Published onMarch 16, 2025Token 控制ai-companiontoken在构建 AI 平台(如 ChatGPT、DeepSeek、Qwen 等)时,Token 控制的优化对成本管理、性能提升和用户体验至关重要
Published onMarch 16, 2025敏感词过滤的实现方案Trie-树ai-companion将敏感词构建成 Trie 树,支持快速前缀匹配,效率高于循环或 includes(), 适用于大规模敏感词库.
Published onMarch 15, 2025多轮对话管理中的滑动窗口机制 (Sliding Window Mechanism)ai-companion由于大模型存在 Token 限制(如 GPT-4 上限约 128k tokens),长对话会因 Token 超限而丢失早期对话内容.`滑动窗口 + 摘要压缩 + 长期记忆持久化 (如 Redis、MongoDB)`, 不仅能够在 GPT 的 Token 限制内高效保留对话信息,还能最大化上下文的完整度,是在多轮对话管理中值得推荐的解决方案.