设为首页 加入收藏

TOP

ChatGPT垂直行业私有数据知识库功能-咨询接口采用流式响应输出-JS和Golang实现流式响应
2023-07-23 13:30:30 】 浏览:27
Tags:ChatGPT 应输出 -JS Golang

近期开发私有数据知识库功能,想要实现和ChatGPT聊天效果类似的逐字流式输出展示效果。

GPT3.5本身就有流式聊天补全接口,后端Golang对接后,也需要能流式输出。下面就介绍下前端JS后端Golang来实现这种输出效果

 

大部分介绍是使用EventStream来实现,我现在不使用EventStream也来实现同样的效果

在服务器端需要关闭输出缓冲,使得每次写入的数据能够立即发送给客户端。可以通过调用http.ResponseWriter对象的Flush方法实现。

在客户端需要使用XHR对象或WebSocket对象实现长连接,从而能够接收来自服务器的多次响应。

 

    router := gin.Default()
    router.GET("/", func(c *gin.Context) {
        c.Header("Content-Type", "text/html;charset=utf-8")
        // 关闭输出缓冲,使得每次写入的数据能够立即发送给客户端
        f, ok := c.Writer.(http.Flusher)
        if !ok {
            c.AbortWithStatus(http.StatusInternalServerError)
            return
        }
        // 向客户端输出数据
        html := []rune(`Go-Knowledge AI,自建私有数据知识库 · 与知识库AI聊天`)
        for _, str := range html {
            fmt.Fprintf(c.Writer, string(str))
            f.Flush()
            time.Sleep(100 * time.Millisecond)
        }
    })

这样我们直接访问 / ,就可以看到文字是逐字流式输出响应的

前端JS需要使用下面这种读取方式

var xhr = new XMLHttpRequest();
xhr.open("GET", "/");
xhr.setRequestHeader("Content-Type", "text/plain");

xhr.onprogress = function(event) {
    console.log(event.currentTarget.responseText);
};

xhr.send();

 

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇「刷起来」Go必看的进阶面试题详解 下一篇LAL v0.34.3发布,G711音频来了,..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目