流式输出的场景：

1. 需要大模型执行一段时间的情况，避免用户等待，可以一点一点的输出

非流式：

使用的是http请求，不能主动向客户端推送数据

流式：----SSE：服务器发送事件

响应结构：

非流式响应结构：

object的结构差异：

非流式=chat.completion

流式=chat.completion.chunk

choices的结构差异：

非流式=index、message.role、message.content、logprobs、finish_reason

流式=index、delta.role、delta.content、finish_reason

usage差异：

非流式=prompt_tokens、completion_tokens、total_tokens

流式=没有该参数

逐行读取流式返回结果：

1. bit类型=>字符串:  line.decode('utf-8').lstrip('data: ')

2. 字符串=>字典(json) : json.loads()

print使用知识点：

默认输出后会带换行符，如果不需要换行，需要执行换行符类型

print(str, end=''): 不换行直接输出

openai-python库： 使用支持SSE协议的已有客户端库，简化实现逻辑

处理返回结果

embeddings 是什么和有什么用

怎么用：

使用示例：

响应：

响应参数说明：

常用模型：

模型使用代码

应用场景：

SerpAPI是一种 Pyhon 工具，提供 SerpAPI Google 搜索引擎结果 AP|和 SerpAPI 必应搜索引擎结果 API 的 包装器你可以使用该工具从多种不同的搜索引擎(包括 Google 和必应)中检索搜索结果。

https://serpapi.com/search-api

不输出换行符：print("输出", end='')

使用openai-python库

流式输出时，可设置滑动窗口实现内容审查

使用tiktoken库计算token消耗

角色：

    system

    user

    assistant

openai-python

    pip install openai

环境变量设置KEY

1个token≈4个英文字符

1个token≈3/4个单词

100个token≈75个单词

OPENAI大模型家族：

    多模态大模型：

        GPT-4

        GPT-4 Turbo版{剪枝和蒸馏后的版本}

    文本大模型

        GPT-3.5

    视觉大模型

        DALL·E

    语音大模型

        TTS

        Whisper

    Embedding大模型

        text-embedding-ada-002

    审查大模型

        Moderation

一、输入约束

二、输出约束

一般的响应格式： response.choices[0].message.content

通过messages角色设定的内容，告诉大模型之前的数据

openAI 的api调用

推荐项目

AutoGPT: https://github.com/Significant-Gravitas/AutoGPT

GPT-Engineer： https://github.com/gpt-engineer-org/gpt-engineer

ChatGPT-Next-Web: https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web