6 支持列表
LLM 模型支持列表⚓︎
本地模型
本地 LLM 模型接入基于 FastChat 实现，支持模型如下：
- ChatGLM 全系类模型
- Qwen 全系列模型
- Baichuan 全系列模型
- vivo-ai/BlueLM-7B-Chat
- 01-ai/Yi-34B-Chat
- meta-llama/Llama-2-7b-chat-hf
- Vicuna, Alpaca, LLaMA, Koala
- BlinkDL/RWKV-4-Raven
- camel-ai/CAMEL-13B-Combined-Data
- databricks/dolly-v2-12b
- FreedomIntelligence/phoenix-inst-chat-7b
- h2oai/h2ogpt-gm-oasst1-en-2048-open-llama-7b
- lcw99/polyglot-ko-12.8b-chang-instruct-chat
- lmsys/fastchat-t5-3b-v1.0
- mosaicml/mpt-7b-chat
- Neutralzz/BiLLa-7B-SFT
- nomic-ai/gpt4all-13b-snoozy
- NousResearch/Nous-Hermes-13b
- openaccess-ai-collective/manticore-13b-chat-pyg
- OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5
- project-baize/baize-v2-7b
- Salesforce/codet5p-6b
- StabilityAI/stablelm-tuned-alpha-7b
- tiiuae/falcon-40b
- timdettmers/guanaco-33b-merged
- togethercomputer/RedPajama-INCITE-7B-Chat
- WizardLM/WizardLM-13B-V1.0
- WizardLM/WizardCoder-15B-V1.0
- internlm/internlm-chat-7b
- HuggingFaceH4/starchat-beta
- FlagAlpha/Llama2-Chinese-13b-Chat and others
- BAAI/AquilaChat-7B
- all models of OpenOrca
- Spicyboros + airoboros 2.2
- VMware's OpenLLaMa OpenInstruct
- 任何 EleutherAI 的 pythia 模型，如 pythia-6.9b
- 在以上模型基础上训练的任何 Peft 适配器。为了激活，模型路径中必须有
peft。注意：如果加载多个peft模型，你可以通过在任何模型工作器中设置环境变量PEFT_SHARE_BASE_WEIGHTS=true来使它们共享基础模型的权重。
以上模型支持列表可能随 FastChat 更新而持续更新，可参考 FastChat 已支持模型列表。
联网模型
支持的联网模型 - ChatGPT - Azure OpenAI - 智谱AI - MiniMax - 讯飞星火 - 百度千帆 - 阿里云通义千问 - 字节火山方舟 - 百川
Embedding 模型支持列表⚓︎
本地模型
本项目支持调用 HuggingFace 中的 Embedding 模型，已支持的 Embedding 模型如下：
MokaAI系列嵌入模型
BAAI系列嵌入模型 - BAAI/bge-small-zh - BAAI/bge-base-zh - BAAI/bge-large-zh - BAAI/bge-small-zh-v1.5 - BAAI/bge-base-zh-v1.5 - BAAI/bge-large-zh-v1.5 - BAAI/bge-large-zh-noinstruct - BAAI/bge-reranker-large - BAAI/bge-reranker-base
text2vec系列嵌入模型 - shibing624/text2vec-base-chinese-sentence - shibing624/text2vec-base-chinese-paraphrase - shibing624/text2vec-base-multilingual - shibing624/text2vec-base-chinese - shibing624/text2vec-bge-large-chinese - GanymedeNil/text2vec-large-chinese
其他模型 - sensenova/piccolo-base-zh - sensenova/piccolo-large-zh - nghuyong/ernie-3.0-nano-zh - nghuyong/ernie-3.0-base-zh
达摩院系列嵌入模型 - damo/nlp_gte_sentence-embedding_chinese-large
联网模型
除本地模型外，本项目也支持直接接入 OpenAI的在线嵌入模型。 支持的联网模型 - OpenAI/text-embedding-ada-002 - 智谱AI - MiniMax - 百度千帆 - 阿里云通义千问
分词器支持列表⚓︎
Langchain 中的分词器
本项目支持调用 Langchain 的 Text Splitter 分词器以及基于此改进的自定义分词器，已支持的 Text Splitter 类型如下： - CharacterTextSplitter - LatexTextSplitter - MarkdownHeaderTextSplitter - MarkdownTextSplitter - NLTKTextSplitter - PythonCodeTextSplitter - RecursiveCharacterTextSplitter - SentenceTransformersTokenTextSplitter - SpacyTextSplitter
自定义分词器
已经支持的定制分词器如下：
向量数据库支持列表⚓︎
本地向量数据库
目前支持的本地向量数据库列表如下：
联网向量数据库
工具支持列表⚓︎
Langchain工具
- Shell 工具，用于模拟当前的Linux Shell环境
- Youtube 工具，用于搜索Youtube的相关视频链接
- Wolfram 工具，用Wolfram来实现数学计算等
其他Langchain自带的工具也可以按照上述三个工具的方式来自己实现
本地工具
- 翻译工具，实现对输入的任意语言翻译。
- 数学工具，使用LLMMathChain 实现数学计算。
- 高级知识库工具，智能选择调用多个或者单个知识库并查询内容。
- 进阶知识库工具，智能选择调用一个最相近的知识库并查询内容。
- 基础知识库工具，选择指定的一个知识库并回答。
联网工具
- 天气工具，使用自定义的LLMWetherChain实现天气查询，调用和风天气API。
-
搜索工具，使用我们的搜索API来实现搜索并概括内容。
-
我们期待开发者共享更多的工具，帮助项目生态完善
创建日期: December 6, 2023