分类: AI

18 篇文章

使用 Yarp.ReverseProxy 转发 ai 调用请求至硅基流动
在开发 AI 应用时,为了保障 API Key 安全并实现私有化鉴权,通常不建议客户端直接调用第三方 AI 服务。通过 Yarp.ReverseProxy 搭建转发代理,API 服务器可以作为中转层,在完成内部身份验证后,再将请求下发至硅基流动等服务商。这不仅能有效隐藏 API Key,还能灵活实现多账号负载均衡及额度控制。 配置 配置转发服务 #…
调用硅基流动语音转文字接口
也可以直接使用 nuget OpenAI 包,直接调用,这里直接使用 httpclinet 进处理, 如果要转发多个接口,可使用 Yarp.ReverseProxy 对 ai 调用接口进行反向代理 , 见 使用 Yarp.ReverseProxy 转发 ai 调用请求至硅基流动 目前有 2 个模型是免费的, TeleAI/TeleSpeechASR…
asp.net core 转发客户端 ai 调用
有时不需希望在客户端直接对 ai 接口发起请求,通过 api 中间层转发 ai 请求, 在转发时填入真实的服务器地址及 key。 如果要全部转发的话,可以做反向代理, 见 使用 Yarp.ReverseProxy 转发 ai 调用请求至硅基流动 注入服务 要注意的是如果启用了 aspire , 系统会启用一个默认的 http 处理策略,比如超时时间…
.net 调用 llama.cpp
using LLama; using LLama.Common; using LLama.Sampling; // 引用 LLamaSharp, LLamaSharp.Backend.Cpu // 这个例子中,内存使用的 4 个G // Llava 调用的例子,新版本中被移除 // scisharp.github.io/LLamaSharp/0.2…
PWSH AI 查词、发音
演示如何使用 powershell 编写调用 AI 查询单词释义、调用 TTS 生成发音文件并进行播放的例子 可以定义 shell 环境, code $PROFILE 加入快捷调用函数,比如 wd word (脚本见最后) 单词查询脚本 <# .DESCRIPTION 查询单词 .EXAMPLE .\SearchWork.ps1 -word …
PWSH 调用 AI
微软有一个 AISH 工具,但是命令行调用功能不完善。下面使用 https://github.com/chenxizhang/openai-powershell​ ‍ 安装 # 安装 Install-Module -Name code365scripts.openai -Scope CurrentUser #更新 Update-Module -Na…
.net 进程内调用 MCP 服务器
.net 进程内调用 MCP 服务器 可以在程序内部创建一个 MCP Server 与 MCP Client, 然后通过 Pipe 的方式调用 await using var serviceProvider = this.CreateServiceProviderCore(); var loggerFactory = serviceProvider…
.net MCP Sampling (MCP Server 回调客户端 LLM)
MCP 协议中提供了一种机制 ,通过在 MCP client 中设置,可以为 MCP 服务端提供调用 LLM 的桥梁。 在 .net 中的处理流程就是 MCP Client 中配置回调机制,然后在 MCP Server 工具类 中注入 McpServer 对象,然后调用 var chatClient = thisServer.AsSamplingC…
提示工程指南总结
https://www.promptingguide.ai/zh​ ‍ 模型设置说明 在使用大语言模型(LLM)时,可通过调整以下参数来控制生成结果的风格、长度和多样性。建议每次只调整一个参数,以便更清楚地观察效果。 Temperature(温度) 控制生成文本的随机性,取值范围通常为 0.0 到 2.0。值越低(如 0.1),输出越确定、聚焦,适…
.net 开发 MCP 客户端
创建 MCP client # 如果调用本地开发项目,使用如下调用参数 Command = "dotnet", Arguments = ["run", "--project", GetMcpServerProjectDirectory(),], # 使用标准输入/输出(Stdio)传输作为…