目前Oracle PAFPrivate Agent Factory官方提供配置LLM providers只有OCI GenAI、OpenAI、Gemini以及vLLM和Ollama的方式。如果想用国内LLM或者其他中转的LLM通常是兼容OpenAI的模式但是OpenAI这里配置是写死的无法自定义baseurl如果想直接通过vLLM配置默认无法指定api key看来默认就无法使用其他LLM了已跟PM反馈过此问题回复后续版本会考虑支持这个OpenAI兼容的LLM配置。但是目前有没有workaround呢实际测试通过Nginx配置结合vLLM的入口可以实现连通国内LLM模型。下面以配置官方DeepSeek的api为例参考步骤如下1.配置Nginx转发策略安装Nginx软件然后进入到Nginx配置目录cd /etc/nginx/conf.d/新增一个配置文件llm_deepseek.conf内容如下cat llm_deepseek.conf 文本内容如下方便粘贴:注意 sk-your_api_key要替换成自己的真实apikey自定义配置监听的端口这里设置的4001server {listen 4001;# 1. 定义 DNS 解析器这里用谷歌和腾讯的公共DNS让Nginx能解析api.deepseek.comresolver 8.8.8.8 119.29.29.29 valid300s;resolver_timeout 5s;location /v1/ {# 2. 转发目标proxy_pass https://api.deepseek.com/v1/;# 3. 核心修复开启 SSL SNI 支持并透传正确的 Hostproxy_ssl_server_name on;proxy_ssl_name api.deepseek.com;proxy_set_header Host api.deepseek.com;# 4. 你的业务请求头proxy_set_header Authorization Bearer sk-your_api_key;proxy_set_header Content-Type application/json;# 5. 建议加上这些防止大模型流式传输Stream时被 Nginx 缓存导致卡顿proxy_http_version 1.1;proxy_set_header Connection ;proxy_buffering off;}}重启Nginx生效配置sudo systemctl restart nginx2.在PAF中配置通过本地转发的LLM测试连接成功然后在一个自定义的flow中设置成这个通过自定义转发到官方DeepSeek的LLM进行连通性测试测试成功注这不是官方认可的方式也不算最佳实践只是作为现阶段当PAF必须要用国内LLM场景的workaround。
