笔记软件思源远程和本地接入大语言模型服务Ollama实现AI辅助写作(Windows篇)

随着信息技术的飞速发展和国产化软件的不断崛起，越来越多的用户开始倾向于使用国产化软件以满足日常工作和学习的需求。其中，笔记类软件作为知识管理和创作的重要工具，受到了广大用户的青睐。而在这些软件中，思源笔记以其强大的编辑功能、灵活的整理方式以及丰富的插件支持，成为了众多用户的首选。

然而，在写作过程中，灵感和创意的激发往往离不开大语言模型的辅助。大语言模型能够基于海量的文本数据生成高质量的内容，为用户提供有价值的参考和启发。但传统的在线大语言模型服务可能存在数据隐私泄露、网络延迟等问题，使得一些用户望而却步。

为了解决这个问题，我们可以考虑将国产化软件笔记思源与本地部署的大语言模型Ollama进行对接。Ollama作为一款高性能的大语言模型，能够为用户提供准确、快速的文本生成服务。但如何实现远程访问和对接，成为了摆在我们面前的一大难题。

幸运的是，我们有了cpolar内网穿透技术。cpolar是一种基于反向代理技术的内网穿透工具，它可以将本地计算机的服务暴露到公网上，使得外部网络能够轻松访问。通过cpolar，我们可以将本地部署的Ollama大语言模型服务暴露给远程的思源笔记软件，实现远程对接和辅助写作的功能。

在本文中，我们将详细介绍如何使用cpolar内网穿透技术将国产化软件笔记思源与本地大语言模型Ollama进行远程对接，并探讨这种对接方式在写作中的应用和优势。希望本文能够为读者提供一些有价值的参考和启发，帮助大家更好地利用技术提升写作效率和质量。

### 1\. 下载运行Ollama框架

进入Ollama Github 界面:https://github.com/ollama/ollama?tab=readme-ov-file ,我们选择Windows版本下载

![image-20240425174856953](https://doc.xiqi.site/media/202407/2024-07-20_083636_9358010.12977204667406084.png)

下载后,双击进行安装,默认会安装到C盘,然后等待安装完成,安装完成后正常会自动运行,如果没有运行,可以去应用列表双击运行即可

![image-20240425161045182](https://doc.xiqi.site/media/202407/2024-07-20_083636_9561040.2637158849138208.png)

然后打开命令窗口,输入:`ollama` -v,可以看到版本信息

![image-20240425161026879](https://doc.xiqi.site/media/202407/2024-07-20_083636_6262500.9343312293043083.png)

同样,在浏览器输入`http://127.0.0.1:11434/`访问ollama服务,即可看到,运行的字样,表示本地运行成功了,下面进行安装大语言模型.

![image-20240425163201117](https://doc.xiqi.site/media/202407/2024-07-20_083636_5893480.2567285414971314.png)

### 2\. Ollama下载大语言模型

ollama安装完成后,下面进行下载运行大语言模型,本例采用`qwen`模型,qwen这个模型运行开销比较小,对配置低的设备响应会快一些,如果自己设备配置高,可以下载llama3那些运行也是可以,其他模型,可以到github上面选择,下面我们打开命令窗口输入下面命令进行下载`qwen`模型

```shell
ollama pull qwen
```

然后等待安装完成即可,出现success 表示下载完成了,然后按`ctrl+d` 退出,

![image-20240529145344954](https://doc.xiqi.site/media/202407/2024-07-20_083636_2258280.5494767430091432.png)

然后再输入`ollama list` 即可看到下载的大语言模型列表,本例下载了两个,所以显示两个,下面我们进行本地测试

![image-20240529145433880](https://doc.xiqi.site/media/202407/2024-07-20_083636_2250290.17120733205678562.png)

### 3\. 思源笔记设置连接Ollama

打开思源笔记,如果没有下载思源笔记,可以先去网上进行下载安装好,打开笔记后,点击左上角打开设置,点击AI,开始设置,首先设置超时时间,这个时间是模型响应时间,可以设置久一些,下面设置600秒,然后下面模型名称,填写`qwen`,然后继续往下设置

![image-20240529151427222](https://doc.xiqi.site/media/202407/2024-07-20_083637_0067730.6093437365064749.png)

然后填写API Key,这个可以任意设置一个即可,下面设置ollama服务的地址,本地测试,我们只需要填写本地地址:`http://127.0.0.1:11434/v1`,即可,下面进行笔记智能补全测试

![image-20240529151648211](https://doc.xiqi.site/media/202407/2024-07-20_083636_5389300.2981135966177574.png)

### 4\. 测试笔记智能辅助写作

返回笔记,我们打开一个页面,随便输入一些内容,右键点击选择人工智能

![image-20240529152608208](https://doc.xiqi.site/media/202407/2024-07-20_083637_0723510.7746433205062246.png)

这里选择续写,下面有其他选项,可以自己选择,续写相当于辅助写作

![image-20240529160938236](https://doc.xiqi.site/media/202407/2024-07-20_083637_0447530.27124779648395636.png)

然后稍等一下,我们可以看到,后面大语言模型为我们后面自动生成了一段话,测试就完成了,但是为了能实现异地或者当我们和Ollama不处于一个局域网时也可以进行使用这个人工智能,所以我们需要安装cpolar内网工具,穿透本地Ollama大语言模型服务,使得远程也可以调用,下面我们安装cpolar

![image-20240529161111577](https://doc.xiqi.site/media/202407/2024-07-20_083637_0043280.8418453859041406.png)

### 5\. 安装Cpolar工具

本例介绍的是windows系统,所以cpolar安装在windows上,点击下面地址访问cpolar官网，注册一个账号，然后下载并安装客户端.

> Cpolar官网：[https://www.cpolar.com/](https://i.cpolar.com/m/56Ju)

-   _windows系统：在官网下载安装包后，双击安装包一路默认安装即可。_

cpolar安装成功后，在浏览器上访问本地9200端口【[http://localhost:9200](http://localhost:9200/)】，使用cpolar账号登录,即可看到Cpolar 管理界面,然后一切设置只需要在管理界面完成即可!

![20230130105810](https://doc.xiqi.site/media/202407/2024-07-20_083636_8369670.23719464152510106.png)

### 6\. 配置Ollama公网地址

点击左侧仪表盘的隧道管理——创建隧道，创建一个ollama的公网http地址隧道!

-   隧道名称：可自定义命名，注意不要与已有的隧道名称重复
-   协议：选择http
-   本地地址：11434
-   域名类型：免费选择随机域名
-   地区：选择china top
-   Host头域: 127.0.0.1:11434

点击`创建`(点击一次创建按钮即可,不要重复点击!)

![image-20240425164541494](https://doc.xiqi.site/media/202407/2024-07-20_083636_8218860.1649895133609205.png)

隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网访问地址，有两种访问方式,一种是http 和https,两种都可以访问,下面选择其中一种进行远程访问,下面我们替换掉笔记中的本地地址,改为公网地址.

![image-20240529164136227](https://doc.xiqi.site/media/202407/2024-07-20_083636_9766470.4058778840401106.png)

### 7\. 笔记设置远程连接Ollama

再次打开思源笔记AI设置界面,把之前的本地地址改为cpolar的公网地址,注意后面的V2不要漏掉,然后返回笔记,我们再测试一下

![image-20240529165018808](https://doc.xiqi.site/media/202407/2024-07-20_083636_7097280.565083057633538.png)

写一段话,然后右键打开人工智能

![image-20240529171631829](https://doc.xiqi.site/media/202407/2024-07-20_083636_6456810.033150014138612405.png)

让AI帮我们续写

![image-20240529171705879](https://doc.xiqi.site/media/202407/2024-07-20_083636_6845290.5768298472875233.png)

可以看到,同样可以进行AI智能续写我们的笔记,这样远程设置就完成了,即使不在本地Ollama的服务,笔记也可以远程去调用它,帮我们完成AI写作

![image-20240529170227923](https://doc.xiqi.site/media/202407/2024-07-20_083636_6042820.7791185097562481.png)

##### 小结

为了更好地演示，我们在前述过程中使用了cpolar生成的隧道，其公网地址是随机生成的。

这种随机地址的优势在于建立速度快，可以立即使用。然而，它的缺点是网址由随机字符生成，不太容易记忆（例如：3ad5da5.r10.cpolar.top）。另外，这个地址在24小时内会发生随机变化，更适合于临时使用。

我一般会使用固定二级子域名，原因是我希望将网址发送给同事或客户时，它是一个固定、易记的公网地址（例如：ollama.cpolar.cn），这样更显正式，便于流交协作。

### 8\. 固定Ollama公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化【ps：cpolar.cn已备案】

> 注意需要将cpolar套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。【cpolar.cn已备案】

[登录cpolar官网](https://dashboard.cpolar.com/)，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称

![image-20240425170206232](https://doc.xiqi.site/media/202407/2024-07-20_083636_5753110.8835294702947.png)

保留成功后复制保留成功的二级子域名的名称

![image-20240425170229252](https://doc.xiqi.site/media/202407/2024-07-20_083636_9917960.41558127085845753.png)

返回登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑

![image-20240529170459239](https://doc.xiqi.site/media/202407/2024-07-20_083636_7639980.011380644078519686.png)

修改隧道信息，将保留成功的二级子域名配置到隧道中

-   域名类型：选择二级子域名
-   Sub Domain：填写保留成功的二级子域名

点击`更新`(注意,点击一次更新即可,不需要重复提交)

![image-20240425170340455](https://doc.xiqi.site/media/202407/2024-07-20_083636_4796610.7515828141669924.png)

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址二级名称变成了我们自己设置的二级子域名名称

![image-20240425170405890](https://doc.xiqi.site/media/202407/2024-07-20_083636_9459350.6011081282624509.png)

然后打开思源笔记,把之前的随机地址改为固定的地址,然后返回笔记,再次测试

![image-20240529170644375](https://doc.xiqi.site/media/202407/2024-07-20_083636_4298080.41971013896143006.png)

自己定义一个开头,然后点击打开人工智能

![image-20240529171326743](https://doc.xiqi.site/media/202407/2024-07-20_083636_6057160.09329230064532157.png)

让AI帮我续写后面的内容

![image-20240529171425251](https://doc.xiqi.site/media/202407/2024-07-20_083636_6936770.15354404533526889.png)

可以看到,也是成功可以实现AI辅助为我们写了一段话,这样固定地址就设置好了,任意地点也可以使用该地址配置到思源笔记里面,实现AI功能!

![image-20240529171002972](https://doc.xiqi.site/media/202407/2024-07-20_083636_9227780.6927317851373552.png)