代理 on Colinx Blog

我的 RSS 方案与心得

Mon, 10 May 2021 00:00:00 +0000

使用 RSS 已经一年有余，这种对信息的主动掌握让我获取信息的质量和密度都上升了一个台阶。最早是使用 TTRSS 做服务端，安卓手机使用 FeedMe 订阅，主要订阅的是有源的商业内容站点、个人博客以及其他人分享的使用 Feed43 或 Feedburner 压制的源。随着我逐渐加大 RSS 阅读在我闲暇、琐碎时间内的比重，我对 RSS 有了更高的期望和要求，便开始了对如何构建更高效、更易用的 RSS 方案的探索。

0x01 借助 RSSHub 订阅各种热门冷门网站

RSSHub 是个很赞的项目，它聚集了众多 RSS 爱好者来为现代的网站构建 RSS 订阅源。众所周知，网站提供 RSS 并不能为他的站点带来更高的收入，反而会减少主站的访客数。借助 RSSHub 可以方便地通过 RSS 订阅知乎、豆瓣、Facebook 等现代媒体社交平台。

0x02 获取 Feed 文章全文

部分 RSS 源并不会在 xml 文件内提供文章全文，说白了是想让你点进他们的网站去浏览，这样网页上的广告才有可能被你点击。解决的方案有很多，方便起见我使用了 TTRSS 的插件 Readability 和 Mercury。两者都不能完美适配所有站点，同时启用这两者以实现互补。

0x03 无障碍阅读繁体中文 Feed

发现了几个质量不错的繁体中文信息源，主要是台湾的站点，如泛科学。由于文字和部分两岸文化差异，直接阅读繁体中文的文章有些困难。我的解决方案是使用 OpenCC 简繁转换服务，它能够对可映射的简繁汉字以及同一事物的两岸不同的表述进行翻译，输出的简体中文版文章基本可以无障碍阅读。Awesome-TTRSS 内有集成相应的插件和服务程序。

不过原作者是使用 node.js 编写的服务端，翻译数据库得不到及时更新，如翻译后还是写的是义大利而不是意大利。而且 docker image 体积 100+M，内存占用也较大。我在考虑用 Go 语言重写 OpenCC 的服务端并兼容 TTRSS 的 OpenCC 插件，并加入 CI 自动从上游同步翻译数据库。

0x04 为不支持 RSS 的网站自制源

繁茂如 RSSHub 也不能保证拥有所有站点的 RSS 源。对于自制源，网上的方案大多数为使用 Feed43 和 Feedburner，但是人家是商业服务，虽然使用确实方便，但说到底还是为了商业。白嫖用户限制多不说，天知道哪天会有 break change 或者直接被墙或者跑路。最稳妥的做法还是自建。

手写爬虫程序简单灵活，不过后期维护难度较高而且难以复用。对于我想要订阅而有没有现成的源的网站，我的解决方案主要是两个：

1. 为 RSSHub 编写目标站点的规则，并 Pull Request 申请合并

RSSHub 除了提供众多现成的各类站点的 RSS 规则之外，也提供了快速构建一个站点的 RSS 源的常用工具类和模板。需要对 JavaScript 和爬虫技术有一定了解。很荣幸能提交了几个 pr 并且已经合并进了主分支，如 CQUT 的教务处通知和知乎的用户文章列表。

2. 使用 Huginn 为目标站点自制源

Huginn 是一个强大的 IFTTT 应用，用它来生成 RSS 源简直是大材小用（主要是他动辄 200M 的内存占用）。不过某些情况下我需要监视特定站点并在内容变化时得到通知，个人向为主，这类就不适合写 RSSHub 的规则。

使用门槛比 RSSHub 略低，可视化界面还是比较友好的，不过新手上手还是会有点困难，了解了 Huginn 的工作原理和基本的 Liquid 语法之后就手到擒来了。

3. 使用 feed43 和 rss-proxy 这类可视化工具自助生成 RSS 链接

手写解析规则还是太麻烦，很多网页结构很简单根本没必要单独花时间写一堆解析规则，而且有些时候只是想临时订阅一段时间或是订阅个很小的网站，不想大费周章，选择 feed43 这类工具不失为一个轻量又便捷的选择。不过feed43对免费账户创建的 RSS 并不保证稳定，时常无法连接甚至直接失效。在 Github 上发现一个不错的替代品rss-proxy，一个可视化的，快速自助生成站点 RSS 链接的工具。

填入目标网址就可以自动解析目标网页，程序会自动检测网页上的列表内容，可以自己选择要订阅哪个列表，然后就可以生成一个 RSS 链接。生成的 RSS 链接包括的信息有目标网址、要订阅的目标列表的节点信息和输出格式（RSS/ATOM）等，也就是说，rss-proxy 并不像 feed43 会把解析的规则存储在服务端，它是直接编码在 url 里面的！rss-proxy 开源支持自部署，不想用它提供的公用实例也可以自建，迁移零门槛。rss-proxy 也支持调用无头浏览器渲染异步获取数据的网页，可玩性很高。

->>>> rss-proxy 公用实例，可以点击体验下，还是很方便的

使用了一段时间体验挺不错，有个小问题就是对 UTF-8 以外的编码不太友好。

0x05 解锁海外 RSS 源

由于众所周知的原因，我国的互联网是不「互联」的。rsshub.app 部署在国外，现已基本无法直接访问。国内服务器上自建的 RSSHub 订阅如 Facebook 等国外站点更是不可行。为此我使用了 Clash 代理，并添加了一些公开的机场订阅，虽然速度和稳定性不是很高，但对于 RSS 这种需求还是绰绰有余的。又完善了一些爬墙的规则，比如对 google、facebook，rsshub.app 走代理，内网地址和 CN 的 IP 直连，反爬严格的网站完全走随机节点。一番操作下来，基本可以实现全球 RSS 订阅自由了 😁

0x06 RSS 订阅破 CloudFlare 五秒盾

如上所述，海外 RSS 源走公用机场可以解决国内的网络问题。但是很多站点会使用 CloudFlare 做 CDN 和防火墙，我们使用的公用机场其实一大半都是被用作非法用途的，IP 很多都在人家的黑名单里面，但凡通过那个节点访问 CloudFlare 保护的网站都会触发五秒盾防御，浏览器访问倒是没什么，但是可苦了 RSS。

google 了一番，没人写过我这个问题。。。人家都是爬虫绕过五秒盾，调包实现的破解。不过好在最终还是有了可行的解决方案：Clash 识别 CloudFlare 节点 IP 段，对于他家的节点，使用 Round-Robin 算法的 Load-Balance 策略走海内外随机节点，包括本机直连。

上面一句话有三个技术要点：

识别 CF 节点：CF 的节点遍布全球，把 IP 列表加到 Clash 规则集里面肯定是不现实的。不过好在人家家大业大都是买的 IP 段，官网也给出了所有节点的 IP 段，也就十个左右。
Round-Robin：一种常见的负载均衡算法，简单来说就是把所有节点组成一个圆环，每次访问选择一个环上的节点，之后沿环方向移动一个特定步长，作为下一个要使用的节点，每次访问所使用的节点都不一样。另一种常用的算法是 Consist-Hashing，一致性哈希，相同的 url 拥有相同的哈希值，根据哈希值来选择的节点是一样的，同一个 url 会使用同一个节点。对于上文提到的场景，要实现反反爬虫，那必须选择 Round-Robin 算法。
包括本机节点：如上文所述，触发五秒盾的原因是那些公用机场的 IP 都不大干净，但是我用来部署 RSS 这些东西的自用的服务器没有这个问题，只有网络问题 😂。使用本机作为随机节点的兜底，即便特殊情况下所有的公共机场都是脏 IP，但是本机能直连东亚和美西的 CF 节点，还是可以保证 RSS 的可用性。

可能的改进：匹配到 CF 节点，选择从本机连接东亚的连接较好的 CF 节点来请求目标站点的内容，可以一次解决那两个问题

以上都被我整合进了我的 Github 项目 RSSman X

RSSman X 基于 docker-compsoe 提供容器化 TTRSS 与 RSSHUB 等组件的一键部署，整合实用组件为你带来最佳 RSS 体验

Feature：简单一键部署，常用组件整合，自动更新支持，服务健康自检支持，海外站点 RSS 解锁

感兴趣的朋友可以关注一下 🍺

RSSManX - 一套 RSS 综合解决方案

Sat, 08 May 2021 00:00:00 +0000

中文说明｜ English

RSSman X is a project that composed several useful services to help you build an excellent RSS experience.

RSSman X 基于 docker-compsoe 提供容器化 TTRSS 与 RSSHUB 等组件的一键部署，整合实用组件为你带来最佳 RSS 体验

Feature：简单一键部署，常用组件支持，自动更新支持，服务健康自检支持，海外站点 RSS 解锁

快速开始

(若已安装 docker 和 docker-compose)

mkdir RSSmanX && cd $_ && wget https://cdn.jsdelivr.net/gh/Colin-XKL/RSSmanX/docker-compose.yml && sudo docker-compose up -d

说明

本项目旨在为 RSS 的同好提供一个方便地搭建自己的 RSS 服务的捷径。毕竟不是所有 RSS 爱好者都懂代码 😂。如果你想快速地搭建自己的 RSS 服务，能够有 RSS 订阅管理、RSS 在线阅读界面，进阶功能包括服务健康自检、海外站点 RSS 解锁等。希望订阅国内外的各大网站的 RSS 信息源又不想跟着网上漫天飞的教程瞎折腾的话，那么你可以使用本仓库的脚本快速完成安装部署。

不同版本中包含的组件说明

三个版本的docker-compose文件对应不同的需求，包含的组件和服务有差异。

组件/服务/功能名称	标准版	Lite 版	Ultimate 版 ✨
TTRSS	✅	✅	✅
RSSHub	✅	✅	✅
Huginn			✅
Mercury	✅		✅
OpenCC			✅
Redis	✅		✅
Browserless			✅
数据持久化保存	✅	✅	✅
容器自动更新	✅		✅
容器健康检查	✅		✅
海外站点加速			✅
智能路由			✅

不同组件的功能描述见文末。不同版本对应的配置文件如下：

标准版：docker-compose.yml

Lite 版：docker-compose-lite.yml

Ultimate 版：docker-compose-ultimate.yml和config.yaml

选择对应版本下载到本地后都 compose 文件需要重命名为标准的docker-compose.yml才可使用

安装说明

需求

一台 Linux 系统的服务器

本文以腾讯云 Ubuntu 18.04 系统的服务器为例，其他云服务商的没差，系统为 CentOS 的会有点差异

依赖项

docker
docker-compose

安装 Docker

sudo apt-get update

sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo
sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

安装 docker-compose

sudo apt install docker-compose

完整文档参见 📕

如何安装

安装好了 docker 和 docker-compose 后可以执行文章开头的快速开始的指令。或者可以按照下面的步骤手动操作：

确定安装好了 docker 和 docker-compose
克隆本仓库/下载你所需要的版本的 compose 文件，注意修改文件名
cd 进入文件夹，编辑docker-compose文件，修改密码及 ttrss 的SELF_URL处的值
运行 sudo docker-compose up -d
等待程序跑完
安装完成 ✅

使用相关事宜：

访问你设置的SELF_URL即可看到 Tiny Tiny RSS 的登陆页面，使用默认账户admin，密码password登陆即可开始使用。
如开启海外站点解锁支持，第一次冷启动需要等待 3-5 分钟才能完全启动所有组件。
数据保存位置 ~/.dockerData/Database/

详细配置和使用事宜请参考对应应用的文档说明。

TTRSS 相关文档 https://ttrss.henry.wang/
RSSHub 相关文档 https://docs.rsshub.app/

功能模块介绍

Tiny Tiny RSS RSS 订阅管理与在线阅读工具

RSShub 生成国内大部分网站的 RSS 信息源，同时自部署可以访问到那些严格防爬的站点的源（知乎、微博等）

Huginn 高级 IFTTT 工具，你可以用生成任何 RSS 源，但使用门槛略高

Postgres 数据库，用于存储 RSS 文章数据等。比 MySQL 更轻，性能更好

OpenCC 简繁体转换，如果你订阅了一些繁体的 RSS 源，可以用它来将文章转为简体

Mercury 用于获取 RSS 全文

Browserless 用于获取常规方式无法获取的网站 RSS，为 RSSHub 的可选组件

Redis 提供缓存，提升性能，为 RSSHub 的可选组件

WatchTower 用于自动更新 RSShub 等组件，可以更好地支持新添加的源以及更快的获得 bug 修复

Clash 智能路由与正向代理工具，用于解锁海外站点及提供海外 RSS 源的加速

Acknowledgement

License

GPL-3.0

Changelogs

2020-07-07 v1.0 First release
2020-07-14 v1.1 Update quick start shell script
2020-10-05 v1.2 Fix wrong environment variable.
2020-11-08 v1.3 TTRSS now can update feeds with ports except ⁸⁰⁄₄₄₃, and our self-hosted rsshub works again.
2020-11-13 v1.4 Several updates includes security and performance enhancements.
2020-11-24 v1.5 Lock the docker image version of some services to avoid unexpected errors.
2021-05-08 v2.0 Add container network isolation, health check, global proxy, smart routing etc.