Alphabet旗下DeepMind开源开发AI项目的元件函式库

Alphabet旗下AI子公司DeepMind周四开源释出可撰写TensorFlow强化学习（Reinforcement Learning， RL）代理程式的函式库TRFL。DeepMind指出，TRFL（念作truffle）集结了该公司内部开发代理程式如DQN、DDPG及Importance Weighted Actor Learner Architecture所有的重要演算法元件。TRFL目前已可在GitHub上开放下载。

TRFL（读作「truffle」），访问：

https://github.com/deepmind/trfl/

一般强化学习代理程式包含许多互动元件，像是环境和某个表示值（values）或政策（policy）的深度网路，以及该环境的学习模型、伪奖励函式或重播系统（replay system）。这些元件互动很巧妙，因而在大型运算图谱（computation graphs）中不易发现Bug。Open AI最近就分析强化学习代理程式最受欢迎的开源实作发现，10个代理程式有6个有很小的瑕疵被社区发现且经作者证实。

解决上述问题及协助研究的方法之一是将完整的代理程式实作开源出来。这些代理程式的程式码对复制研究很有用，但问题是难以修改和扩充。另一个方法则是将共通建构元件、经测试过的稳定实作提供出来，这些共通元件也可用于众多不同的RL代理程式。另一个好处是，将这些核心元件集结于单一函式库，加上一致化的API，将更容易和不同来源的想法结合。

TRFL函式库包括实作传统RL演算及更先进技术的函式。像是loss函式及其他运算都有实作于纯Tensorflow 之中。针对value-based及policy-base的强化学习，TRFL也都提供了相应的工具。

DeepMind表示，由于这个函式库广泛用于DeepMind开发上，因此他们会持续维护并新增功能，且可望继续释出给开源社区。

本项目势必受到开发人员的欢迎。根据近日GitHub的统计，Tensorflow是平台上第三大开源项目，仅次于微软VS Code和脸书React。