300万字知识库怎么管理？我开源了自己的本地知识库方案

前两天熊猫整理了一下本地的所有文档，目前为止本地的所有文档字数已经达到了接近300万字，同时文档数量也来到了接近1000篇，如何优雅有序的管理这些文档，在这种情况下就非常重要了，毕竟庞大的数据两下想要靠人手动去整理是不太现实了。