数据管理优化，支持从 API 和对象存储更新数据集

一年一端午，一岁一安康。端午佳节临近， ModelWhale 也带来了新一轮的版本更新，期待为大家带来更优质的使用体验。

本次更新中，ModelWhale 主要进行了以下功能迭代：

新增从对象存储更新数据集（专业版✓ 团队版✓ ）
新增从 API 更新数据集（专业版✓ 团队版✓ ）
新增上传文件夹以创建数据集（专业版✓ 团队版✓ ）
新增支持搜索数据集内的数据文件（专业版✓ 团队版✓ ）
新增上传文件夹到 IDE 代码编辑器（专业版✓ 团队版✓ ）
新增用户级、项目级的环境变量管理（专业版✓ 团队版✓ ）
新增站外 API 使用离线任务（专业版✓ 团队版✓ ）
新增回看组织公告（团队版✓）

01 新增从对象存储更新数据集（专业版✓团队版✓ ）

ModelWhale 支持接入客户自有的“对象存储”到平台中进行数据调用，同时支持对“对象存储”内的数据进行预览查看、制作数据集（或定时数据集）、追溯数据使用情况，以及安全的数据共享。

当“对象存储”的数据有更新时，你也可以从“对象存储”中选择文件以更新已有数据集，实现统一的数据管理、研究流程的持续进行。示例：此前你从“对象存储”选取了 3 个文件作为“实验数据”分析；新的实验数据更新进对象存储后，你可以勾选新数据、然后保存到“实验数据”数据集。

02 新增从 API 更新数据集（专业版✓团队版✓ ）

如果你的数据存储在“第三方系统”并已有一套严格的数据使用权限设计，ModelWhale 也支持继承已有权限管控：原有权限不会失效，亦无需在分析平台再次配置权限。填写 API 相关信息后，即可在平台实现对这些数据产品的调用分析（平台也支持从 API 创建数据集）。

当“第三方系统”的数据有更新时，你也可以从“第三方系统”中选择文件以更新已有数据集，实现统一的数据管理、研究流程的持续进行。示例：此前你从“第三方系统”选取了 3 个文件作为“实验数据”分析；新的实验数据更新进对象存储后，你可以勾选新数据、然后保存到“实验数据”数据集。

03 新增上传文件夹以创建数据集（专业版✓ 团队版✓ ）

本地保存管理的数据，往往存在层级结构，比如：城市中心站/2024年/1月气温.csv。将数据迁移到平台（创建平台数据集）时，现已支持上传一整个文件夹（保留文件结构），以便你无缝衔接工作流。

在平台完成数据处理后，你也可以在运行时（Notebook、IDE、Canvas）内将结果导出为数据集，这时：同样支持勾选文件夹（保留文件结构）导出。

（1）工作台

（2）运行时内

04 新增支持搜索数据集内的数据文件（专业版✓团队版✓ ）

文件夹和数据文件的名称通常有一定规范和含义（i.e 城市中心站 20240604），溯源时我们习惯通过“名称”搜索找到某一个具体的数据文件。现 ModelWhale 已增强其搜索能力：支持在工作台、运行时（Notebook、Canvas）搜索数据集内的数据文件。即使文件可能位于多层文件夹下、数据量较大，依然可以被快速搜索找到。