DIG-In

DIG-In

DIG-In是一个用于评估文本到图像生成模型在不同地理区域中质量、多样性和一致性差异的库。它使用GeoDE和DollarStreet作为参考数据集，通过计算生成图像的相关特征和精度、覆盖度指标，以及使用CLIPScore指标来衡量模型的表现。该库支持研究人员和开发者对图像生成模型进行地理多样性的审计，以确保其在全球范围内的公平性和包容性。

需求人群：

“DIG-In适用于需要评估和确保其图像生成模型在全球范围内表现一致的研究人员和开发者。它特别适用于那些关注模型在不同文化和地理背景下的公平性和包容性的应用场景。”

使用场景示例：

研究人员使用DIG-In评估不同图像生成模型在非洲地区的输出质量。

开发者利用DIG-In确保其应用在全球范围内提供一致的用户体验。

教育机构使用DIG-In作为教学工具，教授学生如何评估和改进AI模型的公平性。

产品特色：

使用GeoDE和DollarStreet数据集评估生成图像的质量差异。

计算生成图像的精度、召回率、覆盖度和密度指标。

使用CLIPScore指标评估图像的一致性。

提供脚本以从生成图像中提取特征。

支持自定义图像或特征路径的指针。

提供计算指标的脚本，包括平衡参考数据集。

使用教程：

1. 生成对应于csv文件中提示的图像。

2. 提供指向提示csv和生成图像文件夹的指针，以提取图像特征。

3. 使用提取的特征计算指标，包括精度、召回率、覆盖度和密度。

4. 根据需要更新特征文件的路径。

5. 运行计算指标的脚本，包括平衡参考数据集。

6. 分析生成的csv文件中的指标结果，以评估模型性能。