ruby-on-rails - Rails 3，导入前检查 CSV 文件编码

Question

在我的应用程序(Rails 3.0.5、Ruby 1.8.7)中，我创建了一个导入工具来从文件导入 CSV 数据。

问题:我要求我的用户以 UTF-8 编码从 Excel 中导出 CSV 文件，但大多数时候他们并没有这么做。

如何在导入前验证文件是否为 UTF-8？否则导入将运行但会产生奇怪的结果。我使用 FasterCSV 导入。

错误的 CSV 文件示例:

;VallÈe du RhÙne;CÙte Rotie;

谢谢。

Answer 1

您可以使用 Charlock Holmes，Ruby 的字符编码检测库。

https://github.com/brianmario/charlock_holmes

要使用它，您只需读取文件，然后使用detect 方法。

contents = File.read('test.xml')
detection = CharlockHolmes::EncodingDetector.detect(contents)
# => {:encoding => 'UTF-8', :confidence => 100, :type => :text}

如果格式不正确，您也可以将编码转换为 UTF-8:

utf8_encoded_content = CharlockHolmes::Converter.convert contents, detection[:encoding], 'UTF-8'

这使用户无需在再次上传之前自己进行操作。