我正在将一组约 200 个 .xlsx 文件(每个文件都有多个工作表)转换为 .csv。 in2csv
允许使用 -s
提取单个工作表开关,但首先我需要从命令行获取 .xlsx 电子表格中所有工作表的名称。
我试过python的xlrd
包,但单个文件 >100MB 需要几分钟,因为它需要加载整个工作簿才能读取工作表包装。
我知道 gnumeric ssconvert
(-S
开关可以解决问题)但宁愿不为一个功能安装 600MB 的软件包。
有没有办法在不加载整个电子表格/工作簿的情况下提取工作表名称?如果没有,我如何分别将每个工作表和输出转换为单独的输出文件?
到目前为止,以下是我的解决方案,首先是查找所有未转换文件的 bash 脚本,其次是提取工作表名称的 python 脚本。
#!/bin/bash
# Paths
RAW_DATA_DIR_EBS=/mnt/data/shared/raw
CSV_DATA_DIR_EBS=/mnt/data/shared/csv
ETL_CONVERT_DIR=$(pwd)/$(dirname "$0")
function check_conversion {
# If filesize = 0 bytes, exit with error
filesize=$(wc -b $1)
if [ $filesize == 0 ]; then
echo "ERROR: conversion failed. Empty output file: $1"
exit 1
fi;
}
# For each data source directory
for source in $RAW_DATA_DIR_EBS/; do
dir=$(basename $source)
# Create output dir if absent
mkdir -p $CSV_DATA_DIR_EBS/$dir
# For each file for that source
for fin in $RAW_DATA_DIR_EBS/$dir/*.xlsx; do
# Get sheet names and store in array
echo "Obtaining worksheet names from $fin"
sheets=$(python $ETL_CONVERT_DIR/check_sheet_names.py -x $fin | tr -d '[]' | tr -d [:punct:])
IFS="," read -r -a sheets_array <<< "$sheets"
if [ ${#sheets_array[@]} == 1 ]; then
# Just one sheet
fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx).csv
if [ ! -e $fout ]; then
echo "Converting worksheet in $fin ..."
in2csv -e utf-8 $fin > $fout;
check_conversion $fout
gzip $fout
else
echo "Spreadsheet $fin already converted:" $fout;
fi;
else
# Multiple sheets
for sheet in $sheets; do
fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx)__sheet_"${sheet}".csv
if [ ! -e $fout ]; then
echo "Converting worksheet $sheet in $fin ..."
in2csv -e utf-8 --sheet $sheet $fin > $fout;
check_conversion $fout;
gzip $fout
else
echo "Spreadsheet $fin already converted:" $fout
fi;
done;
fi;
done;
done;
exit 0
#!/usr/bin/env python
''' check_sheet_names.py
Get names of worksheets contained in an .xlsx spreadsheet
'''
import xlrd
import argparse
if __name__ == '__main__':
parser = argparse.ArgumentParser(description='CLI')
parser.add_argument('--xlsx', '-x', type=str, required=True)
args = parser.parse_args()
xls = xlrd.open_workbook(args.xlsx, on_demand=True)
print(xls.sheet_names())
xls.release_resources()
del xls
最佳答案
-n 标志将提供 xlsx 文档中不同工作表的名称。
in2csv -n filename.xlsx
关于excel - 高效地从 .xlsx 电子表格中提取工作表名称,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52978483/