bash - mawk 语法适用 >1000 字段文件用于按列计算非数字数据？

Question

以下愚蠢的硬编码应该是某种循环或并行结构，名义上有效，但它是糟糕的 mawk 语法。我很好的 mawk 语法尝试都失败了，在 mawk(未显示)和 gnu parallel(未显示)中使用 for 循环。

它真的只需要从磁盘读取 CSV 文件 1 次，而不是每列一次，因为我有一个非常大的 CSV 文件(数百万行，数千列)。我的原始代码运行良好(未显示)，但它为每一列再次读取整个磁盘文件，这需要几个小时，我在意识到发生了什么后将其杀死。我有一个使用 GPU 连接器插槽的快速固态磁盘，因此磁盘读取速度非常快。因此 CPU 是这里的瓶颈。如果我必须对 4000 行除了列号之外基本相同的语句进行硬编码，那么愚蠢的代码甚至会成为更大的瓶颈。

代码按列计算非数字值。我需要一些循环(for 循环)或并行(首选)，因为虽然以下内容在 2 列上正常工作，但它不是为数千列编写 mawk 代码的可扩展方式。

tail -n +1 pht.csv | awk -F"," '(($1+0 != $1) && ($1!="")){cnt1++}; (($2+0 != $2) && ($2!="")){cnt2++} END{print cnt1+0; print cnt2+0}'
2
1

怎样才能“第1列处理；第2列处理；”减少重复代码？如何引入循环？ gnu parallel怎么引入？非常感谢。 awk 新手，我是。对其他语言并不陌生。

我一直期待以下一个或多个 bash 命令的一些巧妙组合能够轻松解决这个问题，但我已经过了好几个小时了，什么也看不到。我张开双手前来。为代码贫乏的人施舍？

• seq 1 2(>>2 用于现实生活中的 CSV 文件)
• tail(根据需要跳过 header 或不跳过)
• mawk(漂亮的按行 CSV 文件处理，使用我在演示中向您展示的方便的语法，用于在据称是全数字的巨型 CSV 数据文件中轻松查找非数字)
• tr(删除换行符，方便转置操作)
• 剪切(一次抓取一列)
• 并行(快是好，我有很多内核需要处理，还有 phat RAM)

抱歉，我绝对不能使用 CSV 特定库，如 python pandas 或 R 数据帧。我的手被绑在这里。对不起。谢谢你这么酷。在这种情况下，我只能使用 bash 命令行。

我的 mawk 可以处理 32000+ 列，因此 NF 在这里不是问题，这与我见过的其他一些 awk 不同。我的列少于 32000(但不是那么多)。

数据文件 pht.csv 包含以下 3x2 数据集:

cat pht.csv
8,T1,
T13,3,T1
T13,,-6.350818276405334473e-01

Answer 1

无权访问 mawk 但您可以执行与此等效的操作

awk -F, 'NR>1 {for(i=1;i<=NF;i++) if($i~/[[:alpha:]]/) a[i]++} 
         END  {for(i=1;i in a;i++) print a[i]}' file

即使是百万条记录，也不会超过几分钟。

要识别指数符号，正则表达式测试将不起作用，您需要恢复到评论中提到的 $1+0!=$1 测试。请注意，您不必单独检查空字符串。