我想在目录中按文件类型列出文件。该目录有 .csv、.pdf 等文件类型，我想列出所有 .csv 文件。
我正在使用以下命令
dbutils.fs.ls("/mnt/test-output/*.csv")
我希望获得该目录中所有 csv 文件的列表。
我在数据 block 中收到以下错误
java.io.FileNotFoundException: No such file or directory: /test-output/*.csv
最佳答案
尝试使用带有 %sh 的 shell 单元格。您也可以从那里访问 DBFS 和 mnt 目录。
%sh
ls /dbfs/mnt/*.csv
应该给你这样的结果
/dbfs/mnt/temp.csv
%fs 是 dbutils 的快捷方式及其对文件系统的访问。 dbutils 不支持所有 unix shell 函数和语法，所以这可能是您遇到的问题。另请注意，在运行 %sh 单元时，我们如何使用 /dbfs/ 访问 DBFS。
关于linux - Pyspark 按目录中的 filtetypes 列出文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57615150/