Julia - 基于值数组过滤的最快方法？

Question

df 是一个 120 万行的 DataFrame
valid 是一个包含 16000 个要过滤的有效值的数组
我尝试对过滤器使用列表理解，但由于搜索两个数组，速度非常慢。df[[i in valid for i in df[:match],:] 什么是更快的方法来做到这一点？用在哪里？ “过滤”功能？

Answer 1

搜索集合将非常快:

const validset = Set(valid)
filter((x)-> x.match in validset,df)

一些表现:

julia> df=DataFrame(match=rand(1:(10^8),10^6));

julia> valid = collect(1:1_000_000); validset=Set(valid)

julia> @btime filter((x)-> x.match in $validset,$df)
  173.341 ms (3999506 allocations: 61.30 MiB)

或者 Bogumil 推荐的更快的版本:

julia> @btime filter(:match => in($validset),$df)
  37.500 ms (23 allocations: 282.44 KiB)