clojure - 如何构建一个阻塞的分块惰性序列？

Question

我想使用分块 cons 或其他方式来创建一个阻塞的lazy-seq。给定来源:

(defn -source- [] (repeatedly (fn [] (future (Thread/sleep 100) [1 2]))))

(take 2 (-source-))
;; => (<future> <future>)

我想要一个名为 injest 的函数，其中:

(take 3 (injest (-source-)))
=> [;; sleep 100
    1 2 
    ;; sleep 100
    1]

(take 6 (injest (-source-)))
=> [;; sleep 100
    1 2 
    ;; sleep 100
    1 2 
    ;; sleep 100
    1 2]

;; ... etc ...

我该如何编写这个函数？

Answer 1

当您使用该源时，它会自然地阻塞，因此您不必做任何非常花哨的事情。简单地 (mapcat deref) 就足够了:

(doseq [x (take 16 (mapcat deref (-source- )))]
  (println {:value x :time (System/currentTimeMillis)}))
{:value 1, :time 1597725323091}
{:value 2, :time 1597725323092}
{:value 1, :time 1597725323092}
{:value 2, :time 1597725323093}
{:value 1, :time 1597725323093}
{:value 2, :time 1597725323093}
{:value 1, :time 1597725323194}
{:value 2, :time 1597725323195}
{:value 1, :time 1597725323299}
{:value 2, :time 1597725323300}
{:value 1, :time 1597725323406}
{:value 2, :time 1597725323406}
{:value 1, :time 1597725323510}
{:value 2, :time 1597725323511}

请注意前几项是如何同时出现的，然后每对都按照您预期的时间错开？这是由于众所周知的(？)事实，apply(因此使用 apply concat 实现的 mapcat)更加渴望出于性能原因，超出必要的范围。如果即使在前几个项目上获得正确的延迟对您来说也很重要，您可以简单地实现您自己的 apply concat 版本，该版本不会针对短输入列表进行优化。

(defn ingest [xs]
  (when-let [coll (seq (map (comp seq deref) xs))]
    ((fn step [curr remaining]
       (lazy-seq
         (cond curr (cons (first curr) (step (next curr) remaining))
               remaining (step (first remaining) (next remaining)))))
      (first coll) (next coll))))

A. Webb 在评论中建议了一个等效但更简单的实现:

(defn ingest [coll]
  (for [batch coll,
        item @batch]
    item))