本质上我想知道如何实现tail -F
Haskell 中的 Linux 命令功能。我的目标是跟踪一个日志文件,例如一个 Web 服务器日志文件,并通过解析输入来计算各种实时统计数据。理想情况下,如果日志文件使用 logrotate
进行轮换,则不会出现中断。或类似的服务。
我对如何解决这个问题以及在存在惰性 I/O 的情况下应该考虑什么性能感到有些不知所措。任何流媒体库都与这里相关吗?
最佳答案
这是部分答案,因为它不处理 logrotate
的文件截断。 .它避免了惰性 I/O 并使用 bytestring , streaming , streaming-bytestring和 hinotify包。
一些初步进口:
{-# language OverloadedStrings #-}
module Main where
import qualified Data.ByteString
import Data.ByteString.Lazy.Internal (defaultChunkSize)
import qualified Data.ByteString.Streaming as B
import Streaming
import qualified Streaming.Prelude as S
import Control.Concurrent.QSem
import System.INotify
import System.IO (withFile,IOMode(ReadMode))
import System.Environment (getArgs)
这是“拖尾”功能:
tailing :: FilePath -> (B.ByteString IO () -> IO r) -> IO r
tailing filepath continuation = withINotify $ \i -> do
sem <- newQSem 1
addWatch i [Modify] filepath (\_ -> signalQSem sem)
withFile filepath ReadMode (\h -> continuation (handleToStream sem h))
where
handleToStream sem h = B.concat . Streaming.repeats $ do
lift (waitQSem sem)
readWithoutClosing h
-- Can't use B.fromHandle here because annoyingly it closes handle on EOF
-- instead of just returning, and this causes problems on new appends.
readWithoutClosing h = do
c <- lift (Data.ByteString.hGetSome h defaultChunkSize)
if Data.ByteString.null c
then return ()
else do B.chunk c
readWithoutClosing h
它需要一个文件路径和一个使用流式字节串的回调。
这个想法是,每次从句柄读取直到 EOF 之前,我们都会减少一个信号量,该信号量仅由文件修改时调用的回调增加。
我们可以像这样测试函数:
main :: IO ()
main = do
filepath : _ <- getArgs
tailing filepath B.stdout
关于haskell - 如何(有效地)使用 Haskell 跟踪/跟踪文件,包括检测文件旋转? (尾-F),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41230293/