tomcat - 在 Hadoop 中实现作业结束通知监听器

Question

我正在尝试在工作完成后收到通知。为此，我使用以下链接作为引用。我无法让它工作。我在互联网上找不到太多关于它的东西。我正在使用 tomcat 作为在我使用 servlet 的地方建立通知 url 点的方法。

http://hadoopi.wordpress.com/2013/09/18/hadoop-get-a-callback-on-mapreduce-job-completion/

根据我的说法，这是 servlet 显然不应该工作，因为我没有直接从我应该提交参数的另一个页面调用它。在这里，我需要一个监听器来获取来自 hadoop 的调用，然后获取将提交给 servlet 的 jobId 和 jobStatus，但我不知道如何实现。

import java.io.*;
import java.util.Enumeration;
import javax.servlet.*;
import javax.servlet.http.*;
import java.sql.*;

public class Serv extends HttpServlet
{ 
    private static final long serialVersionUID = 1L;
    public void doGet(HttpServletRequest req,HttpServletResponse res)throws ServletException,IOException
    {
        String jobId=req.getParameter("jobId");
        String jobStatus=req.getParameter("jobStatus");
        res.setContentType("text/html");
        PrintWriter pw=res.getWriter();
        pw.println("JobId: \n"+jobId);
        pw.println("JobStatus: \n"+jobStatus);
        pw.close();
    }
    public void doPost(HttpServletRequest req,HttpServletResponse res)throws ServletException,IOException
    {
        String jobId=req.getParameter("jobId");
        String jobStatus=req.getParameter("jobStatus");
        res.setContentType("text/html");
        PrintWriter pw=res.getWriter();
        pw.println("JobId: \n"+jobId);
        pw.println("JobStatus: \n"+jobStatus);
        pw.close();
    }
} 

这是我的 Toolrunner 运行函数中用于通知的代码部分。

conf.set("job.end.notification.url", "http://localhost:8080/Serv?jobId=$jobId&jobStatus=$jobStatus");                                 
conf.setInt("job.end.retry.attempts", 3);
conf.setInt("job.end.retry.interval", 1000);

我认为可能还有很多工作要做才能让它发挥作用。

我对 php 进行了同样的尝试，并相应地更改了代码。

编辑 我得到它的一部分，我必须将输出记录在一个文件或其他地方，以便在调用 Servlet 时它应该将输出记录到一个文件，即创建一个具有作业 ID 和作业状态的文件。所以我按如下方式更改了我的 Servlet 代码，但仍然没有创建文件。

import java.io.*;
import java.util.Enumeration;
import javax.servlet.*;
import javax.servlet.http.*;
import java.sql.*;

public class Serv extends HttpServlet
{ 
    private static final long serialVersionUID = 1L;
    public void doGet(HttpServletRequest req,HttpServletResponse res)throws ServletException,IOException
    {
        String jobId=req.getParameter("jobId");
        String jobStatus=req.getParameter("jobStatus");
        res.setContentType("text/html");
        PrintWriter pw=res.getWriter();
        pw.println("JobId: \n"+jobId);
        pw.println("JobStatus: \n"+jobStatus);
        PrintWriter writer = new PrintWriter("log.txt", "UTF-8");
        writer.println("Job ID : "+jobId);
        writer.println("Job Status : "+jobStatus);
        writer.close();
        pw.close();

    }
    public void doPost(HttpServletRequest req,HttpServletResponse res)throws ServletException,IOException
    {
        String jobId=req.getParameter("jobId");
        String jobStatus=req.getParameter("jobStatus");
        res.setContentType("text/html");
        PrintWriter pw=res.getWriter();
        pw.println("JobId: \n"+jobId);
        pw.println("JobStatus: \n"+jobStatus);
        PrintWriter writer = new PrintWriter("log.txt", "UTF-8");
        writer.println("Job ID : "+jobId);
        writer.println("Job Status : "+jobStatus);
        writer.close();
        pw.close();
    }
}

感谢任何帮助。

Answer 1

这就是我最终使它工作的方法。 我之前所做的是一些愚蠢的事情，我试图回应输出。这显然对我来说似乎是错误的，但当调用 Servlet 时我必须在某处记录输出并没有让我明白，所以我将输出写入一个有效的文件。

行 String path = getServletContext().getRealPath("/"); 在这里很重要，因为它设置了根目录的路径，否则它会拒绝写入日志文件的权限。

import java.io.*;
import java.util.Enumeration;
import javax.servlet.*;
import javax.servlet.http.*;
import java.sql.*;

public class Serv extends HttpServlet
{ 
    private static final long serialVersionUID = 1L;
    public void doGet(HttpServletRequest req,HttpServletResponse res)throws ServletException,IOException
    {
        String jobId=req.getParameter("jobId");
        String jobStatus=req.getParameter("jobStatus");
        res.setContentType("text/html");
        PrintWriter pw=res.getWriter();
        pw.println("JobId: \n"+jobId);
        pw.println("JobStatus: \n"+jobStatus);
        String path = getServletContext().getRealPath("/");
        PrintWriter writer = new PrintWriter(path+"log.txt", "UTF-8");
        writer.println("Job ID : "+jobId);
        writer.println("Job Status : "+jobStatus);
        writer.close();
        pw.close();

    }
    public void doPost(HttpServletRequest req,HttpServletResponse res)throws ServletException,IOException
    {
        String jobId=req.getParameter("jobId");
        String jobStatus=req.getParameter("jobStatus");
        res.setContentType("text/html");
        PrintWriter pw=res.getWriter();
        pw.println("JobId: \n"+jobId);
        pw.println("JobStatus: \n"+jobStatus);
        String path = getServletContext().getRealPath("/");
        PrintWriter writer = new PrintWriter(path+"log.txt", "UTF-8");
        writer.println("Job ID : "+jobId);
        writer.println("Job Status : "+jobStatus);
        writer.close();
        pw.close();
    }
}