java - 为什么相同的图像(编辑: PNG) produce two slightly different byte arrays in Java?

Question

我正在编写一个简单的应用程序，其中一个功能是将对象序列化为图像的能力，以便用户可以共享其项目的照片以及嵌入其中的构建指令。目前，其他用户可以将图像拖放到 JavaFX ListView 中，监听器将执行一些代码来解码和解析嵌入的 JSON。

如果图像存储在本地，则效果很好，但我也希望允许用户从浏览器拖放图像，而不必先将它们保存在本地。为了测试这个，我在一个基本的 HTML 文件中链接了一个工作图像，这样我就可以在 Chrome 中渲染它。

最初我使用的是从拖板获取的文件路径，但是当图像来自浏览器时，我需要(我认为)能够直接接受图像，因此下面重载了decode()方法。

我遇到的问题是，我最终得到两个略有不同的字节数组，具体取决于图像是来自浏览器还是来 self 的主本地存储中的某个位置。我对 Java 中的图像(或一般情况)了解不够，无法理解为什么会出现这种情况，并且无法在其他地方找到答案。浏览器源拖放会产生一个足够不同的字节数组，我无法 100% 正确解码消息，因此无法将其反序列化为对象。但是，如果我右键单击并保存基于浏览器的图像，它将正确加载。

我在下面包含了一个可复制的片段和一个测试图像。我的 JDK 是最新版本的 Amazon Corretto 8。

可重现的片段:

import javafx.application.Application;
import javafx.scene.Scene;
import javafx.scene.control.ListView;
import javafx.scene.image.Image;
import javafx.scene.image.PixelFormat;
import javafx.scene.image.PixelReader;
import javafx.scene.image.WritablePixelFormat;
import javafx.scene.input.TransferMode;
import javafx.scene.layout.GridPane;
import javafx.stage.Stage;


import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.awt.image.DataBufferByte;
import java.io.File;
import java.io.IOException;
import java.net.URL;
import java.nio.ByteBuffer;
import java.util.List;

public class MainApp extends Application {
    private static final int OFFSET = 40;
    private ListView<String> listView;
    private GridPane gridPane;

    @Override
    public void start(Stage primaryStage) throws Exception {
        listView = new ListView<>();
        gridPane = new GridPane();
        gridPane.addRow(0, listView);
        setDragDropAction();
        Scene scene = new Scene(gridPane, 250, 250);
        primaryStage.setScene(scene);
        primaryStage.sizeToScene();
        primaryStage.show();
    }

// the same drag-drop logic I am using in my project
    private void setDragDropAction() {
        gridPane.setOnDragOver(event -> {
            if (event.getDragboard().hasFiles() || event.getDragboard().hasImage()) {
                event.acceptTransferModes(TransferMode.ANY);
            }
            event.consume();
        });

        gridPane.setOnDragDropped(event -> {
            List<File> files = event.getDragboard().getFiles();
            try {
                if (!files.isEmpty()) {
                    String decoded = decode(files.get(0));
                    System.out.println(decoded);
                } else if (event.getDragboard().hasImage()) {
                    Image image = event.getDragboard().getImage();
                    String decoded = decode(image);
                    System.out.println(decoded);
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        });
    }

    // decode using the file path
    public String decode(File file) throws IOException {
        byte[] byteImage = imageToByteArray(file);
        return getStringFromBytes(byteImage);
    }

    // this results in a different byte array and a failed decode
    public String decode(Image image) {
        int width = (int) image.getWidth();
        int height = (int) image.getHeight();
        PixelReader reader = image.getPixelReader();
        byte[] byteImage = new byte[width * height * 4];
        WritablePixelFormat<ByteBuffer> format = PixelFormat.getByteBgraInstance();
        reader.getPixels(0, 0, width, height, format, byteImage, 0, width * 4);

        return getStringFromBytes(byteImage);
    }

    private String getStringFromBytes(byte[] byteImage) {
        int offset = OFFSET;
        byte[] byteLength = new byte[4];
        System.arraycopy(byteImage, 1, byteLength, 0, (offset / 8) - 1);
        int length = byteArrayToInt(byteLength);
        byte[] result = new byte[length];
        for (int b = 0; b < length; ++b) {
            for (int i = 0; i < 8; ++i, ++offset) {
                result[b] = (byte) ((result[b] << 1) | (byteImage[offset] & 1));
            }
        }
        return new String(result);
    }

    private int byteArrayToInt(byte[] b) {
        return b[3] & 0xFF
                | (b[2] & 0xFF) << 8
                | (b[1] & 0xFF) << 16
                | (b[0] & 0xFF) << 24;
    }

    private byte[] imageToByteArray(File file) throws IOException {
        BufferedImage image;
        URL path = file.toURI().toURL();
        image = ImageIO.read(path);
        return ((DataBufferByte) image.getRaster().getDataBuffer()).getData();
    }

}

使用 SwingFXUtils.fromFXImage() 的解码方法的另一次尝试也不起作用:

// Create a buffered image with the same imageType (6) as the type returned from ImageIO.read() with a local drag-drop
public String decode(Image image) throws IOException {
        int width = (int) image.getWidth();
        int height = (int) image.getHeight();
        BufferedImage buffImageFinal = new BufferedImage(width, height, 6); // imageType = 6
        BufferedImage buffImageTemp =  SwingFXUtils.fromFXImage(image, null);
        Graphics2D g = buffImageFinal.createGraphics();
        g.drawImage(buffImageTemp, 0, 0, width, height, null);
        g.dispose();
        return getStringFromBytes(((DataBufferByte) buffImageFinal.getRaster().getDataBuffer()).getData());
    }

显示数据变化的图像:

Corner of image. Dissimilar pixels are highlighted in red.

用于测试的示例图像:

解码后的测试消息应该打印出来(“这是我的最小可重现示例的测试消息”。从浏览器中拖动图像不起作用，在本地保存图像并拖放它可以。

Answer 1

根据 OP 的评论，event.getDragboard.getImage() 加载具有预乘 Alpha 的图像，而 ImageIO.read() 则不会。一种简单的规避方法是从事件中获取 url(无论图像如何拖放)并使用 ImageIO.read()。

gridPane.setOnDragDropped(event -> {
    if (event.getDragboard().hasUrl()) {
        try {
            URL path = new URL(event.getDragboard().getUrl());
            String decoded = decode(path);
            System.out.println(decoded);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
});

进行以下修改

public String decode(URL url) throws IOException {
    byte[] byteImage = imageToByteArray(url);
    return getStringFromBytes(byteImage);
}

private byte[] imageToByteArray(URL url) throws IOException {
    BufferedImage image = ImageIO.read(url);
    return ((DataBufferByte) image.getRaster().getDataBuffer()).getData();
}

请注意，从 url 加载仅支持有限的一组格式，如 here 所示。 .