string - 为什么当 TStringStream 加载二进制非文本文件时，使用 TStringStream.DataString 会失败？

Question

1. 正如专家们的善意建议，TStringStream.DataString不能用于检索由TStringStream.LoadFromFile加载的非文本数据code>，因为TStringStream.GetDataString会调用TEncoding的编码方法，以TMBCSEncoding为例，会调用TMBCSEncoding。 GetChars 依次调用 TMBCSEncoding.UnicodeFromLocaleChars，最后调用 Windows 的 MultiByteToWideChar。

2. 建议使用TBytes作为数据缓冲区/二进制存储。 (为此，建议使用 TBytes 而不是 AnsiString。)

3. 可以从 TStringStream.ReadBuffer 方法或 TStringStream.Bytes 属性检索字节。无论哪种方式，都应该考虑 TStream.Size。

================================================== =====

我正在尝试使用TStringStream 及其DataString 进行base64 编码/解码。正如 Nils Haeck 的回复 here 所表明的那样，这似乎是可能的或here .

1. 在TMainForm.QuestionOfString_StringStream(No.2到No.7)中使用TStringStream.DataString会失败，因为信息已损坏(即，信息不一样)作为原始信息)。然而，ss_loaded_2.SaveToFile(No.1)保存了原始信息，这表明TStringStream内部是否正确保存了解码后的非文本数据？您能帮忙评论一下 DataString 损坏的可能原因吗？

2. 在 Rob Kennedy 的友善回答中，他提到在存储经过 Base64 解码的非编码时应避免使用 string 或 ansiststring文本数据，这很有意义。然而，如 TMainForm.QuestionOfString_NativeXML 所示，AnsiString 类型的 DecString 包含已解码的字节，因此可以正确地编码数据。这是否意味着 AnsiString 可以完整保存解码的非文本数据？

3. David Heffernan 和 Rob Kennedy 对字节/TByte 进行了友好评论。但是，在 TMainForm.QuestionOfString_NativeXML_Bytes_1 中提取的 bytes 与 TMainForm 中 TStringStream 的 Bytes 不同。 QuestionOfString_NativeXML_Bytes_2。 (从 Base64 编码/解码结果来看，TStringStream.Bytes 是错误的。这很令人困惑，因为根据上面的段落，TStringStream 内部应该包含完整的字节？)您帮忙评论一下可能的原因吗？

非常感谢您的帮助!

PS:示例文件可以从网盘下载:REF_EncodedSample & REF_DecodedSample 。 (Zlib 压缩的图像文件。)。

PS:Delphi XE、Windows 7。(Delphi 7 中的 TStringStream 似乎没有 LoadFromFile 或 SaveToFile。)

示例代码

unit uMainForm;

interface

uses
  CodeSiteLogging,
  NativeXml, // v3.10
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs;

type
  TMainForm = class(TForm)
    procedure FormCreate(Sender: TObject);
  private
    { Private declarations }
    procedure QuestionOfString_StringStream;
    procedure QuestionOfString_NativeXML;
    procedure QuestionOfString_NativeXML_Bytes_1;
    procedure QuestionOfString_NativeXML_Bytes_2;
  public
    { Public declarations }
  end;

var
  MainForm: TMainForm;

implementation

{$R *.dfm}    

// http://stackoverflow.com/questions/773297/how-can-i-convert-tbytes-to-rawbytestring
function Convert(const Bytes: TBytes): RawByteString;
begin
  SetLength(Result, Length(Bytes));
  if Length(Bytes) > 0 then
  begin
    Move(Bytes[0], Result[1], Length(Bytes));
    // SetCodePage(Result, CP_ACP, False);
  end;
end;

procedure TMainForm.FormCreate(Sender: TObject);
begin
  QuestionOfString_StringStream;
  QuestionOfString_NativeXML;
  QuestionOfString_NativeXML_Bytes_1;
  QuestionOfString_NativeXML_Bytes_2;
end;

// http://www.delphigroups.info/2/3/321962.html
// http://borland.newsgroups.archived.at/public.delphi.graphics/200712/0712125679.html
procedure TMainForm.QuestionOfString_StringStream;
var
  ss_loaded_2, ss_loaded_3: TStringStream;
  dataStr: AnsiString;
  hexOfDataStr: AnsiString;
begin
  ss_loaded_2 := TStringStream.Create();
  // load the file containing Base64-decoded sample data
  ss_loaded_2.LoadFromFile('REF_DecodedSample');

  // 1  
  ss_loaded_2.SaveToFile('REF_DecodedSample_1_SavedByStringStream');

  // 2 
  ss_loaded_3 := TStringStream.Create(ss_loaded_2.DataString);
  ss_loaded_3.SaveToFile('REF_DecodedSample_2_SavedByStringStream');

  // 3     
  ss_loaded_3.Free;
  ss_loaded_3 := TStringStream.Create(ss_loaded_2.DataString, TEncoding.ASCII);
  ss_loaded_3.SaveToFile('REF_DecodedSample_3_SavedByStringStream');

  // 4     
  ss_loaded_3.Free;
  ss_loaded_3 := TStringStream.Create(ss_loaded_2.DataString, TEncoding.UTF8);
  ss_loaded_3.SaveToFile('REF_DecodedSample_4_SavedByStringStream');

  // 5     
  ss_loaded_3.Free;
  ss_loaded_3 := TStringStream.Create(AnsiString(ss_loaded_2.DataString));
  ss_loaded_3.SaveToFile('REF_DecodedSample_5_SavedByStringStream');

  // 6     
  ss_loaded_3.Free;
  ss_loaded_3 := TStringStream.Create(UTF8String(ss_loaded_2.DataString));
  ss_loaded_3.SaveToFile('REF_DecodedSample_6_SavedByStringStream');

  // 7 
  dataStr := ss_loaded_2.DataString;
  SetLength(hexOfDataStr, 2 * Length(dataStr));
  BinToHex(@dataStr[1], PAnsiChar(@hexOfDataStr[1]), Length(dataStr));
  CodeSite.Send(hexOfDataStr);

  ss_loaded_2.Free;
  ss_loaded_3.Free;
end;

// http://www.simdesign.nl/forum/viewtopic.php?f=2&t=1311
procedure TMainForm.QuestionOfString_NativeXML;
var
  LEnc, LDec: integer;
  EncStream: TMemoryStream;
  DecStream: TMemoryStream;
  EncString: AnsiString;
  DecString: AnsiString;
begin
  // encode and decode streams
  EncStream := TMemoryStream.Create;
  DecStream := TMemoryStream.Create;
  try
    // load BASE64-encoded data
    EncStream.LoadFromFile('REF_EncodedSample');
    LEnc := EncStream.Size;
    SetLength(EncString, LEnc);
    EncStream.Read(EncString[1], LEnc);

    // decode BASE64-encoded data, after removing control chars
    DecString := DecodeBase64(sdRemoveControlChars(EncString));
    LDec := length(DecString);
    DecStream.Write(DecString[1], LDec);

    // save the decoded data
    DecStream.SaveToFile('REF_DecodedSample_7_SavedByNativeXml');

    // EncString := sdAddControlChars(EncodeBase64(DecString), #$0D#$0A);
    EncString := EncodeBase64(DecString);

    // clear and resave encode stream as a copy
    EncStream.Clear;
    EncStream.Write(EncString[1], Length(EncString));
    EncStream.SaveToFile('REF_EncodedSampleCopy');

  finally
    EncStream.Free;
    DecStream.Free;
  end;
end;

procedure TMainForm.QuestionOfString_NativeXML_Bytes_1;
var
  LEnc, LDec: integer;
  EncStream: TMemoryStream;
  DecStream: TMemoryStream;
  EncString: AnsiString;
  DecString: AnsiString;
  DecBytes: TBytes;
begin
  // encode and decode streams
  EncStream := TMemoryStream.Create;
  DecStream := TMemoryStream.Create;
  try
    // load BASE64-decoded data
    DecStream.LoadFromFile('REF_DecodedSample');

    LDec := DecStream.Size;
    SetLength(DecBytes, LDec);
    DecStream.Read(DecBytes[0], LDec);

    EncString := EncodeBase64(Convert(DecBytes));

    // clear and resave encode stream as a copy
    EncStream.Write(EncString[1], Length(EncString));
    EncStream.SaveToFile('REF_EncodedSampleCopy_Bytes_1');

  finally
    EncStream.Free;
    DecStream.Free;
  end;
end;

procedure TMainForm.QuestionOfString_NativeXML_Bytes_2;
var
  LEnc, LDec: integer;
  EncStream: TMemoryStream;
  DecStream: TStringStream;
  EncString: AnsiString;
  DecString: AnsiString;
  DecBytes: TBytes;
begin
  // encode and decode streams
  EncStream := TMemoryStream.Create;
  DecStream := TStringStream.Create;
  try
    // load BASE64-decoded data
    DecStream.LoadFromFile('REF_DecodedSample');

    DecBytes := DecStream.Bytes;

    EncString := EncodeBase64(Convert(DecBytes));

    // clear and resave encode stream as a copy
    EncStream.Write(EncString[1], Length(EncString));
    EncStream.SaveToFile('REF_EncodedSampleCopy_Bytes_2');

  finally
    EncStream.Free;
    DecStream.Free;
  end;
end;

end.

Answer 1

示例 3 到示例 7 失败并不奇怪。您的文件不是文本数据，因此将其存储在文本数据结构中必然会出现问题。每个测试都涉及将数据从一种编码转换为另一种编码。由于您的数据一开始就不是编码为 UTF-16 文本的，因此任何期望数据具有该编码的转换都会失败。

示例 2 可能会失败，因为您有奇数个字节，而您将其存储在根据定义包含偶数个字节的字符串中。在某个地方，一个字节将被引入或删除，从而导致存储不同的数据。

除非您要处理文本，否则不要使用 TStringStream、string 或 AnsiString。请尝试使用 TBytesStream 或 TMemoryStream。

随意将 Base64 编码的数据存储在字符串中。 Base64 是一种文本格式。但是一旦你解码它，它又是二进制的，并且不再需要使用文本数据结构。

您现在看到的结果与 Nils Haeck 建议您应该期望的结果不同的原因是 Haeck 是在 2007 年编写的，当时 Delphi 字符串成为 Unicode 并且 RTL 进行任何自动代码页转换。您使用的是 Delphi XE，其中 string 是 UnicodeString。