c# - 我需要使用 Web API 和 JSON 通过互联网传输 100 万行

Question

我正在开发一个项目，需要将大约一百万行从第三方服务器传输到我们的服务器。

标准是

1. 我无法直接访问数据库。
2. 数据应该按需可用，并且不希望在本地长时间存储数据。
3. 我无权传输文件。

我正在考虑使用 Web API 来完成这项工作并使用 JSON 传输数据。除此之外，我打算使服务异步。我还查看了 Signal R，看看这是否可行。然而，这会导致我在本地存储数据，这违反了标准之一。

问题是，Web API 是否可以解决我的问题，或者是否有更好的方法来实现最终结果。

Answer 1

将一百万行从一台服务器传输(谈论复制)到另一台服务器似乎不正确(我对问题的这一部分感到有点困惑)。

SignalR 用于实时通信，每次数据更改时服务器都会更新客户端，使用此组件，通信发生在发生变化而不是按需。

通过 Web API(带有 REST)，您可以按需请求数据，不仅可以请求所有数据，还可以请求该数据的一小部分，并且如果需要，仅将引用存储在目标服务器上。

举例来说，如果您有 100 万员工，您可以:

获取所有员工:

http://example.com/employees

让员工处于活跃状态:

http://example.com/employees?active=true

获取有关寄存器 9 的员工的数据:

http://example.com/employees/9

使用 OData 进行分页、排序和查询: https://blogs.msdn.microsoft.com/youssefm/2013/02/19/paging-with-asp-net-web-api-odata/

REST 简要说明:http://www.looah.com/source/view/2284

使用 ASP 构建 Web api: https://learn.microsoft.com/en-us/aspnet/core/tutorials/first-web-api

信号R: https://www.asp.net/signalr/overview/guide-to-the-api/hubs-api-guide-net-client