我正在处理纽约市 MTA 地铁系统的 GTFS 数据。我需要在特定站点找到每条路线的停止时间。为此,我从我拥有的 StopTimes 数据表中获取特定 stop_id 的停止时间。我只想要从现在到接下来的 2 小时之间的停止时间。
然后,我需要使用 trip_id 值查找每个停止时间的行程。从那次旅行开始,我必须使用 route_id 值查找路线,以获得停止时间的路线名称或号码。
以下是每个 DataTable 的计数:StopTimes(522712)、Trips(19092)、Routes(27)。
目前,这需要 20 秒到 40 秒的时间来执行。我怎样才能加快速度?任何和所有建议表示赞赏。谢谢!
foreach (var r in StopTimes.OrderBy(z => z.Field<DateTime>("departure_time").TimeOfDay)
.Where(z => z.Field<string>("stop_id") == stopID &&
z["departure_time"].ToString() != "" &&
z.Field<DateTime>("departure_time").TimeOfDay >= DateTime.UtcNow.AddHours(-5).TimeOfDay &&
z.Field<DateTime>("departure_time").TimeOfDay <= DateTime.UtcNow.AddHours(-5).AddHours(2).TimeOfDay))
{
var trip = (from z in Trips
where z.Field<string>("trip_id") == r.Field<string>("trip_id") &&
z["route_id"].ToString() != ""
select z).Single();
var route = (from z in Routes
where z.Field<string>("route_id") == trip.Field<string>("route_id")
select z).Single();
// do stuff (not time-consuming)
}
最佳答案
试试这个:
var now = DateTime.UtcNow;
var tod0 = now.AddHours(-5).TimeOfDay;
var tod1 = now.AddHours(-5).AddHours(2).TimeOfDay;
var sts =
from st in StopTimes
let StopID = st.Field<string>("stop_id")
where StopID == stopID
where st["departure_time"].ToString() != ""
let DepartureTime = st.Field<DateTime>("departure_time").TimeOfDay
where DepartureTime >= tod0
where DepartureTime >= tod1
let TripID = st.Field<string>("trip_id")
select new
{
StopID,
TripID,
DepartureTime,
};
请注意,此查询中没有 orderby
,我们返回的是匿名类型。要运行“执行操作(不耗时)”代码,您可能需要添加更多属性。
同样的方法也适用于Trips
和Routes
。
var ts =
from t in Trips
where t["route_id"].ToString() != ""
let TripID = t.Field<string>("trip_id")
let RouteID = t.Field<string>("route_id")
select new
{
TripID,
RouteID,
};
var rs =
from r in Routes
let RouteID = r.Field<string>("route_id")
select new
{
RouteID,
};
由于每次查找都会获得一条记录,因此使用 ToDictionary(...)
是一个不错的选择。
var tripLookup = ts.ToDictionary(t => t.TripID);
var routeLookup = rs.ToDictionary(r => r.RouteID);
现在您的查询如下所示:
var query = from StopTime in sts.ToArray()
let Trip = tripLookup[StopTime.TripID]
let Route = routeLookup[Trip.RouteID]
orderby StopTime.DepartureTime
select new
{
StopTime,
Trip,
Route,
};
请注意,我使用了 .ToArray()
并将 orderby
放在最后。
然后你像这样运行你的代码:
foreach (var q in query)
{
// do stuff (not time-consuming)
}
如果这有帮助,请告诉我。
关于c# - 如何使 GTFS 数据的 Enumerable DataTable 的 LINQ 查询更快?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5189171/