c++ - 为什么本地服务器上的 Sparql 端点不返回给定类型的完整实体集？

Question

简介

我已将 freebase 上传到 Virtuoso open-source .数据库位于以下服务器上:http://SERVER_SPARQL:8890/sparql .我想提取所有类型为 common.topic 的entities 的描述。

---

C++类

为了访问数据库，我使用了 curlpp 和 c++。我很确定这不是类(class)的问题。无论如何我都会发布它。

#include "SparqlQuery.h"

#include <curlpp/cURLpp.hpp>
#include <curlpp/Easy.hpp>
#include <curlpp/Options.hpp>
#include <curlpp/Exception.hpp>
#include <sstream>
#include <fstream>

using namespace std;

SparqlQuery::SparqlQuery(const string & query, const string & url):_query(query),_url(url){}

size_t  WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

string SparqlQuery::retrieveInformations()
{
    CURL *curl;
    CURLcode res;
    curl = curl_easy_init();
    cout << _url << endl;
    string readBuffer = "";
    if(curl)
    {
        //convert string query to URL format
        char * parameters = curl_easy_escape(curl, _query.c_str(), (int)_query.size());

        //Format query according to the sparql endpoint site
        string query = "query=";
        string tothis(parameters);
        string buffer = query + tothis;

        curl_free(parameters);

        //Launch query and retrieve informations in form of an xml structure
        curl_easy_setopt(curl, CURLOPT_URL, _url.c_str());
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, buffer.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

---

实体数

当我使用以下查询时，它返回 43453748 个类型为 common.topic 的实体。哪个好

void loadData()
{
  cout <<"loading data" << endl;
  string serverURL = "http://SERVER_SPARQL:8890/sparql";
  string query = "select count(*) where {?head <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdf.basekb.com/ns/common.topic>.}";

  SparqlQuery sparql(query, severURL);
  string result = sparql.retrieveInformations();
  cout << result << endl;
}

---

问题

当我使用以下查询时，它不会输出超过 10,000 个实体。即使我尝试从浏览器查询，它也不会返回完整的实体集。您知道为什么它不返回完整结果吗？就好像结果是有限的。

void Freebase::loadData()
{
  cout <<"loading data" << endl;
  string serverURL = "http://SERVER_SPARQL:8890/sparql";
  string query = "select ?head, ?description where { ?head <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdf.basekb.com/ns/common.topic>.?head <http://rdf.basekb.com/ns/common.topic.description>  ?description.}";

  SparqlQuery sparql(query, serverURL);
  string result = sparql.retrieveInformations();
  cout << result << endl;
}

---

修改

我试图通过添加 should-sponge 选项来修改类，但现在问题如下:

Virtuoso 22023 Error SR078: The result set is too long, must limit result for at most 2097151 rows (DAMN IT!!!!!!!!!!!!!!!)

using namespace std;

SparqlQuery::SparqlQuery(const string & query, const string & url):_query(query),_url(url){}

size_t  WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

string SparqlQuery::retrieveInformations()
{
    CURL *curl;
    CURLcode res;
    curl = curl_easy_init();
    cout << _url << endl;
    string readBuffer = "";
    if(curl)
    {
        //convert string query to URL format
        char * parameters = curl_easy_escape(curl, _query.c_str(), (int)_query.size());
    string val = "grab-all-seealso";
    char * sponge_parameters = curl_easy_escape(curl, val.c_str(), (int)val.size());

        //Format query according to the sparql endpoint site
    string should_sponge= "should-sponge=";
    string last(sponge_parameters);
    string buffer1 = should_sponge + last;

        string query = "query=";
        string tothis(parameters);
        string buffer = query + tothis +"&"+ buffer1;
        cout << buffer << endl;

        curl_free(parameters);
    curl_free(sponge_parameters);

        //Launch query and retrieve informations in form of an xml structure
        curl_easy_setopt(curl, CURLOPT_URL, _url.c_str());
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, buffer.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

---

更新

正如建议的那样，我实际上使用了 LIMIT 和 OFFSET。根据this post没有必要使用 ORDER BY。这实际上更适合我。它要快得多，而且我没有收到时间限制异常。

for(int offset = 1000; ;offset += 1000 )
  {
    string query = "PREFIX basekb:<http://rdf.basekb.com/ns/> PREFIX rdf:<http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX rdfs:<http://www.w3.org/2000/01/rdf-schema#> select distinct ?head ?label where { ?head rdf:type basekb:common.topic. ?head rdfs:label ?label}LIMIT 1000 OFFSET " + std::to_string(offset) ;
    SparqlQuery sparql(query, _serverURL);
    string result = sparql.retrieveInformations();
    cout << result << endl;
  }

请问我还有一个问题。我怎么知道我是否超过了最低限度？希望我不会得到重复的结果。

---

Answer 1

对于第一个近似值，所有具有 common.topic.description 属性的实体都属于 common.topic 类型，因此对于许多应用程序来说，这是一种更简单的方法将只是在源 RDF 文件上使用 grep 来查找具有 common.topic.description 三元组的所有行。

这将在几分钟而不是几小时内给您答复。

如果您想坚持使用 SPARQL，请尝试将 LIMIT 和 OFFSET 子句添加到您的查询中并迭代以获得所有结果(如 Joshua Taylor 所提到的，但埋没在评论中)。