java - 用对应于HashSet的固定键创建一个HashMap。出发点

原文 标签 java hashmap hashset wikipedia

我的目标是创建一个以字符串为键的哈希表,并将条目值作为字符串的HashSet。



输出值

这是现在的输出:

Hudson+(surname)=[Q2720681], Hudson,+Quebec=[Q141445], Hudson+(given+name)=[Q5928530], Hudson,+Colorado=[Q2272323], Hudson,+Illinois=[Q2672022], Hudson,+Indiana=[Q2710584], Hudson,+Ontario=[Q5928505], Hudson,+Buenos+Aires+Province=[Q10298710], Hudson,+Florida=[Q768903]]


根据我的想法,它应该看起来像这样:

[Hudson+(surname)=[Q2720681,Q141445,Q5928530,Q2272323,Q2672022]]




目的是将特定名称存储在Wikidata中,然后将所有与该名称相关的Q值消除歧义,因此,例如:

This是“布什”的页面。

我希望布什成为关键,然后针对所有不同的出发点,将Bush与Wikidata的终端页面相关联的所有不同方式,我想存储相应的“ Q值”,或者唯一的字母数字标识符。

我实际上是在尝试从Wikipedia歧义词中抓取不同的名称,值,然后在Wikidata中查找与该值关联的唯一字母数字标识符。

例如,使用Bush,我们有:

George H. W. Bush 
George W. Bush
Jeb Bush
Bush family
Bush (surname) 


因此,Q值为:

George H. W. Bush(Q23505)

George W. Bush(Q207)

Jeb Bush(Q221997)

Bush family(Q2743830)

Bush(Q1484464)

我的想法是数据结构应按以下方式解释

密钥:Bush
条目集:Q23505, Q207, Q221997, Q2743830, Q1484464

但是我现在拥有的代码无法做到这一点。

它为每个名称和Q值创建一个单独的条目。即

密钥:Jeb Bush
条目集:Q221997

密钥:George W. Bush
条目集:Q207

等等。

可以在my github page上查看完整的代码,但下面也将对其进行总结。

这就是我用来向数据结构中添加值的内容:

// add Q values to their arrayList in the hash map at the index of the appropriate entity
public static HashSet<String> put_to_hash(String key, String value) 
{
    if (!q_valMap.containsKey(key)) 
    {
        return q_valMap.put(key, new HashSet<String>() );
    }
    HashSet<String> list = q_valMap.get(key);
    list.add(value);
    return q_valMap.put(key, list);
}


这是我获取内容的方式:

    while ((line_by_line = wiki_data_pagecontent.readLine()) != null) 
    {
        // if we can determine it's a disambig page we need to send it off to get all 
        // the possible senses in which it can be used.
        Pattern disambig_pattern = Pattern.compile("<div class=\"wikibase-entitytermsview-heading-description \">Wikipedia disambiguation page</div>");
        Matcher disambig_indicator = disambig_pattern.matcher(line_by_line);
        if (disambig_indicator.matches()) 
        {
            //off to get the different usages
            Wikipedia_Disambig_Fetcher.all_possibilities( variable_entity );
        }
        else
        {
            //get the Q value off the page by matching
            Pattern q_page_pattern = Pattern.compile("<!-- wikibase-toolbar --><span class=\"wikibase-toolbar-container\"><span class=\"wikibase-toolbar-item " +
                    "wikibase-toolbar \">\\[<span class=\"wikibase-toolbar-item wikibase-toolbar-button wikibase-toolbar-button-edit\"><a " +
                    "href=\"/wiki/Special:SetSiteLink/(.*?)\">edit</a></span>\\]</span></span>");

            Matcher match_Q_component = q_page_pattern.matcher(line_by_line);
            if ( match_Q_component.matches() ) 
            {
                String Q = match_Q_component.group(1);

                // 'Q' should be appended to an array, since each entity can hold multiple
                // Q values on that basis of disambig
                put_to_hash( variable_entity, Q );
            }
        }

    }


这就是我处理歧义消除页面的方式:

public static void all_possibilities( String variable_entity ) throws Exception
{
    System.out.println("this is a disambig page");
    //if it's a disambig page we know we can go right to the wikipedia


    //get it's normal wiki disambig page
    Document docx = Jsoup.connect( "https://en.wikipedia.org/wiki/" + variable_entity ).get();



        //this can handle the less structured ones. 
        Elements linx = docx.select( "p:contains(" + variable_entity + ") ~ ul a:eq(0)" );

        for (Element linq : linx) 
        {
            System.out.println(linq.text());
            String linq_nospace = linq.text().replace(' ', '+');
            Wikidata_Q_Reader.getQ( linq_nospace );

        }

}


我当时在想也许可以传递Key值,但我真的不知道。我有点卡住。也许有人可以看到我如何实现此功能。

最佳答案

我不清楚您的问题是什么不起作用,或者您是否看到实际错误。但是,虽然您的基本数据结构构想(从HashMapStringSet<String>)是正确的,但“添加”功能中存在一个错误。

public static HashSet<String> put_to_hash(String key, String value) 
{
    if (!q_valMap.containsKey(key)) 
    {
        return q_valMap.put(key, new HashSet<String>() );
    }
    HashSet<String> list = q_valMap.get(key);
    list.add(value);
    return q_valMap.put(key, list);
}


在第一次看到某个键(if (!q_valMap.containsKey(key)))的情况下,它将为该键激活一个新的HashSet,但是在返回之前不会在其上添加value。 (返回的值是该键的旧值,因此它将为null。)因此,您将失去每个术语的Q值之一。

对于这样的多层数据结构,我通常只对中间结构的活体进行特殊处理,然后在单个代码路径中进行添加和返回。我认为这可以解决。 (我也将其称为valSet,因为它是一个集合而不是列表。并且不需要每次都将集合重新添加到地图上;它是一种引用类型,在您第一次遇到该集合时会被添加键。)

public static HashSet<String> put_to_hash(String key, String value) 
{
    if (!q_valMap.containsKey(key)) {
        q_valMap.put(key, new HashSet<String>());
    } 
    HashSet<String> valSet = q_valMap.get(key);
    valSet.add(value);
    return valSet;
}


还请注意,返回的Set是对该键的实时Set的引用,因此您需要谨慎地在调用方中对其进行修改,并且如果要执行多线程操作,则将具有并发访问权限问题。

或者只是使用Guava Multimap,所以您不必担心自己编写实现。

相关文章:

java - 使用restTemplate时需要忽略证书

java - 100%准确的键,值HashMap

java - Java中有SoftHashMap吗?

java - 如何查看对象列表以找到匹配项?

rust - 如何修改HashSet中不属于哈希计算的属性?

java - 如何将字符串添加到LinkedHashSet?

java - 子视图标签的id属性

java - Apache Camel Bean中的动态PropertyInjection

java - 与Jersey和JAXB的编组列表<T>

java - 如何将给定数据解析为Java对象