javascript - 删除重复的关键字javascript

Question

我抓取了 10K 个关键字的列表，并且想要删除包含 2 个或更多重复关键字的行。

关键字示例:

abc electronics address
abc electronics sales
abc electronics black friday
electronics ps4
electronics ps3

它应该看起来像这样:

abc electronics address
electronics ps4
electronics ps3

我想用javascript来做到这一点，但我真的不知道如何去做，你们能帮我解决一下吗，谢谢!这就是我所想的，我想我可以以某种方式使用删除方法，但据我所知，我不知道该怎么做。

var saveKeywords;
saveKeywords =  "CODE:";
saveKeywords +=  "TAG POS=1 TYPE=TEXTAREA ATTR=NAME:comment EXTRACT=TXT" + "\n"; 

var saveKeywords = iimGetLastExtract();
var removeDuplicates = saveKeywords.remove(duplicateKeywords);

Answer 1

您必须从列表中获取每一行并拆分字符串，获取数组，过滤它以删除重复的项目，然后将它们连接回来。

var uniqueList=string.split(' ').filter(function(item,i,allItems){
    return i==allItems.indexOf(item);
}).join(',');

$('#output').append(uniqueList);

对于不支持的浏览器，您可以通过在 js 中添加它来解决它。

if (!Array.prototype.filter)
{
  Array.prototype.filter = function(fun /*, thisp*/)
  {
    "use strict";

    if (this == null)
      throw new TypeError();

    var t = Object(this);
    var len = t.length >>> 0;
    if (typeof fun != "function")
      throw new TypeError();

    var res = [];
    var thisp = arguments[1];
    for (var i = 0; i < len; i++)
    {
      if (i in t)
      {
        var val = t[i]; // in case fun mutates this
        if (fun.call(thisp, val, i, t))
          res.push(val);
      }
    }

    return res;
  };
}