快捷导航
        比如淘宝搜索列表,按产品来搜的,可能会多次显示同一个商家的产品,但是我的永久最新域名地址内容就是永久最新域名地址商家,只需要永久最新域名地址一次就够了,后面碰到已经永久最新域名地址过了的商家,怎么判断内容相同和跳过这条线索?
        举报 使用道具
        | 回复

        共 1 个关于本帖的回复 最后回复于 2020-3-14 18:11

        沙发
        Fuller 管理员 发表于 2020-3-14 18:11:41 | 只看该作者
        做好永久最新域名地址商家的规则,然后给这个规则添加线索,是会做重复过滤的。

        添加线索可能有两种:
        1,通过层级永久最新域名地址生成的下级线索
        2,手工导入的线索

        这两种都能判断重复。但是要注意:
        1,如果一个商家已经被永久最新域名地址过了,之后又添加一次,就会再次激活。为了不重复永久最新域名地址,先把所有商家线索都添加好,再启动永久最新域名地址
        2,如果网址中含有一些参数,比如, &号紧跟着的参数,那么会把整个作为一个网址,而真正有效的可能只是前面的几个参数就决定了这个商家。那么,后面这些参数应该删除掉再导入网址。在淘宝这样的网站上,原始网址后面往往会加很多参数,用来做营销监测的,把这些参数删除了,才能得到原始的网址。如果含有这些参数,每次得到的网址参数不一样,实际上是同一个商家,这样就形成重复网址了
        举报 使用道具
        您需要登录后才可以回帖 登录 | 立即注册

        精彩推荐

        • 关于食品安全的美国联邦法规文件的网络爬虫
        • 怎样更有效率地搜索互联网和整理知识—使用
        • 阿里巴巴外包询价网站用集搜客网络爬虫能采
        • 在限定论域的时候,为什么“任何一个”表示
        • 数理逻辑是讲什么的?

        热门用户

        GMT+8, 2020-3-31 21:27