trim comment lth for dupes after normalisation and not before
[spider.git] / perl / Spot.pm
index 112fcffed0565c8a9cd4010f4ab05ac52deb5972..d52575afbcc8ce25a1870aff607e8da1356c1443 100644 (file)
@@ -343,9 +343,9 @@ sub dup
                        $text = "" if $cty == $try[0];
                }
        }
-       $text = substr($text, 0, $duplth) if length $text > $duplth; 
        $text = pack("C*", map {$_ & 127} unpack("C*", $text));
        $text =~ s/[^\w]//g;
+       $text = substr($text, 0, $duplth) if length $text > $duplth; 
        my $ldupkey = "X$freq|$call|$by|$text";
        my $t = DXDupe::find($ldupkey);
        return 1 if $t && $t - $main::systime > 0;