]> dxcluster.net Git - spider.git/commitdiff
trim duplth after normalisation
authorminima <minima>
Wed, 10 Aug 2005 20:02:02 +0000 (20:02 +0000)
committerminima <minima>
Wed, 10 Aug 2005 20:02:02 +0000 (20:02 +0000)
perl/AnnTalk.pm

index fb745edcf15bf0275b4ef134bd221aa26a5978ad..75feb9d92b3c7f71311ffe3917070f6261d6ca36 100644 (file)
@@ -53,9 +53,9 @@ sub dup
        chomp $text;
        unpad($text);
        $text =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
        chomp $text;
        unpad($text);
        $text =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
-       $text = substr($text, 0, $duplth) if length $text > $duplth; 
        $text = pack("C*", map {$_ & 127} unpack("C*", $text));
        $text =~ s/[^\#a-zA-Z0-9]//g;
        $text = pack("C*", map {$_ & 127} unpack("C*", $text));
        $text =~ s/[^\#a-zA-Z0-9]//g;
+       $text = substr($text, 0, $duplth) if length $text > $duplth; 
        my $dupkey = "A$to|\L$text";
        return DXDupe::check($dupkey, $t);
 }
        my $dupkey = "A$to|\L$text";
        return DXDupe::check($dupkey, $t);
 }