]> dxcluster.net Git - spider.git/blob - perl/DXDupe.pm
fix pc16 and p19 count
[spider.git] / perl / DXDupe.pm
1 #
2 # class to handle all dupes in the system
3 #
4 # each dupe entry goes into a tied hash file 
5 #
6 # the only thing this class really does is provide a
7 # mechanism for storing and checking dups
8 #
9
10 package DXDupe;
11
12 use DXDebug;
13 use DXUtil;
14 use DXVars;
15
16 use vars qw{$lasttime $dbm %d $default $fn};
17
18 $default = 48*24*60*60;
19 $lasttime = 0;
20 $fn = "$main::data/dupefile";
21
22 sub init
23 {
24         $dbm = tie (%d, 'DB_File', $fn) or confess "can't open dupe file: $fn ($!)";
25 }
26
27 sub finish
28 {
29         undef $dbm;
30         untie %d;
31         undef %d;
32 }
33
34 sub check
35 {
36         my ($s, $t) = @_;
37         return 1 if exists $d{$s};
38         $t = $main::systime + $default unless $t;
39         $d{$s} = $t;
40         return 0;
41 }
42
43 sub del
44 {
45         my $s = shift;
46         delete $d{$s};
47 }
48
49 sub process
50 {
51         # once an hour
52         if ($main::systime - $lasttime >=  3600) {
53                 while (($k, $v) = each %d) {
54                         delete $d{$k} if $main::systime >= $v;
55                 }
56                 $lasttime = $main::systime;
57         }
58 }
59
60 sub get
61 {
62         my $start = shift;
63         my @out;
64         while (($k, $v) = each %d) {
65                 push @out, $k, $v if !$start || $k =~ /^$start/; 
66         }
67         return @out;
68 }
69
70 sub listdups
71 {
72         my $let = shift;
73         my $dupage = shift;
74         my $regex = shift;
75
76         $regex =~ s/[\^\$\@\%]//g;
77         $regex = ".*$regex" if $regex;
78         $regex = "^$let" . $regex;
79         my @out;
80         for (sort { $d{$a} <=> $d{$b} } grep { m{$regex}i } keys %d) {
81                 my ($dum, $key) = unpack "a1a*", $_;
82                 push @out, "$key = " . cldatetime($d{$_} - $dupage);
83         }
84         return @out;
85 }
86 1;