headline: RBN set/seeme
[spider.git] / perl / DXDupe.pm
1 #
2 # class to handle all dupes in the system
3 #
4 # each dupe entry goes into a tied hash file 
5 #
6 # the only thing this class really does is provide a
7 # mechanism for storing and checking dups
8 #
9
10 package DXDupe;
11
12 use DXDebug;
13 use DXUtil;
14 use DXVars;
15
16 use vars qw{$lasttime $dbm %d $default $fn};
17
18 $default = 48*24*60*60;
19 $lasttime = 0;
20 localdata_mv("dupefile");
21 $fn = localdata("dupefile");
22
23 sub init
24 {
25         unlink $fn;
26         $dbm = tie (%d, 'DB_File', $fn);
27         confess "cannot open $fn $!" unless $dbm;
28 }
29
30 sub finish
31 {
32         dbg("DXDupe finishing");
33         undef $dbm;
34         untie %d;
35         undef %d;
36         unlink $fn;
37 }
38
39 sub check
40 {
41         my $s = shift;
42         return 1 if find($s);
43         add($s, shift);
44         return 0;
45 }
46
47 sub find
48 {
49         return $d{$_[0]};
50 }
51
52 sub add
53 {
54         my $s = shift;
55         my $t = shift || $main::systime + $default;
56         $d{$s} = $t;
57 }
58
59 sub del
60 {
61         my $s = shift;
62         delete $d{$s};
63 }
64
65 sub process
66 {
67         # once an hour
68         if ($main::systime - $lasttime >=  3600) {
69                 my @del;
70                 while (($k, $v) = each %d) {
71                         push @del, $k  if $main::systime >= $v;
72                 }
73                 delete $d{$_} for @del;
74                 $lasttime = $main::systime;
75         }
76 }
77
78 sub get
79 {
80         my $start = shift;
81         my @out;
82         while (($k, $v) = each %d) {
83                 push @out, $k, $v if !$start || $k =~ /^$start/; 
84         }
85         return @out;
86 }
87
88 sub listdups
89 {
90         my $let = shift;
91         my $dupage = shift;
92         my $regex = shift;
93
94         $regex =~ s/[\^\$\@\%]//g;
95         $regex = ".*$regex" if $regex;
96         $regex = "^$let" . $regex;
97         my @out;
98         for (sort { $d{$a} <=> $d{$b} } grep { m{$regex}i } keys %d) {
99                 my ($dum, $key) = unpack "a1a*", $_;
100                 push @out, "$key = " . cldatetime($d{$_} - $dupage) . " expires " . cldatetime($d{$_});
101         }
102         return @out;
103 }
104
105 sub END
106 {
107         if ($dbm) {
108                 dbg("DXDupe ENDing");
109                 finish();
110         }
111 }
112 1;