Fix Filtering, RBN changes
[spider.git] / perl / Filter.pm
1 #
2 # The User/Sysop Filter module
3 #
4 # The way this works is that the filter routine is actually
5 # a predefined function that returns 0 if it is OK and 1 if it
6 # is not when presented with a list of things.
7 #
8 # This set of routines provide a means of maintaining the filter
9 # scripts which are compiled in when an entity connects.
10 #
11 # Copyright (c) 1999 Dirk Koopman G1TLH
12 #
13 #
14 #
15 # The NEW INSTRUCTIONS
16 #
17 # use the commands accept/spot|ann|wwv|wcy and reject/spot|ann|wwv|wcy
18 # also show/filter spot|ann|wwv|wcy
19 #
20 # The filters live in a directory tree of their own in $main::root/filter
21 #
22 # Each type of filter (e.g. spot, wwv) live in a tree of their own so you
23 # can have different filters for different things for the same callsign.
24 #
25
26
27 package Filter;
28
29 use DXVars;
30 use DXUtil;
31 use DXDebug;
32 use Data::Dumper;
33 use Prefix;
34 use DXLog;
35 use DXJSON;
36
37 use strict;
38
39 use vars qw ($filterbasefn $in);
40
41 $filterbasefn = "$main::root/filter";
42 $in = undef;
43 my $json;
44
45
46 # initial filter system
47 sub init
48 {
49         $json = DXJSON->new->indent(1);
50 }
51
52 sub new
53 {
54         my ($class, $sort, $call, $flag) = @_;
55         $flag = ($flag) ? "in_" : "";
56         return bless {sort => $sort, name => "$flag$call.pl" }, $class;
57 }
58
59 # standard filename generator
60 sub getfn
61 {
62         my ($sort, $call, $flag) = @_;
63
64     # first uppercase
65         $flag = ($flag) ? "in_" : "";
66         $call = uc $call;
67         my $fn = "$filterbasefn/$sort/$flag$call.pl";
68
69         # otherwise lowercase
70         unless (-e $fn) {
71                 $call = lc $call;
72                 $fn = "$filterbasefn/$sort/$flag$call.pl";
73         }
74         $fn = undef unless -e $fn;
75         return $fn;
76 }
77
78 # this reads in a filter statement and returns it as a list
79
80 # The filter is stored in straight perl so that it can be parsed and read
81 # in with a 'do' statement. The 'do' statement reads the filter into
82 # @in which is a list of references
83 #
84 sub compile
85 {
86         my $self = shift;
87         my $fname = shift;
88         my $ar = shift;
89         my $ref = $self->{$fname};
90         my $rr;
91         
92         if ($ref->{$ar} && exists $ref->{$ar}->{asc}) {
93                 my $s = $ref->{$ar}->{asc};     # an optimisation?
94                 $s =~ s/\$r/\$_[0]/g;
95 #               $s =~ s/\\\\/\\/g;
96                 $ref->{$ar}->{code} = eval "sub { $s }" ;
97                 if ($@) {
98                         my $sort = $ref->{sort};
99                         my $name = $ref->{name};
100                         dbg("Error compiling $ar $sort $name: $@");
101                         Log('err', "Error compiling $ar $sort $name: $@");
102                 }
103                 $rr = $@;
104         }
105         return $rr;
106 }
107
108 sub read_in
109 {
110         my ($sort, $call, $flag) = @_;
111         my $fn;
112         
113         # load it
114         if ($fn = getfn($sort, $call, $flag)) {
115                 $in = undef; 
116                 my $s = readfilestr($fn);
117                 my $newin;
118                 if ($s =~ /^\s*{/) {
119                         eval {$newin = $json->decode($s, __PACKAGE__)};
120                 } else {        
121                         $newin = eval $s;
122                 }
123                 if ($@) {
124                         dbg($@);
125                         unlink($fn);
126                         return undef;
127                 }
128                 if ($in) {
129                         $newin = new('Filter::Old', $sort, $call, $flag);
130                         $newin->{filter} = $in;
131                 } elsif (ref $newin && $newin->can('getfilkeys')) {
132                         my $filter;
133                         my $key;
134                         foreach $key ($newin->getfilkeys) {
135                                 $newin->compile($key, 'reject');
136                                 $newin->compile($key, 'accept');
137                         }
138                 } else {
139                         # error on reading file, delete and exit
140                         dbg("empty or unreadable filter: $fn, deleted");
141                         unlink($fn);
142                         return undef;
143                 }
144                 return $newin;
145         }
146         return undef;
147 }
148
149
150 # this writes out the filter in a form suitable to be read in by 'read_in'
151 # It expects a list of references to filter lines
152 sub write
153 {
154         my $self = shift;
155         my $sort = $self->{sort};
156         my $name = $self->{name};
157         my $dir = "$filterbasefn/$sort";
158         my $fn = "$dir/$name";
159
160         mkdir $dir, 0775 unless -e $dir; 
161     rename $fn, "$fn.o" if -e $fn;
162         my $fh = new IO::File ">$fn";
163         if ($fh) {
164 #               my $dd = new Data::Dumper([ $self ]);
165 #               $dd->Indent(1);
166 #               $dd->Terse(1);
167 #               $dd->Quotekeys($] < 5.005 ? 1 : 0);
168                 #               $fh->print($dd->Dumpxs);
169
170                 # remove code references, do the encode, then put them back again (they can't be represented anyway)
171                 my $key;
172                 foreach $key ($self->getfilkeys) {
173                         $self->{$key}->{reject}->{code} = undef if exists $self->{$key}->{reject};
174                         $self->{$key}->{accept}->{code} = undef if exists $self->{$key}->{accept};
175                 }
176                 $fh->print($json->encode($self));
177                 foreach $key ($self->getfilkeys) {
178                         $self->compile($key, 'reject');
179                         $self->compile($key, 'accept');
180                 }
181                 $fh->close;
182         } else {
183                 rename "$fn.o", $fn if -e "$fn.o";
184                 return "$fn $!";
185         }
186         return undef;
187 }
188
189 sub getfilters
190 {
191         my $self = shift;
192         my @out;
193         my $key;
194         foreach $key (grep {/^filter/ } keys %$self) {
195                 push @out, $self->{$key};
196         }
197         return @out;
198 }
199
200 sub getfilkeys
201 {
202         my $self = shift;
203         return grep {/^filter/ } keys %$self;
204 }
205
206 #
207 # This routine accepts a composite filter with a reject rule and then an accept rule.
208 #
209 # The filter returns 0 if an entry is matched by any reject rule and also if any
210 # accept rule fails otherwise it returns 1
211 #
212 # Either set of rules may be missing meaning an implicit 'opposite' ie if it
213 # a reject then ok else if an accept then not ok.
214 #
215 # you can set a default with either an accept/xxxx all or reject/xxxx all
216 #
217 # Unlike the old system, this is kept as a hash of hashes so that you can
218 # easily change them by program.
219 #
220 # You can have 10 filter lines (0->9), they are tried in order until 
221 # one matches
222 #
223 # There is a parser that takes a Filter::Cmd object which describes all the possible
224 # things you can filter on and then converts that to a bit of perl which is compiled
225 # and stored as a function.
226 #
227 # The result of this is that in theory you can put together an arbritrarily complex 
228 # expression involving the things you can filter on including 'and' 'or' 'not' and 
229 # 'brackets'.
230 #
231 # eg:-
232 #
233 # accept/spots hf and by_zone 14,15,16 and not by pa,on
234 #  
235 # accept/spots freq 0/30000 and by_zone 4,5
236
237 # accept/spots 2 vhf and (by_zone 14,15,16 or call_dxcc 61) 
238 #
239 # no filter no implies filter 1
240 #
241 # The field nos are the same as for the 'Old' filters
242 #
243
244
245 sub it
246 {
247         my $self = shift;
248         
249         my $filter;
250         my @keys = sort $self->getfilkeys;
251         my $key;
252         my $type = 'Dunno';
253         my $asc = '?';
254
255         my $r = @keys > 0 ? 0 : 1;
256         foreach $key (@keys) {
257                 $filter = $self->{$key};
258                 if ($filter->{reject} && exists $filter->{reject}->{code}) {
259                         $type = 'reject';
260                         $asc = $filter->{reject}->{user};
261                         if (&{$filter->{reject}->{code}}(ref $_[0] ? $_[0] : \@_)) {
262                                 $r = 0;
263                                 last;
264                         } else {
265                                 $r = 1;
266                         }               
267                 }
268                 if ($filter->{accept} && exists $filter->{accept}->{code}) {
269                         $type = 'accept';
270                         $asc = $filter->{accept}->{user};
271                         if (&{$filter->{accept}->{code}}(ref $_[0] ? $_[0] : \@_)) {
272                                 $r = 1;
273                                 last;
274                         } else {
275                                 $r = 0;
276                         }                       
277                 } 
278         }
279
280         # hops are done differently (simply) 
281         my $hops = $self->{hops} if exists $self->{hops};
282
283         if (isdbg('filter')) {
284                 my $call = $self->{name};
285                 my $args = join '\',\'', map {defined $_ ? $_ : 'undef'} (ref $_[0] ? @{$_[0]} : @_);
286                 my $true = $r ? "OK " : "REJ";
287                 my $sort = $self->{sort};
288                 my $dir = $self->{name} =~ /^in_/i ? "IN " : "OUT";
289
290                 $call =~ s/\.PL$//i;
291                 my $h = $hops || '';
292                 dbg("Filter: $call $true $dir: $type/$sort with '$asc' on '$args' $h") if isdbg('filter');
293         }
294         return ($r, $hops);
295 }
296
297 sub print
298 {
299         my $self = shift;
300         my $name = shift || $self->{name};
301         my $sort = shift || $self->{sort};
302         my $flag = shift || "";
303         my @out;
304         $name =~ s/.pl$//;
305         
306         push @out, join(' ',  $name , ':', $sort, $flag);
307         my $filter;
308         my $key;
309         foreach $key (sort $self->getfilkeys) {
310                 my $filter = $self->{$key};
311                 if (exists $filter->{reject} && exists $filter->{reject}->{user}) {
312                         push @out, ' ' . join(' ', $key, 'reject', $filter->{reject}->{user});
313                 }
314                 if (exists $filter->{accept} && exists $filter->{accept}->{user}) {
315                         push @out, ' ' . join(' ', $key, 'accept', $filter->{accept}->{user});
316                 } 
317         }
318         return @out;
319 }
320
321 sub install
322 {
323         my $self = shift;
324         my $remove = shift;
325         my $name = uc $self->{name};
326         my $sort = $self->{sort};
327         my $in = "";
328         $in = "in" if $name =~ s/^IN_//;
329         $name =~ s/.PL$//;
330                 
331         my $dxchan;
332         my @dxchan;
333         if ($name eq 'NODE_DEFAULT') {
334                 @dxchan = DXChannel::get_all_nodes();
335         } elsif ($name eq 'USER_DEFAULT') {
336                 @dxchan = DXChannel::get_all_users();
337         } else {
338                 $dxchan = DXChannel::get($name);
339                 push @dxchan, $dxchan if $dxchan;
340         }
341         foreach $dxchan (@dxchan) {
342                 my $n = "$in$sort" . "filter";
343                 my $i = $in ? 'IN_' : '';
344                 my $ref = $dxchan->$n();
345                 if (!$ref || ($ref && uc $ref->{name} eq "$i$name.PL")) {
346                         $dxchan->$n($remove ? undef : $self);
347                 }
348         }
349 }
350
351 sub delete
352 {
353         my ($sort, $call, $flag, $fno) = @_;
354         
355         # look for the file
356         my $fn = getfn($sort, $call, $flag);
357         my $filter = read_in($sort, $call, $flag);
358         if ($filter) {
359                 if ($fno eq 'all') {
360                         my $key;
361                         foreach $key ($filter->getfilkeys) {
362                                 delete $filter->{$key};
363                         }
364                 } elsif (exists $filter->{"filter$fno"}) {
365                         delete $filter->{"filter$fno"}; 
366                 }
367                 
368                 # get rid 
369                 if ($filter->{hops} || $filter->getfilkeys) {
370                         $filter->install;
371                         $filter->write;
372                 } else {
373                         $filter->install(1);
374                         unlink $fn;
375                 }
376         }
377 }
378
379
380
381 package Filter::Cmd;
382
383 use strict;
384 use DXVars;
385 use DXUtil;
386 use DXDebug;
387 use vars qw(@ISA);
388 @ISA = qw(Filter);
389
390 sub encode_regex
391 {
392         my $s = shift;
393         $s =~ s/\{(.*?)\}/'{'. unpack('H*', $1) . '}'/eg if $s;
394         return $s;
395 }
396
397 sub decode_regex
398 {
399         my $r = shift;
400         my ($v) = $r =~ /^\{(.*?)}$/;
401         return pack('H*', $v);
402 }
403
404
405 # the general purpose command processor
406 # this is called as a subroutine not as a method
407 sub parse
408 {
409         my ($self, $dxchan, $sort, $line, $forcenew) = @_;
410         my $ntoken = 0;
411         my $fno = 1;
412         my $filter;
413         my ($flag, $call);
414         my $s;
415         my $user = '';
416         
417         # check the line for non legal characters
418         dbg("Filter::parse line: '$line'") if isdbg('filter');
419         return ('ill', $dxchan->msg('e19')) if $line !~ /{.*}/ && $line =~ /[^\s\w,_\-\*\/\(\)\$!]/;
420
421         $line = lc $line;
422
423         # disguise regexes
424
425         dbg("Filter parse line after regex check: '$line'") if isdbg('filter');
426         $line = encode_regex($line);
427         
428         # add some spaces for ease of parsing
429         $line =~ s/([\(\!\)])/ $1 /g;
430         
431         my @f = split /\s+/, $line;
432         dbg("filter parse: tokens '" . join("' '", @f) . "'") if isdbg('filter');
433         
434         my $lasttok = '';
435         while (@f) {
436                 if ($ntoken == 0) {
437                         
438                         if (!$forcenew &&  @f && $dxchan->priv >= 8 && ((is_callsign(uc $f[0]) && DXUser::get(uc $f[0])) || $f[0] =~ /(?:node|user)_default/)) {
439                                 $call = shift @f;
440                                 if ($f[0] eq 'input') {
441                                         shift @f;
442                                         $flag++;
443                                 }
444                         } else {
445                                 $call = $dxchan->call;
446                         }
447
448                         if (@f && $f[0] =~ /^\d$/) {
449                                 $fno = shift @f;
450                         }
451
452                         $filter = Filter::read_in($sort, $call, $flag) unless $forcenew;
453                         $filter = Filter->new($sort, $call, $flag) if !$filter || $filter->isa('Filter::Old');
454                         
455                         $ntoken++;
456                         next;
457                 }
458
459                 # do the rest of the filter tokens
460                 if (@f) {
461                         my $tok = shift @f;
462
463                         dbg("filter::parse: tok '$tok'") if isdbg('filter');
464                         
465                         if ($tok eq 'all') {
466                                 $s .= '1';
467                                 $user .= $tok;
468                                 last;
469                         } elsif (grep $tok eq $_, qw{and or not ( )}) {
470                                 $s .= ' && ' if $tok eq 'and';
471                                 $s .= ' || ' if $tok eq 'or';
472                                 $s .= ' !' if $tok eq 'not';
473                                 $s .=  $tok if $tok eq '(' or $tok eq ')';
474                                 $user .= " $tok ";
475                                 next;
476                         } elsif ($tok eq '') {
477                                 next;
478                         }
479                         
480                         if (@f) {
481                                 my $val = shift @f;
482                                 my @val = split /,/, $val;
483
484                                 dbg("filter::parse: tok '$tok' val '$val'") if isdbg('filter');
485                                 $user .= " $tok $val";
486                                 
487                                 my $fref;
488                                 my $found;
489                                 foreach $fref (@$self) {
490                                         
491                                         if ($fref->[0] eq $tok) {
492                                                 if ($fref->[4]) {
493                                                         my @nval;
494                                                         for (@val) {
495                                                                 push @nval, split(',', &{$fref->[4]}($dxchan, $_));
496                                                         }
497                                                         @val = @nval;
498                                                 }
499                                                 if ($fref->[1] eq 'a' || $fref->[1] eq 't') {
500                                                         my @t;
501                                                         foreach my $v (@val) {
502                                                                 $v =~ s/\*//g;        # remove any trailing *
503                                                                 if (my ($r) = $v =~ /^\{(.*)\}$/) { # we have a regex
504                                                                         dbg("Filter::parse regex b: '\{$r\}'") if isdbg('filter'); 
505                                                                         $v = decode_regex($v);
506                                                                         dbg("Filter::parse regex a: '$v'") if isdbg('filter'); 
507                                                                         return  ('regex', $dxchan->msg('e38', $v)) unless (qr{$v});
508                                                                         push @t, "\$r->[$fref->[2]]=~m{$v}i";
509                                                                         $v = "{$r}"; # put it back together again for humans
510                                                                 } else {
511                                                                         push @t, "\$r->[$fref->[2]]=~m{$v}i";
512                                                                 }
513                                                         }
514                                                         $s .= "(" . join(' || ', @t) . ")";
515                                                         dbg("filter parse: s '$s'") if isdbg('filter');
516                                                 } elsif ($fref->[1] eq 'c') {
517                                                         my @t;
518                                                         for (@val) {
519                                                                 s/\*//g;
520                                                                 push @t, "\$r->[$fref->[2]]=~m{^\U$_}";
521                                                         }
522                                                         $s .= "(" . join(' || ', @t) . ")";
523                                                         dbg("filter parse: s '$s'") if isdbg('filter');
524                                                 } elsif ($fref->[1] eq 'n') {
525                                                         my @t;
526                                                         for (@val) {
527                                                                 return ('num', $dxchan->msg('e21', $_)) unless /^\d+$/;
528                                                                 push @t, "\$r->[$fref->[2]]==$_";
529                                                         }
530                                                         $s .= "(" . join(' || ', @t) . ")";
531                                                         dbg("filter parse: s '$s'") if isdbg('filter');
532                                                 } elsif ($fref->[1] =~ /^n[ciz]$/ ) {    # for DXCC, ITU, CQ Zone    
533                                                         my $cmd = $fref->[1];
534                                                         my @pre = Prefix::to_ciz($cmd, @val);
535                                                         return ('numpre', $dxchan->msg('e27', $_)) unless @pre;
536                                                         $s .= "(" . join(' || ', map {"\$r->[$fref->[2]]==$_"} @pre) . ")";
537                                                         dbg("filter parse: s '$s'") if isdbg('filter');
538                                                 } elsif ($fref->[1] =~ /^ns$/ ) {    # for DXCC, ITU, CQ Zone    
539                                                         my $cmd = $fref->[1];
540                                                         my @pre = Prefix::to_ciz($cmd, @val);
541                                                         return ('numpre', $dxchan->msg('e27', $_)) unless @pre;
542                                                         $s .= "(" . "!\$USDB::present || grep \$r->[$fref->[2]] eq \$_, qw(" . join(' ' ,map {uc} @pre) . "))";
543                                                         dbg("filter parse: s '$s'") if isdbg('filter');
544                                                 } elsif ($fref->[1] eq 'r') {
545                                                         my @t;
546                                                         for (@val) {
547                                                                 return ('range', $dxchan->msg('e23', $_)) unless /^(\d+)\/(\d+)$/;
548                                                                 push @t, "(\$r->[$fref->[2]]>=$1 && \$r->[$fref->[2]]<=$2)";
549                                                         }
550                                                         $s .= "(" . join(' || ', @t) . ")";
551                                                         dbg("filter parse: s '$s'") if isdbg('filter');
552                                                 } else {
553                                                         confess("invalid filter function $fref->[1]");
554                                                 }
555                                                 ++$found;
556                                                 last;
557                                         }
558                                 }
559                                 return (1, $dxchan->msg('e20', $lasttok)) unless $found;
560                         } else {
561                                 my $s = '{' . decode_regex($tok) . '}' if $tok =~ /^{.*}$/;
562                                 return (1, $dxchan->msg('filter2', $s));
563                         }
564                         $lasttok = $tok;
565                 }
566         }
567
568         # tidy up the user string (why I have to stick in an if statement when I have initialised it I have no idea! 5.28 bug?
569         if ($user) {
570                 $user =~ s/\)\s*\(/ and /g;
571                 $user =~ s/\&\&/ and /g;
572                 $user =~ s/\|\|/ or /g;
573                 $user =~ s/\!/ not /g;
574                 $user =~ s/\s+/ /g;
575                 $user =~ s/\{(.*?)\}/'{'. pack('H*', $1) . '}'/eg;
576                 $user =~ s/^\s+//;
577                 dbg("filter parse: user '$user'") if isdbg('filter');
578         }
579
580         if ($s) {
581                 $s =~ s/\)\s*\(/ && /g;
582                 dbg("filter parse: s '$s'") if isdbg('filter');
583         }
584
585         
586         return (0, $filter, $fno, $user, $s);
587 }
588
589 # a filter accept/reject command
590 sub cmd
591 {
592         my ($self, $dxchan, $sort, $type, $line) = @_;
593         return $dxchan->msg('filter5') unless $line;
594
595         my ($r, $filter, $fno, $user, $s) = $self->parse($dxchan, $sort, $line);
596         return (1, $filter) if $r;
597         
598         my $u = DXUser::get_current($user);
599         return (1, $dxchan->msg('isow', $user)) if $u && $u->isolate;
600
601         my $fn = "filter$fno";
602
603         $filter->{$fn} = {} unless exists $filter->{$fn};
604         $filter->{$fn}->{$type} = {} unless exists $filter->{$fn}->{$type};
605
606         $filter->{$fn}->{$type}->{user} = $user;
607         $filter->{$fn}->{$type}->{asc} = $s;
608         $r = $filter->compile($fn, $type);
609         return (1,$r) if $r;
610         
611         $r = $filter->write;
612         return (1,$r) if $r;
613
614         $filter->install(1);            # 'delete'
615         $filter->install;
616
617     return (0, $filter, $fno);
618 }
619
620 package Filter::Old;
621
622 use strict;
623 use DXVars;
624 use DXUtil;
625 use DXDebug;
626 use vars qw(@ISA);
627 @ISA = qw(Filter);
628
629 # the OLD instructions!
630 #
631 # Each filter file has the same structure:-
632 #
633 # <some comment>
634 # @in = (
635 #      [ action, fieldno, fieldsort, comparison, action data ],
636 #      ...
637 # );
638 #
639 # The action is usually 1 or 0 but could be any numeric value
640 #
641 # The fieldno is the field no in the list of fields that is presented
642 # to 'Filter::it' 
643 #
644 # The fieldsort is the type of field that we are dealing with which 
645 # currently can be 'a', 'n', 'r' or 'd'.
646 #    'a' is alphanumeric
647 #    'n' is# numeric
648 #    'r' is ranges of pairs of numeric values
649 #    'd' is default (effectively, don't filter)
650 #
651 # Filter::it basically goes thru the list of comparisons from top to
652 # bottom and when one matches it will return the action and the action data as a list. 
653 # The fields
654 # are the element nos of the list that is presented to Filter::it. Element
655 # 0 is the first field of the list.
656 #
657
658 #
659 # takes the reference to the filter (the first argument) and applies
660 # it to the subsequent arguments and returns the action specified.
661 #
662 sub it
663 {
664         my $self = shift;
665         my $filter = $self->{filter};            # this is now a bless ref of course but so what
666         
667         my ($action, $field, $fieldsort, $comp, $actiondata);
668         my $ref;
669
670         # default action is 1
671         $action = 1;
672         $actiondata = "";
673         return ($action, $actiondata) if !$filter;
674
675         for $ref (@{$filter}) {
676                 ($action, $field, $fieldsort, $comp, $actiondata) = @{$ref};
677                 if ($fieldsort eq 'n') {
678                         my $val = $_[$field];
679                         return ($action, $actiondata)  if grep $_ == $val, @{$comp};
680                 } elsif ($fieldsort eq 'r') {
681                         my $val = $_[$field];
682                         my $i;
683                         my @range = @{$comp};
684                         for ($i = 0; $i < @range; $i += 2) {
685                                 return ($action, $actiondata)  if $val >= $range[$i] && $val <= $range[$i+1];
686                         }
687                 } elsif ($fieldsort eq 'a') {
688                         return ($action, $actiondata)  if $_[$field] =~ m{$comp}i;
689                 } else {
690                         return ($action, $actiondata);      # the default action (just pass through)
691                 }
692         }
693 }
694
695 sub print
696 {
697         my $self = shift;
698         my $call = shift;
699         my $sort = shift;
700         my $flag = shift || "";
701         return "$call: Old Style Filter $flag $sort";
702 }
703
704 1;
705 __END__