add some data::dumper tidying up.
[spider.git] / perl / DXUser.pm
1 #
2 # DX cluster user routines
3 #
4 # Copyright (c) 1998 - Dirk Koopman G1TLH
5 #
6 # $Id$
7 #
8
9 package DXUser;
10
11 use DXLog;
12 use DB_File;
13 use Data::Dumper;
14 use Fcntl;
15 use IO::File;
16 use DXDebug;
17 use DXUtil;
18 use LRU;
19
20 use strict;
21
22 use vars qw($VERSION $BRANCH);
23 $VERSION = sprintf( "%d.%03d", q$Revision$ =~ /(\d+)\.(\d+)/ );
24 $BRANCH = sprintf( "%d.%03d", q$Revision$ =~ /\d+\.\d+\.(\d+)\.(\d+)/  || (0,0));
25 $main::build += $VERSION;
26 $main::branch += $BRANCH;
27
28 use vars qw(%u $dbm $filename %valid $lastoperinterval $lasttime $lru $lrusize $tooold $v3);
29
30 %u = ();
31 $dbm = undef;
32 $filename = undef;
33 $lastoperinterval = 60*24*60*60;
34 $lasttime = 0;
35 $lrusize = 2000;
36 $tooold = 86400 * 365;          # this marks an old user who hasn't given enough info to be useful
37 $v3 = 0;
38
39 # hash of valid elements and a simple prompt
40 %valid = (
41                   call => '0,Callsign',
42                   alias => '0,Real Callsign',
43                   name => '0,Name',
44                   qth => '0,Home QTH',
45                   lat => '0,Latitude,slat',
46                   long => '0,Longitude,slong',
47                   qra => '0,Locator',
48                   email => '0,E-mail Address,parray',
49                   priv => '9,Privilege Level',
50                   lastin => '0,Last Time in,cldatetime',
51                   passwd => '9,Password,yesno',
52                   passphrase => '9,Pass Phrase,yesno',
53                   addr => '0,Full Address',
54                   'sort' => '0,Type of User', # A - ak1a, U - User, S - spider cluster, B - BBS
55                   xpert => '0,Expert Status,yesno',
56                   bbs => '0,Home BBS',
57                   node => '0,Last Node',
58                   homenode => '0,Home Node',
59                   lockout => '9,Locked out?,yesno',     # won't let them in at all
60                   dxok => '9,Accept DX Spots?,yesno', # accept his dx spots?
61                   annok => '9,Accept Announces?,yesno', # accept his announces?
62                   lang => '0,Language',
63                   hmsgno => '0,Highest Msgno',
64                   group => '0,Group,parray',    # used to create a group of users/nodes for some purpose or other
65                   buddies => '0,Buddies,parray',
66                   isolate => '9,Isolate network,yesno',
67                   wantbeep => '0,Req Beep,yesno',
68                   wantann => '0,Req Announce,yesno',
69                   wantwwv => '0,Req WWV,yesno',
70                   wantwcy => '0,Req WCY,yesno',
71                   wantecho => '0,Req Echo,yesno',
72                   wanttalk => '0,Req Talk,yesno',
73                   wantwx => '0,Req WX,yesno',
74                   wantdx => '0,Req DX Spots,yesno',
75                   wantemail => '0,Req Msgs as Email,yesno',
76                   pagelth => '0,Current Pagelth',
77                   pingint => '9,Node Ping interval',
78                   nopings => '9,Ping Obs Count',
79                   wantlogininfo => '0,Login Info Req,yesno',
80           wantgrid => '0,Show DX Grid,yesno',
81                   wantann_talk => '0,Talklike Anns,yesno',
82                   wantpc16 => '9,Want Users from node,yesno',
83                   wantsendpc16 => '9,Send PC16,yesno',
84                   wantroutepc19 => '9,Route PC19,yesno',
85                   wantusstate => '0,Show US State,yesno',
86                   wantdxcq => '0,Show CQ Zone,yesno',
87                   wantdxitu => '0,Show ITU Zone,yesno',
88                   lastoper => '9,Last for/oper,cldatetime',
89                   nothere => '0,Not Here Text',
90                   registered => '9,Registered?,yesno',
91                   prompt => '0,Required Prompt',
92                   version => '1,Version',
93                   build => '1,Build',
94                   believe => '1,Believable nodes,parray',
95                   lastping => '1,Last Ping at,ptimelist',
96                  );
97
98 #no strict;
99 sub AUTOLOAD
100 {
101         no strict;
102         my $name = $AUTOLOAD;
103   
104         return if $name =~ /::DESTROY$/;
105         $name =~ s/^.*:://o;
106   
107         confess "Non-existant field '$AUTOLOAD'" if !$valid{$name};
108         # this clever line of code creates a subroutine which takes over from autoload
109         # from OO Perl - Conway
110         *$AUTOLOAD = sub {@_ > 1 ? $_[0]->{$name} = $_[1] : $_[0]->{$name}};
111        goto &$AUTOLOAD;
112 }
113
114 #use strict;
115
116 #
117 # initialise the system
118 #
119 sub init
120 {
121         my ($pkg, $fn, $mode) = @_;
122   
123         confess "need a filename in User" if !$fn;
124
125         my $ufn;
126         my $convert;
127         
128         eval {
129                 require Storable;
130         };
131
132 #       eval "use Storable qw(nfreeze thaw)";
133         
134         if ($@) {
135                 $ufn = "$fn.v2";
136                 $v3 = $convert = 0;
137                 dbg("the module Storable appears to be missing!!");
138                 dbg("trying to continue in compatibility mode (this may fail)");
139                 dbg("please install Storable from CPAN as soon as possible");
140         } else {
141                 import Storable qw(nfreeze thaw);
142
143                 $ufn = "$fn.v3";
144                 $v3 = 1;
145                 $convert++ if -e "$fn.v2" && !-e $ufn;
146         }
147         
148         if ($mode) {
149                 $dbm = tie (%u, 'DB_File', $ufn, O_CREAT|O_RDWR, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
150         } else {
151                 $dbm = tie (%u, 'DB_File', $ufn, O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
152         }
153
154         die "Cannot open $ufn ($!)\n" unless $dbm;
155
156         $lru = LRU->newbase("DXUser", $lrusize);
157         
158         # do a conversion if required
159         if ($dbm && $convert) {
160                 my ($key, $val, $action, $count, $err) = ('','',0,0,0);
161                 
162                 my %oldu;
163                 dbg("Converting the User File to V3 ");
164                 dbg("This will take a while, I suggest you go and have cup of strong tea");
165                 my $odbm = tie (%oldu, 'DB_File', "$fn.v2", O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn.v2 ($!) [rebuild it from user_asc?]";
166         for ($action = R_FIRST; !$odbm->seq($key, $val, $action); $action = R_NEXT) {
167                         my $ref = asc_decode($val);
168                         if ($ref) {
169                                 $ref->put;
170                                 $count++;
171                         } else {
172                                 $err++
173                         }
174                 } 
175                 undef $odbm;
176                 untie %oldu;
177                 dbg("Conversion completed $count records $err errors");
178         }
179         $filename = $ufn;
180 }
181
182 sub del_file
183 {
184         my ($pkg, $fn) = @_;
185   
186         confess "need a filename in User" if !$fn;
187         $fn .= $v3 ? ".v3" : ".v2";
188         unlink $fn;
189 }
190
191 #
192 # periodic processing
193 #
194 sub process
195 {
196         if ($main::systime > $lasttime + 15) {
197                 $dbm->sync;
198                 $lasttime = $main::systime;
199         }
200 }
201
202 #
203 # close the system
204 #
205
206 sub finish
207 {
208         undef $dbm;
209         untie %u;
210 }
211
212 #
213 # new - create a new user
214 #
215
216 sub alloc
217 {
218         my $pkg = shift;
219         my $call = uc shift;
220         my $self = bless {call => $call, 'sort'=>'U'}, $pkg;
221         return $self;
222 }
223
224 sub new
225 {
226         my $pkg = shift;
227         my $call = shift;
228         #  $call =~ s/-\d+$//o;
229   
230 #       confess "can't create existing call $call in User\n!" if $u{$call};
231
232         my $self = $pkg->alloc($call);
233         $self->put;
234         return $self;
235 }
236
237 #
238 # get - get an existing user - this seems to return a different reference everytime it is
239 #       called - see below
240 #
241
242 sub get
243 {
244         my $pkg = shift;
245         my $call = uc shift;
246         my $data;
247         
248         # is it in the LRU cache?
249         my $ref = $lru->get($call);
250         return $ref if $ref;
251         
252         # search for it
253         unless ($dbm->get($call, $data)) {
254                 $ref = decode($data);
255                 $lru->put($call, $ref);
256                 return $ref;
257         }
258         return undef;
259 }
260
261 #
262 # get an existing either from the channel (if there is one) or from the database
263 #
264 # It is important to note that if you have done a get (for the channel say) and you
265 # want access or modify that you must use this call (and you must NOT use get's all
266 # over the place willy nilly!)
267 #
268
269 sub get_current
270 {
271         my $pkg = shift;
272         my $call = uc shift;
273   
274         my $dxchan = DXChannel::get($call);
275         return $dxchan->user if $dxchan;
276         my $rref = Route::get($call);
277         return $rref->user if $rref && exists $rref->{user};
278         return $pkg->get($call);
279 }
280
281 #
282 # get all callsigns in the database 
283 #
284
285 sub get_all_calls
286 {
287         return (sort keys %u);
288 }
289
290 #
291 # put - put a user
292 #
293
294 sub put
295 {
296         my $self = shift;
297         confess "Trying to put nothing!" unless $self && ref $self;
298         my $call = $self->{call};
299         # delete all instances of this 
300 #       for ($dbm->get_dup($call)) {
301 #               $dbm->del_dup($call, $_);
302 #       }
303         $dbm->del($call);
304         delete $self->{annok} if $self->{annok};
305         delete $self->{dxok} if $self->{dxok};
306         $lru->put($call, $self);
307         my $ref = $self->encode;
308         $dbm->put($call, $ref);
309 }
310
311 # freeze the user
312 sub encode
313 {
314         goto &asc_encode unless $v3;
315         my $self = shift;
316         return nfreeze($self);
317 }
318
319 # thaw the user
320 sub decode
321 {
322         goto &asc_decode unless $v3;
323         return thaw(shift);
324 }
325
326
327 # create a string from a user reference (in_ascii)
328 #
329 sub asc_encode
330 {
331         my $self = shift;
332         return dd($self);
333 }
334
335 #
336 # create a hash from a string (in ascii)
337 #
338 sub asc_decode
339 {
340         my $s = shift;
341         my $ref;
342         $s =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
343         eval '$ref = ' . $s;
344         if ($@) {
345                 LogDbg('err', $@);
346                 $ref = undef;
347         }
348         return $ref;
349 }
350
351 #
352 # del - delete a user
353 #
354
355 sub del
356 {
357         my $self = shift;
358         my $call = $self->{call};
359         # delete all instances of this 
360 #       for ($dbm->get_dup($call)) {
361 #               $dbm->del_dup($call, $_);
362 #       }
363         $lru->remove($call);
364         $dbm->del($call);
365 }
366
367 #
368 # close - close down a user
369 #
370
371 sub close
372 {
373         my $self = shift;
374         $self->{lastin} = time;
375         $self->put();
376 }
377
378 #
379 # sync the database
380 #
381
382 sub sync
383 {
384         $dbm->sync;
385 }
386
387 #
388 # return a list of valid elements 
389
390
391 sub fields
392 {
393         return keys(%valid);
394 }
395
396
397 #
398 # export the database to an ascii file
399 #
400
401 sub export
402 {
403         my $fn = shift;
404         
405         # save old ones
406         rename "$fn.oooo", "$fn.ooooo" if -e "$fn.oooo";
407         rename "$fn.ooo", "$fn.oooo" if -e "$fn.ooo";
408         rename "$fn.oo", "$fn.ooo" if -e "$fn.oo";
409         rename "$fn.o", "$fn.oo" if -e "$fn.o";
410         rename "$fn", "$fn.o" if -e "$fn";
411
412         my $count = 0;
413         my $err = 0;
414         my $del = 0;
415         my $fh = new IO::File ">$fn" or return "cannot open $fn ($!)";
416         if ($fh) {
417                 my $key = 0;
418                 my $val = undef;
419                 my $action;
420                 my $t = scalar localtime;
421                 print $fh q{#!/usr/bin/perl
422 #
423 # The exported userfile for a DXSpider System
424 #
425 # Input file: $filename
426 #       Time: $t
427 #
428                         
429 package main;
430                         
431 # search local then perl directories
432 BEGIN {
433         umask 002;
434                                 
435         # root of directory tree for this system
436         $root = "/spider"; 
437         $root = $ENV{'DXSPIDER_ROOT'} if $ENV{'DXSPIDER_ROOT'};
438         
439         unshift @INC, "$root/perl";     # this IS the right way round!
440         unshift @INC, "$root/local";
441         
442         # try to detect a lockfile (this isn't atomic but 
443         # should do for now
444         $lockfn = "$root/local/cluster.lck";       # lock file name
445         if (-e $lockfn) {
446                 open(CLLOCK, "$lockfn") or die "Can't open Lockfile ($lockfn) $!";
447                 my $pid = <CLLOCK>;
448                 chomp $pid;
449                 die "Lockfile ($lockfn) and process $pid exists - cluster must be stopped first\n" if kill 0, $pid;
450                 close CLLOCK;
451         }
452 }
453
454 package DXUser;
455
456 use DXVars;
457 use DXUser;
458
459 if (@ARGV) {
460         $main::userfn = shift @ARGV;
461         print "user filename now $userfn\n";
462 }
463
464 DXUser->del_file($main::userfn);
465 DXUser->init($main::userfn, 1);
466 %u = ();
467 my $count = 0;
468 my $err = 0;
469 while (<DATA>) {
470         chomp;
471         my @f = split /\t/;
472         my $ref = asc_decode($f[1]);
473         if ($ref) {
474                 $ref->put();
475                 $count++;
476         } else {
477                 print "# Error: $f[0]\t$f[1]\n";
478                 $err++
479         }
480 }
481 DXUser->sync; DXUser->finish;
482 print "There are $count user records and $err errors\n";
483 };
484                 print $fh "__DATA__\n";
485
486         for ($action = R_FIRST; !$dbm->seq($key, $val, $action); $action = R_NEXT) {
487                         if (!is_callsign($key) || $key =~ /^0/) {
488                                 my $eval = $val;
489                                 my $ekey = $key;
490                                 $eval =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg; 
491                                 $ekey =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg; 
492                                 LogDbg('DXCommand', "Export Error1: $ekey\t$eval");
493                                 eval {$dbm->del($key)};
494                                 dbg(carp("Export Error1: $ekey\t$eval\n$@")) if $@;
495                                 ++$err;
496                                 next;
497                         }
498                         my $ref = decode($val);
499                         if ($ref) {
500                                 my $t = $ref->{lastin} || 0;
501                                 if ($ref->{sort} eq 'U' && !$ref->{priv} && $main::systime > $t + $tooold) {
502                                         unless ($ref->{lat} && $ref->{long} || $ref->{qth} || $ref->{qra}) {
503                                                 eval {$dbm->del($key)};
504                                                 dbg(carp("Export Error2: $key\t$val\n$@")) if $@;
505                                                 LogDbg('DXCommand', "$ref->{call} deleted, too old");
506                                                 $del++;
507                                                 next;
508                                         }
509                                 }
510                                 # only store users that are reasonably active or have useful information
511                                 print $fh "$key\t" . $ref->asc_encode . "\n";
512                                 ++$count;
513                         } else {
514                                 LogDbg('DXCommand', "Export Error3: $key\t$val");
515                                 eval {$dbm->del($key)};
516                                 dbg(carp("Export Error3: $key\t$val\n$@")) if $@;
517                                 ++$err;
518                         }
519                 } 
520         $fh->close;
521     } 
522         return "$count Users $del Deleted $err Errors ('sh/log Export' for details)";
523 }
524
525 #
526 # group handling
527 #
528
529 # add one or more groups
530 sub add_group
531 {
532         my $self = shift;
533         my $ref = $self->{group} || [ 'local' ];
534         $self->{group} = $ref if !$self->{group};
535         push @$ref, @_ if @_;
536 }
537
538 # remove one or more groups
539 sub del_group
540 {
541         my $self = shift;
542         my $ref = $self->{group} || [ 'local' ];
543         my @in = @_;
544         
545         $self->{group} = $ref if !$self->{group};
546         
547         @$ref = map { my $a = $_; return (grep { $_ eq $a } @in) ? () : $a } @$ref;
548 }
549
550 # does this thing contain all the groups listed?
551 sub union
552 {
553         my $self = shift;
554         my $ref = $self->{group};
555         my $n;
556         
557         return 0 if !$ref || @_ == 0;
558         return 1 if @$ref == 0 && @_ == 0;
559         for ($n = 0; $n < @_; ) {
560                 for (@$ref) {
561                         my $a = $_;
562                         $n++ if grep $_ eq $a, @_; 
563                 }
564         }
565         return $n >= @_;
566 }
567
568 # simplified group test just for one group
569 sub in_group
570 {
571         my $self = shift;
572         my $s = shift;
573         my $ref = $self->{group};
574         
575         return 0 if !$ref;
576         return grep $_ eq $s, $ref;
577 }
578
579 # set up a default group (only happens for them's that connect direct)
580 sub new_group
581 {
582         my $self = shift;
583         $self->{group} = [ 'local' ];
584 }
585
586 # set up empty buddies (only happens for them's that connect direct)
587 sub new_buddies
588 {
589         my $self = shift;
590         $self->{buddies} = [  ];
591 }
592
593 #
594 # return a prompt for a field
595 #
596
597 sub field_prompt
598
599         my ($self, $ele) = @_;
600         return $valid{$ele};
601 }
602
603 # some variable accessors
604 sub sort
605 {
606         my $self = shift;
607         @_ ? $self->{'sort'} = shift : $self->{'sort'} ;
608 }
609
610 # some accessors
611
612 # want is default = 1
613 sub _want
614 {
615         my $n = shift;
616         my $self = shift;
617         my $val = shift;
618         my $s = "want$n";
619         $self->{$s} = $val if defined $val;
620         return exists $self->{$s} ? $self->{$s} : 1;
621 }
622
623 # wantnot is default = 0
624 sub _wantnot
625 {
626         my $n = shift;
627         my $self = shift;
628         my $val = shift;
629         my $s = "want$n";
630         $self->{$s} = $val if defined $val;
631         return exists $self->{$s} ? $self->{$s} : 0;
632 }
633
634 sub wantbeep
635 {
636         return _want('beep', @_);
637 }
638
639 sub wantann
640 {
641         return _want('ann', @_);
642 }
643
644 sub wantwwv
645 {
646         return _want('wwv', @_);
647 }
648
649 sub wantwcy
650 {
651         return _want('wcy', @_);
652 }
653
654 sub wantecho
655 {
656         return _want('echo', @_);
657 }
658
659 sub wantwx
660 {
661         return _want('wx', @_);
662 }
663
664 sub wantdx
665 {
666         return _want('dx', @_);
667 }
668
669 sub wanttalk
670 {
671         return _want('talk', @_);
672 }
673
674 sub wantgrid
675 {
676         return _want('grid', @_);
677 }
678
679 sub wantemail
680 {
681         return _want('email', @_);
682 }
683
684 sub wantann_talk
685 {
686         return _want('ann_talk', @_);
687 }
688
689 sub wantpc16
690 {
691         return _want('pc16', @_);
692 }
693
694 sub wantsendpc16
695 {
696         return _want('sendpc16', @_);
697 }
698
699 sub wantroutepc16
700 {
701         return _want('routepc16', @_);
702 }
703
704 sub wantusstate
705 {
706         return _want('usstate', @_);
707 }
708
709 sub wantdxcq
710 {
711         return _want('dxcq', @_);
712 }
713
714 sub wantdxitu
715 {
716         return _want('dxitu', @_);
717 }
718
719 sub wantlogininfo
720 {
721         my $self = shift;
722         my $val = shift;
723         $self->{wantlogininfo} = $val if defined $val;
724         return $self->{wantlogininfo};
725 }
726
727 sub is_node
728 {
729         my $self = shift;
730         return $self->{sort} =~ /[ACRSX]/;
731 }
732
733 sub is_local_node
734 {
735         my $self = shift;
736         return grep $_ eq 'local_node', @{$self->{group}};
737 }
738
739 sub is_user
740 {
741         my $self = shift;
742         return $self->{sort} eq 'U';
743 }
744
745 sub is_bbs
746 {
747         my $self = shift;
748         return $self->{sort} eq 'B';
749 }
750
751 sub is_spider
752 {
753         my $self = shift;
754         return $self->{sort} eq 'S';
755 }
756
757 sub is_clx
758 {
759         my $self = shift;
760         return $self->{sort} eq 'C';
761 }
762
763 sub is_dxnet
764 {
765         my $self = shift;
766         return $self->{sort} eq 'X';
767 }
768
769 sub is_arcluster
770 {
771         my $self = shift;
772         return $self->{sort} eq 'R';
773 }
774
775 sub is_ak1a
776 {
777         my $self = shift;
778         return $self->{sort} eq 'A';
779 }
780
781 sub unset_passwd
782 {
783         my $self = shift;
784         delete $self->{passwd};
785 }
786
787 sub unset_passphrase
788 {
789         my $self = shift;
790         delete $self->{passphrase};
791 }
792
793 sub set_believe
794 {
795         my $self = shift;
796         my $call = uc shift;
797         $self->{believe} ||= [];
798         push @{$self->{believe}}, $call unless grep $_ eq $call, @{$self->{believe}};
799 }
800
801 sub unset_believe
802 {
803         my $self = shift;
804         my $call = uc shift;
805         if (exists $self->{believe}) {
806                 $self->{believe} = [grep {$_ ne $call} @{$self->{believe}}];
807                 delete $self->{believe} unless @{$self->{believe}};
808         }
809 }
810
811 sub believe
812 {
813         my $self = shift;
814         return exists $self->{believe} ? @{$self->{believe}} : ();
815 }
816
817 sub lastping
818 {
819         my $self = shift;
820         my $call = shift;
821         $self->{lastping} ||= {};
822         $self->{lastping} = {} unless ref $self->{lastping};
823         my $b = $self->{lastping};
824         $b->{$call} = shift if @_;
825         return $b->{$call};     
826 }
827 1;
828 __END__
829
830
831
832
833