perl/DXUser.pm

   1 #
   2 # DX cluster user routines
   3 #
   4 # Copyright (c) 1998-2020 - Dirk Koopman G1TLH
   5 #
   6 # The new internal structure of the users system looks like this:
   7 #
   8 # The users.v4 file formatted as a file of lines containing: <callsign>\t{json serialised version of user record}\n
   9 #
  10 # You can look at it with any text tools or your favourite editor :-)
  11 #
  12 # In terms of internal structure, the main user hash remains as %u, keyed on callsign as before.
  13 #
  14 # The value is a one or two element array [position] or [position, ref], depending on whether the record has been "get()ed"
  15 # [i.e. got from disk] or not. The 'position' is simply the start of each line in the file. The function "get()" simply returns
  16 # the stored reference in array[1], if present, or seeks to the  position from array[0], reads a line, json_decodes it,
  17 # stores that reference into array[1] and returns that. That reference will be used from that time onwards.
  18 #
  19 # The routine writeoutjson() will (very) lazily write out a copy of %u WITHOUT STORING ANY EXTRA CURRENTLY UNREFERENCED CALLSIGN
  20 # records to users.v4.n. It, in effect, does a sort of random accessed merge of the current user file and any "in memory"
  21 # versions of any user record. This can be done with a spawned command because it will just be reading %u and merging
  22 # loaded records, not altering the current users.v4 file in any way.
  23 #
  24 # %u -> $u{call} -> [position of json line in users.v4 (, reference -> {call=>'G1TLH', ...} if this record is in use)].
  25 #
  26 # On my machine, it takes about 250mS to read the entire users.v4 file of 190,000 records and to create a
  27 # $u{callsign}->[record position in users.v4] for every callsign in the users.v4 file. Loading ~19,000 records
  28 # (read from disk, decode json, store reference) takes about 110mS (or 580nS/record).
  29 #
  30 # A periodic dump of users.v4.n, with said ~19,000 records in memory takes about 750mS to write (this can be speeded up,
  31 # by at least a half, if it becomes a problem!). As this periodic dump will be spawned off, it will not interrupt the data
  32 # stream.
  33 #
  34 # This is the first rewrite of DXUsers since inception. In the mojo branch we will no longer use Storable but use JSON instead.
  35 # We will now be storing all the keys in memory and will use opportunistic loading of actual records in "get()". So out of
  36 # say 200,000 known users it is unlikely that we will have more than 10% (more likely less) of the user records in memory.
  37 # This will mean that there will be a increase in memory requirement, but it is modest. I estimate it's unlikely be more
  38 # than 30 or so MB.
  39 #
  40 # At the moment that means that the working users.v4 is "immutable".
  41 #
  42 # In normal operation, when first calling 'init()', the keys and positions will be read from the newer of users.v4.n and
  43 # users.v4. If there is no users.v4.n, then users.v4 will be used. As time wears on, %u will then accrete active user records.
  44 # Once an hour the current %u will be saved to users.v4.n.
  45 #
  46 # If it becomes too much of a problem then we are likely to chuck off "close()d" users onto the end of the current users.v4
  47 # leaving existing users intact, but updating the pointer to the (now cleared out) user ref to the new location. This will
  48 # be a sort of write behind log file. The users.v4 file is still immutable for the starting positions, but any chucked off
  49 # records (or even "updates") will be written to the end of that file. If this has to be reread at any time, then the last
  50 # entry for any callsign "wins". But this will only happen if I think the memory requirements over time become too much.
  51 #
  52 # As there is no functional difference between the users.v4 and export_user generated "user_json" file(s), other than the latter
  53 # will be in sorted order with the record elements in "canonical" order. There will now longer be any code to execute to
  54 # "restore the users file". Simply copy one of the "user_json" files to users.v4, remove users.v4.n and restart.
  55 #
  56 # Hopefully though, this will put to rest the need to do all that messing about ever again... Pigs may well be seen flying over
  57 # your node as well :-)
  58 #
  59
  60 package DXUser;
  61
  62 use DXLog;
  63 use DB_File;
  64 use Data::Dumper;
  65 use Fcntl;
  66 use IO::File;
  67 use DXUtil;
  68 use LRU;
  69 use File::Copy;
  70 use JSON;
  71 use DXDebug;
  72 use Data::Structure::Util qw(unbless);
  73 use Time::HiRes qw(gettimeofday tv_interval);
  74 use IO::File;
  75
  76 use strict;
  77
  78 use vars qw(%u $dbm $filename %valid $lastoperinterval $lasttime $lru $lrusize $tooold $v3 $v4);
  79
  80 %u = ();
  81 $dbm = undef;
  82 $filename = undef;
  83 $lastoperinterval = 60*24*60*60;
  84 $lasttime = 0;
  85 $lrusize = 2000;
  86 $tooold = 86400 * 365 + 31;             # this marks an old user who hasn't given enough info to be useful
  87 $v3 = 0;
  88 $v4 = 0;
  89 my $json;
  90
  91 our $maxconnlist = 3;                   # remember this many connection time (duration) [start, end] pairs
  92
  93 our $newusers;                                  # per execution stats
  94 our $modusers;
  95 our $totusers;
  96 our $delusers;
  97
  98 my $ifh;                                                # the input file, initialised by readinjson()
  99
 100
 101 # hash of valid elements and a simple prompt
 102 %valid = (
 103                   call => '0,Callsign',
 104                   alias => '0,Real Callsign',
 105                   name => '0,Name',
 106                   qth => '0,Home QTH',
 107                   lat => '0,Latitude,slat',
 108                   long => '0,Longitude,slong',
 109                   qra => '0,Locator',
 110                   email => '0,E-mail Address,parray',
 111                   priv => '9,Privilege Level',
 112                   lastin => '0,Last Time in,cldatetime',
 113                   passwd => '9,Password,yesno',
 114                   passphrase => '9,Pass Phrase,yesno',
 115                   addr => '0,Full Address',
 116                   'sort' => '0,Type of User', # A - ak1a, U - User, S - spider cluster, B - BBS
 117                   xpert => '0,Expert Status,yesno',
 118                   bbs => '0,Home BBS',
 119                   node => '0,Last Node',
 120                   homenode => '0,Home Node',
 121                   lockout => '9,Locked out?,yesno',     # won't let them in at all
 122                   dxok => '9,Accept DX Spots?,yesno', # accept his dx spots?
 123                   annok => '9,Accept Announces?,yesno', # accept his announces?
 124                   lang => '0,Language',
 125                   hmsgno => '0,Highest Msgno',
 126                   group => '0,Group,parray',    # used to create a group of users/nodes for some purpose or other
 127                   buddies => '0,Buddies,parray',
 128                   isolate => '9,Isolate network,yesno',
 129                   wantbeep => '0,Req Beep,yesno',
 130                   wantann => '0,Req Announce,yesno',
 131                   wantwwv => '0,Req WWV,yesno',
 132                   wantwcy => '0,Req WCY,yesno',
 133                   wantecho => '0,Req Echo,yesno',
 134                   wanttalk => '0,Req Talk,yesno',
 135                   wantwx => '0,Req WX,yesno',
 136                   wantdx => '0,Req DX Spots,yesno',
 137                   wantemail => '0,Req Msgs as Email,yesno',
 138                   pagelth => '0,Current Pagelth',
 139                   pingint => '9,Node Ping interval',
 140                   nopings => '9,Ping Obs Count',
 141                   wantlogininfo => '0,Login Info Req,yesno',
 142           wantgrid => '0,Show DX Grid,yesno',
 143                   wantann_talk => '0,Talklike Anns,yesno',
 144                   wantpc16 => '9,Want Users from node,yesno',
 145                   wantsendpc16 => '9,Send PC16,yesno',
 146                   wantroutepc19 => '9,Route PC19,yesno',
 147                   wantusstate => '0,Show US State,yesno',
 148                   wantdxcq => '0,Show CQ Zone,yesno',
 149                   wantdxitu => '0,Show ITU Zone,yesno',
 150                   wantgtk => '0,Want GTK interface,yesno',
 151                   wantpc9x => '0,Want PC9X interface,yesno',
 152                   lastoper => '9,Last for/oper,cldatetime',
 153                   nothere => '0,Not Here Text',
 154                   registered => '9,Registered?,yesno',
 155                   prompt => '0,Required Prompt',
 156                   version => '1,Version',
 157                   build => '1,Build',
 158                   believe => '1,Believable nodes,parray',
 159                   lastping => '1,Last Ping at,ptimelist',
 160                   maxconnect => '1,Max Connections',
 161                   startt => '0,Start Time,cldatetime',
 162                   connlist => '1,Connections,parraydifft',
 163                  );
 164
 165 #no strict;
 166 sub AUTOLOAD
 167 {
 168         no strict;
 169         my $name = $AUTOLOAD;
 170
 171         return if $name =~ /::DESTROY$/;
 172         $name =~ s/^.*:://o;
 173
 174         confess "Non-existant field '$AUTOLOAD'" if !$valid{$name};
 175         # this clever line of code creates a subroutine which takes over from autoload
 176         # from OO Perl - Conway
 177         *$AUTOLOAD = sub {@_ > 1 ? $_[0]->{$name} = $_[1] : $_[0]->{$name}};
 178        goto &$AUTOLOAD;
 179 }
 180
 181 #use strict;
 182
 183 #
 184 # initialise the system
 185 #
 186 sub init
 187 {
 188         my $mode = shift;
 189
 190         my $ufn;
 191         my $convert;
 192
 193         my $fn = "users";
 194
 195         $json = JSON->new()->canonical(1);
 196         $filename = $ufn = localdata("$fn.json");
 197
 198         if (-e localdata("$fn.json")) {
 199                 $v4 = 1;
 200         } else {
 201                 eval {
 202                         require Storable;
 203                 };
 204
 205                 if ($@) {
 206                         if ( ! -e localdata("users.v3") && -e localdata("users.v2") ) {
 207                                 $convert = 2;
 208                         }
 209                         LogDbg('',"the module Storable appears to be missing!!");
 210                         LogDbg('',"trying to continue in compatibility mode (this may fail)");
 211                         LogDbg('',"please install Storable from CPAN as soon as possible");
 212                 } else {
 213                         import Storable qw(nfreeze thaw);
 214                         $convert = 3 if -e localdata("users.v3") && !-e $ufn;
 215                 }
 216         }
 217
 218         # do a conversion if required
 219         if ($convert) {
 220                 my ($key, $val, $action, $count, $err) = ('','',0,0,0);
 221                 my $ta = [gettimeofday];
 222
 223                 my %oldu;
 224                 LogDbg('',"Converting the User File from V$convert to $fn.json ");
 225                 LogDbg('',"This will take a while, I suggest you go and have cup of strong tea");
 226                 my $odbm = tie (%oldu, 'DB_File', localdata("users.v$convert"), O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn.v$convert ($!) [rebuild it from user_asc?]";
 227         for ($action = R_FIRST; !$odbm->seq($key, $val, $action); $action = R_NEXT) {
 228                         my $ref;
 229                         if ($convert == 3) {
 230                                 eval { $ref = storable_decode($val) };
 231                         } else {
 232                                 eval { $ref = asc_decode($val) };
 233                         }
 234                         unless ($@) {
 235                                 if ($ref) {
 236                                         $u{$key} = $ref;
 237                                         $count++;
 238                                 } else {
 239                                         $err++
 240                                 }
 241                         } else {
 242                                 Log('err', "DXUser: error decoding $@");
 243                         }
 244                 }
 245                 undef $odbm;
 246                 untie %oldu;
 247                 my $t = _diffms($ta);
 248                 LogDbg('',"Conversion from users.v$convert to users.json completed $count records $err errors $t mS");
 249
 250                 # now write it away for future use
 251                 $ta = [gettimeofday];
 252                 $err = 0;
 253                 $count = writeoutjson();
 254                 $t = _diffms($ta);
 255                 LogDbg('',"New Userfile users.json write completed $count records $err errors $t mS");
 256                 LogDbg('',"Now restarting..");
 257                 $main::ending = 10;
 258         } else {
 259                 # otherwise (i.e normally) slurp it in
 260                 readinjson();
 261         }
 262         $filename = $ufn;
 263 }
 264
 265 sub del_file
 266 {
 267         # with extreme prejudice
 268         if ($v3) {
 269                 unlink "$main::data/users.v3";
 270                 unlink "$main::local_data/users.v3";
 271         }
 272         if ($v4) {
 273                 unlink "$main::data/users.v4";
 274                 unlink "$main::local_data/users.v4";
 275         }
 276 }
 277
 278 #
 279 # periodic processing
 280 #
 281 sub process
 282 {
 283 #       if ($main::systime > $lasttime + 15) {
 284 #               #$dbm->sync if $dbm;
 285 #               $lasttime = $main::systime;
 286 #       }
 287 }
 288
 289 #
 290 # close the system
 291 #
 292
 293 sub finish
 294 {
 295         undef $dbm;
 296         untie %u;
 297 }
 298
 299 #
 300 # new - create a new user
 301 #
 302
 303 sub alloc
 304 {
 305         my $pkg = shift;
 306         my $call = uc shift;
 307         my $self = bless {call => $call, 'sort'=>'U'}, $pkg;
 308         return $self;
 309 }
 310
 311 sub new
 312 {
 313         my $pkg = shift;
 314         my $call = shift;
 315         #  $call =~ s/-\d+$//o;
 316
 317 #       confess "can't create existing call $call in User\n!" if $u{$call};
 318
 319         my $self = $pkg->alloc($call);
 320         $self->put;
 321         ++$newusers;
 322         ++$totusers;
 323         return $self;
 324 }
 325
 326 #
 327 # get - get an existing user - this seems to return a different reference everytime it is
 328 #       called - see below
 329 #
 330
 331 sub get
 332 {
 333         my $call = uc shift;
 334         my $nodecode = shift;
 335         my $ref = $u{$call};
 336         return undef unless $ref;
 337
 338         unless ($ref->[1]) {
 339                 $ifh->seek($ref->[0], 0);
 340                 my $l = $ifh->getline;
 341                 if ($l) {
 342                         my ($k,$s) = split /\t/, $l;
 343                         return $s if $nodecode;
 344                         my $j = json_decode($s);
 345                         if ($j) {
 346                                 $ref->[1] = $j;
 347                         }
 348                 }
 349         } elsif ($nodecode) {
 350                 return json_encode($ref->[1]);
 351         }
 352         return $ref->[1];
 353 }
 354
 355 #
 356 # get an "ephemeral" reference - i.e. this will give you new temporary copy of
 357 # the call's user record, but without storing it (if it isn't already there)
 358 #
 359 # This is not as quick as get()! But it will allow safe querying of the
 360 # user file. Probably in conjunction with get_some_calls feeding it.
 361 #
 362 # Probably need to create a new copy of any existing records WIP
 363
 364 sub get_tmp
 365 {
 366         my $call = uc shift;
 367         my $ref = $u{call};
 368         if ($ref) {
 369                 $ifh->seek($ref->[0], 0);
 370                 my $l = $ifh->getline;
 371                 if ($l) {
 372                         my ($k,$s) = split /\t/, $l;
 373                         my $j = json_decode($s);
 374                         return $;
 375                 }
 376         }
 377         return undef;
 378 }
 379
 380 #
 381 # get an existing either from the channel (if there is one) or from the database
 382 #
 383 # It is important to note that if you have done a get (for the channel say) and you
 384 # want access or modify that you must use this call (and you must NOT use get's all
 385 # over the place willy nilly!)
 386 #
 387
 388 sub get_current
 389 {
 390         my $call = uc shift;
 391
 392         my $dxchan = DXChannel::get($call);
 393         if ($dxchan) {
 394                 my $ref = $dxchan->user;
 395                 return $ref if $ref && UNIVERSAL::isa($ref, 'DXUser');
 396
 397                 dbg("DXUser::get_current: got invalid user ref for $call from dxchan $dxchan->{call} ". ref $ref. " ignoring");
 398         }
 399         return get($call);
 400 }
 401
 402 #
 403 # get all callsigns in the database
 404 #
 405
 406 sub get_all_calls
 407 {
 408         return (sort keys %u);
 409 }
 410
 411 #
 412 # get some calls - provide a qr// style selector string as a partial key
 413 #
 414
 415 sub get_some_calls
 416 {
 417         my $pattern = shift || qr/.*/;
 418         return sort grep {$pattern} keys %u;
 419 }
 420
 421 #
 422 # put - put a user
 423 #
 424
 425 sub put
 426 {
 427         my $self = shift;
 428         confess "Trying to put nothing!" unless $self && ref $self;
 429         $self->{lastin} = $main::systime;
 430         ++$modusers;                            # new or existing, it's still been modified
 431 }
 432
 433 # freeze the user
 434 sub encode
 435 {
 436         goto &json_encode if $v4;
 437         goto &asc_encode unless $v3;
 438         my $self = shift;
 439         return nfreeze($self);
 440 }
 441
 442 # thaw the user
 443 sub decode
 444 {
 445         goto &json_decode if $v4;
 446         goto &storable_decode if $v3;
 447         goto &asc_decode;
 448 }
 449
 450 # should now be obsolete for mojo branch build 238 and above
 451 sub storable_decode
 452 {
 453         my $ref;
 454         $ref = thaw(shift);
 455         return $ref;
 456 }
 457
 458
 459 #
 460 # create a hash from a string (in ascii)
 461 #
 462 sub asc_decode
 463 {
 464         my $s = shift;
 465         my $ref;
 466         $s =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
 467         eval '$ref = ' . $s;
 468         if ($@) {
 469                 LogDbg('err', "DXUser::asc_decode: on '$s' $@");
 470                 $ref = undef;
 471         }
 472         return $ref;
 473 }
 474
 475 sub json_decode
 476 {
 477         my $s = shift;
 478     my $ref;
 479         eval { $ref = $json->decode($s) };
 480         if ($ref && !$@) {
 481         return bless $ref, 'DXUser';
 482         } else {
 483                 LogDbg('err', "DXUser::json_decode: on '$s' $@");
 484         }
 485         return undef;
 486 }
 487
 488 sub json_encode
 489 {
 490         my $ref = shift;
 491         unbless($ref);
 492     my $s = $json->encode($ref);
 493         bless $ref, 'DXUser';
 494         return $s;
 495 }
 496
 497 #
 498 # del - delete a user
 499 #
 500
 501 sub del
 502 {
 503         my $self = shift;
 504         my $call = $self->{call};
 505 #       $lru->remove($call);
 506         #       $dbm->del($call);
 507         ++$delusers;
 508         --$totusers;
 509         delete $u{$call};
 510 }
 511
 512 #
 513 # close - close down a user
 514 #
 515
 516 sub close
 517 {
 518         my $self = shift;
 519         my $startt = shift;
 520         my $ip = shift;
 521         $self->{lastin} = $main::systime;
 522         # add a record to the connect list
 523         my $ref = [$startt || $self->{startt}, $main::systime];
 524         push @$ref, $ip if $ip;
 525         push @{$self->{connlist}}, $ref;
 526         shift @{$self->{connlist}} if @{$self->{connlist}} > $maxconnlist;
 527 #       $self->put();
 528 }
 529
 530 #
 531 # sync the database
 532 #
 533
 534 sub sync
 535 {
 536 #       $dbm->sync;
 537 }
 538
 539 #
 540 # return a list of valid elements
 541 #
 542
 543 sub fields
 544 {
 545         return keys(%valid);
 546 }
 547
 548
 549 #
 550 # export the database to an ascii file
 551 #
 552
 553 sub export
 554 {
 555         my $name = shift;
 556
 557         my $fn = $name || localdata("user_json"); # force use of local_data
 558
 559         # save old ones
 560         move "$fn.oooo", "$fn.ooooo" if -e "$fn.oooo";
 561         move "$fn.ooo", "$fn.oooo" if -e "$fn.ooo";
 562         move "$fn.oo", "$fn.ooo" if -e "$fn.oo";
 563         move "$fn.o", "$fn.oo" if -e "$fn.o";
 564         move "$fn", "$fn.o" if -e "$fn";
 565
 566         my $json = JSON->new;
 567         $json->canonical(1);
 568
 569         my $count = 0;
 570         my $err = 0;
 571         my $del = 0;
 572         my $fh = new IO::File ">$fn" or return "cannot open $fn ($!)";
 573         if ($fh) {
 574                 my $key = 0;
 575                 my $val = undef;
 576                 foreach my $k (sort keys %u) {
 577                         my $r = $u{$k};
 578                         if ($r->{sort} eq 'U' && !$r->{priv} && $main::systime > $r->{lastin}+$tooold ) {
 579                                 unless ($r->{lat} || $r->{long} || $r->{qra} || $r->{qth} || $r->{name}) {
 580                                         LogDbg('err', "DXUser::export deleting $k - too old, last in " . cldatetime($r->lastin) . " " . difft([$r->lastin, $main::systime]));
 581                                         delete $u{$k};
 582                                         ++$del;
 583                                         next;
 584                                 }
 585                         }
 586                         eval {$val = json_encode($r);};
 587                         if ($@) {
 588                                 LogDbg('err', "DXUser::export error encoding call: $k $@");
 589                                 ++$err;
 590                                 next;
 591                         }
 592                         $fh->print("$k\t$val\n");
 593                         ++$count;
 594                 }
 595         $fh->close;
 596     }
 597         my $s = qq{Exported users to $fn - $count Users $del Deleted $err Errors ('sh/log Export' for details)};
 598         LogDbg('command', $s);
 599         return $s;
 600 }
 601
 602 #
 603 # group handling
 604 #
 605
 606 # add one or more groups
 607 sub add_group
 608 {
 609         my $self = shift;
 610         my $ref = $self->{group} || [ 'local' ];
 611         $self->{group} = $ref if !$self->{group};
 612         push @$ref, @_ if @_;
 613 }
 614
 615 # remove one or more groups
 616 sub del_group
 617 {
 618         my $self = shift;
 619         my $ref = $self->{group} || [ 'local' ];
 620         my @in = @_;
 621
 622         $self->{group} = $ref if !$self->{group};
 623
 624         @$ref = map { my $a = $_; return (grep { $_ eq $a } @in) ? () : $a } @$ref;
 625 }
 626
 627 # does this thing contain all the groups listed?
 628 sub union
 629 {
 630         my $self = shift;
 631         my $ref = $self->{group};
 632         my $n;
 633
 634         return 0 if !$ref || @_ == 0;
 635         return 1 if @$ref == 0 && @_ == 0;
 636         for ($n = 0; $n < @_; ) {
 637                 for (@$ref) {
 638                         my $a = $_;
 639                         $n++ if grep $_ eq $a, @_;
 640                 }
 641         }
 642         return $n >= @_;
 643 }
 644
 645 # simplified group test just for one group
 646 sub in_group
 647 {
 648         my $self = shift;
 649         my $s = shift;
 650         my $ref = $self->{group};
 651
 652         return 0 if !$ref;
 653         return grep $_ eq $s, $ref;
 654 }
 655
 656 # set up a default group (only happens for them's that connect direct)
 657 sub new_group
 658 {
 659         my $self = shift;
 660         $self->{group} = [ 'local' ];
 661 }
 662
 663 # set up empty buddies (only happens for them's that connect direct)
 664 sub new_buddies
 665 {
 666         my $self = shift;
 667         $self->{buddies} = [  ];
 668 }
 669
 670 #
 671 # return a prompt for a field
 672 #
 673
 674 sub field_prompt
 675 {
 676         my ($self, $ele) = @_;
 677         return $valid{$ele};
 678 }
 679
 680 # some variable accessors
 681 sub sort
 682 {
 683         my $self = shift;
 684         @_ ? $self->{'sort'} = shift : $self->{'sort'} ;
 685 }
 686
 687 # some accessors
 688
 689 # want is default = 1
 690 sub _want
 691 {
 692         my $n = shift;
 693         my $self = shift;
 694         my $val = shift;
 695         my $s = "want$n";
 696         $self->{$s} = $val if defined $val;
 697         return exists $self->{$s} ? $self->{$s} : 1;
 698 }
 699
 700 # wantnot is default = 0
 701 sub _wantnot
 702 {
 703         my $n = shift;
 704         my $self = shift;
 705         my $val = shift;
 706         my $s = "want$n";
 707         $self->{$s} = $val if defined $val;
 708         return exists $self->{$s} ? $self->{$s} : 0;
 709 }
 710
 711 sub wantbeep
 712 {
 713         return _want('beep', @_);
 714 }
 715
 716 sub wantann
 717 {
 718         return _want('ann', @_);
 719 }
 720
 721 sub wantwwv
 722 {
 723         return _want('wwv', @_);
 724 }
 725
 726 sub wantwcy
 727 {
 728         return _want('wcy', @_);
 729 }
 730
 731 sub wantecho
 732 {
 733         return _want('echo', @_);
 734 }
 735
 736 sub wantwx
 737 {
 738         return _want('wx', @_);
 739 }
 740
 741 sub wantdx
 742 {
 743         return _want('dx', @_);
 744 }
 745
 746 sub wanttalk
 747 {
 748         return _want('talk', @_);
 749 }
 750
 751 sub wantgrid
 752 {
 753         return _want('grid', @_);
 754 }
 755
 756 sub wantemail
 757 {
 758         return _want('email', @_);
 759 }
 760
 761 sub wantann_talk
 762 {
 763         return _want('ann_talk', @_);
 764 }
 765
 766 sub wantpc16
 767 {
 768         return _want('pc16', @_);
 769 }
 770
 771 sub wantsendpc16
 772 {
 773         return _want('sendpc16', @_);
 774 }
 775
 776 sub wantroutepc16
 777 {
 778         return _want('routepc16', @_);
 779 }
 780
 781 sub wantusstate
 782 {
 783         return _want('usstate', @_);
 784 }
 785
 786 sub wantdxcq
 787 {
 788         return _want('dxcq', @_);
 789 }
 790
 791 sub wantdxitu
 792 {
 793         return _want('dxitu', @_);
 794 }
 795
 796 sub wantgtk
 797 {
 798         return _want('gtk', @_);
 799 }
 800
 801 sub wantpc9x
 802 {
 803         return _want('pc9x', @_);
 804 }
 805
 806 sub wantlogininfo
 807 {
 808         my $self = shift;
 809         my $val = shift;
 810         $self->{wantlogininfo} = $val if defined $val;
 811         return $self->{wantlogininfo};
 812 }
 813
 814 sub is_node
 815 {
 816         my $self = shift;
 817         return $self->{sort} =~ /^[ACRSX]$/;
 818 }
 819
 820 sub is_local_node
 821 {
 822         my $self = shift;
 823         return grep $_ eq 'local_node', @{$self->{group}};
 824 }
 825
 826 sub is_user
 827 {
 828         my $self = shift;
 829         return $self->{sort} =~ /^[UW]$/;
 830 }
 831
 832 sub is_web
 833 {
 834         my $self = shift;
 835         return $self->{sort} eq 'W';
 836 }
 837
 838 sub is_bbs
 839 {
 840         my $self = shift;
 841         return $self->{sort} eq 'B';
 842 }
 843
 844 sub is_spider
 845 {
 846         my $self = shift;
 847         return $self->{sort} eq 'S';
 848 }
 849
 850 sub is_clx
 851 {
 852         my $self = shift;
 853         return $self->{sort} eq 'C';
 854 }
 855
 856 sub is_dxnet
 857 {
 858         my $self = shift;
 859         return $self->{sort} eq 'X';
 860 }
 861
 862 sub is_arcluster
 863 {
 864         my $self = shift;
 865         return $self->{sort} eq 'R';
 866 }
 867
 868 sub is_ak1a
 869 {
 870         my $self = shift;
 871         return $self->{sort} eq 'A';
 872 }
 873
 874 sub unset_passwd
 875 {
 876         my $self = shift;
 877         delete $self->{passwd};
 878 }
 879
 880 sub unset_passphrase
 881 {
 882         my $self = shift;
 883         delete $self->{passphrase};
 884 }
 885
 886 sub set_believe
 887 {
 888         my $self = shift;
 889         my $call = uc shift;
 890         $self->{believe} ||= [];
 891         push @{$self->{believe}}, $call unless grep $_ eq $call, @{$self->{believe}};
 892 }
 893
 894 sub unset_believe
 895 {
 896         my $self = shift;
 897         my $call = uc shift;
 898         if (exists $self->{believe}) {
 899                 $self->{believe} = [grep {$_ ne $call} @{$self->{believe}}];
 900                 delete $self->{believe} unless @{$self->{believe}};
 901         }
 902 }
 903
 904 sub believe
 905 {
 906         my $self = shift;
 907         return exists $self->{believe} ? @{$self->{believe}} : ();
 908 }
 909
 910 sub lastping
 911 {
 912         my $self = shift;
 913         my $call = shift;
 914         $self->{lastping} ||= {};
 915         $self->{lastping} = {} unless ref $self->{lastping};
 916         my $b = $self->{lastping};
 917         $b->{$call} = shift if @_;
 918         return $b->{$call};
 919 }
 920
 921 #
 922 # read in the latest version of the user file. As this file is immutable, the file one really wants is
 923 # a later (generated) copy. But, if the plain users.v4 file is all we have, we'll use that.
 924 #
 925
 926 use File::Copy;
 927
 928 sub readinjson
 929 {
 930         my $fn = $filename;
 931         my $nfn = "$fn.n";
 932         my $ofn = "$fn.o";
 933
 934         my $ta = [gettimeofday];
 935         my $count = 0;
 936         my $s;
 937         my $err = 0;
 938
 939         unless (-r $fn) {
 940                 dbg("DXUser $fn not found - probably about to convert");
 941                 return;
 942         }
 943
 944         if (-e $nfn && -e $fn && (stat($nfn))[9] > (stat($fn))[9]) {
 945                 # move the old file to .o
 946                 unlink $ofn;
 947                 move($fn, $ofn);
 948                 move($nfn, $fn);
 949         };
 950
 951         if ($ifh) {
 952                 $ifh->seek(0, 0);
 953         } else {
 954                 $ifh = IO::File->new("+<$fn") or die "$fn read error $!";
 955         }
 956         my $pos = $ifh->tell;
 957         while (<$ifh>) {
 958                 chomp;
 959                 my @f = split /\t/;
 960                 $u{$f[0]} = [$pos];
 961                 $count++;
 962                 $pos = $ifh->tell;
 963         }
 964         $ifh->seek(0, 0);
 965
 966         # $ifh is "global" and should not be closed
 967
 968         dbg("DXUser::readinjson $count record headers read from $fn in ". _diffms($ta) . " mS");
 969         return $totusers = $count;
 970 }
 971
 972 #
 973 # Write a newer copy of the users.v4 file to users.v4.n, which is what will be read in.
 974 # This means that the existing users.v4 is not touched during a run of dxspider, or at least
 975 # not yet.
 976
 977 sub writeoutjson
 978 {
 979         my $ofn = shift || "$filename.n";
 980         my $ta = [gettimeofday];
 981
 982         my $ofh = IO::File->new(">$ofn") or die "$ofn write error $!";
 983         my $count = 0;
 984         $ifh->seek(0, 0);
 985         for my $k (sort keys %u) {
 986                 my $l = get($k, 1);
 987                 if ($l) {
 988                         chomp $l;
 989                         print $ofh "$k\t$l\n";
 990                         ++$count;
 991                 } else {
 992                         LogDbg('DXCommand', "DXUser::writeoutjson callsign $k not found")
 993                 }
 994         }
 995
 996         $ofh->close;
 997         dbg("DXUser::writeoutjson $count records written to $ofn in ". _diffms($ta) . " mS");
 998         return $count;
 999 }
1000 1;
1001 __END__
1002
1003
1004
1005
1006