WIP RBN, add skimmer analysis program

WIP change data structs for efficiency

Fix Filtering, RBN changes

Filter has changed so that it is now a "simple" transliteration
into perl expressions and relies on perl to do what is required
It is quitely that some more work will be required for error
handling, but the I no longer attempt to do any bracket handling
and leave that up to perl. This means that brackets are fully
working (as opposed to NOT working at all).

Regexes are now robustly translated where necessary. In order to
do this I have ditched Data Dumper because it did not seem to cope
with the regex translations correctly. '\s' would seem have been
translated to '\\s' and not what the regex actually said. So I
have changed the file format to JSON. As this is now the 3rd or
4th JSON change I have made, I have created a "standard" encode and
decode in DXJSON.pm and retrofitted it to all the other places
which had their own purpose built one. DXJSON.pm is just a very
light shim over the standard one.

The RBN changes are:

1. don't short-circuit the zone iteration by a  filter firing.
2. make sure that filtering and not filtering work identically
3. Add constants to the caches records to make it more obvious
   what is going on.

minor debugging change

stop crash if node adds itself in pc92

remove '#' in bands.pl !!!!!!

a more robust console.pl idle loop fix

make all the comparisons 'eq' and check that RESIZE still works

fix spurious == errors on console.pl input

This only happens if it catches a character during the idle loop
which is the only way to catch Curses RESIZE signal. But a stray
"normal" character might get through as well.

stop dbg init when not in debug mode.

This fixes problems reported when running console.pl not as the
sysop user.

kill some 5.28 warnings

add --all to the git pill in UPGRADE.mojo

Update the docs for the latest version

* major change: convert the users file to Json.
* NEW: add an RBN client.

Merge branch 'users.v3j' into mojo

add warning about filters and set/skimmer

fix help for priv 9 set/skimmer

rm rbn from Aliases, change help

Add a callsign to invalid characters in command handling

The last revision before merge back to mojo?

See Changes file for details

fix (bandaid for now) sh/cl local counts

fix (bandaid for now) sh/cl local counts

fix show/node

backport console.pl from users.v3j

more RBN.mojo changes

more RBN.mojo changes

update RBN.mojo

add current node to console.pl

add RBN.mojo

attempt to prevent echoing on ExtMsg login

This is to try to prevent any PROXY message being echoed

Add HAProxy type 1 "real ip" address changes

fix show/dxcc

fix show/dxcc

fix console.pl

Including removing the 80-1 limit on local connections, fixing the
scrolling and generally tarting console.pl up.
Change dx spot RBN format to "traditional" '-#' format.

fix longstanding issues with console EOL handling

Historically there has been an issue with line endings in console.pl
which meant that the spot line (for instance) had to be 1 character
less than the window width (e.g. 79 chars in an 80 char window).

This has now FINALLY been fixed.

In the process I have fixed the issues of extra things like
cq/itu/us state/dxgrid strings overwriting or coming out in a
stupid priority. So the priority is now from nearest/smallest
area -> largest wiz: QRA, US State, ITU or CQ zone. So you
can have them all on, but ITU zone will always trump CQ zone.

improve dbg tagging and dbgdump, Add call to conns

It would appear that the $conn did not always have a callsign set
on incoming connections. It does now.

add RBN stats + other fixes

Add some more comprehensive RBN stats (per minute, 10 minutes, hour).
Make the RBN spot cache global and make the inrush preventor code
work only on the first connection to skimmer provider.
Fix the $_isdbg clearing so that non-conditional logging messages
come out with a (*) in watchdbg and not the previous isdbg() sort.

Merge branch 'mojo' into users.v3j

Also convert QSL.pm and create_qsl.pl to JSON format.

fix ipv4 addresses masquerading as ipv6

various RBN fixes, fix links spacing

Add incoming RBN filtering from the RBN servers.
Use spot filtering if there is no RBN specific filtering.
Fix formatting issues in the 'links' command for isolated and skimmer nodes.

use spot filters for rbn in no rbn filters exist

make sure wantrbn is picked up again on restart

remove words about convert-v3-to-v4.pl from UPDATE.mojo

fix new RBN spot typos

RBN do filtering one per stored spot not per user

add RBN filtering

Set $Spot::readback back to 1

This is to solve the problem of losing found spots when traversing
multiple files.

TO BE FIXED!! So we can read forward again.

fix respotted spots

rbn collect qra info ftom FTx spots

increase rbn connection startup delay

make rbn queues local, improve qrg jitter detect

RBN "fix" qrg variation, add extra flags

* = multiple QRGs
+ = respot

add missing set/rbn.pl

Latest version of RBN code

lengthen trailing numeric part of prefix

to allow things like GB5000GCM etc

add better errors in DXUser::Exportusers

lengthen trailing numeric part of prefix

to allow things like GB5000GCM etc

Merge branch 'mojo' into users.v3j

just to keep stuff ticking along

fix erronoeus input filter cmd causing crashes

fix sh/mydx, add back qra sq for sh/dxgrid

fix beacons on RBN

put back startup_delay to RBN

fix create_prefix.pl

latest version of RBN. Add qra to prefixes.

Also fix small issue with reading a line from an sql file and
include the ip address.

add <tr>,<es> and <ms> shortcuts to sh/dx

get rid of sh/dx debugging warnings

fix log and sh/dx ordering issues.

add chenges to sh/dx

fix regex parse in sh/dx, add DXBearing::distance

fix the small whoopsie in sh/dx

final(!) issued version of sh/dx

fix !( spurious && before next item in  Filter

and some more RBN WIP

initial removal of Storable

and the necessary mod for testing / in calls

Add parameter to allow testing of PA0/G1TLH style callsigns

add missing Changes file

fix sh/dx by call and missing files

Add a basic implimentation of allowing callsigns like PA0/G1TLH
to login as normal users that are completely distinct from their
(apparent) parent callsign. PA0/G1TLH has no connection with
G1TLH despite appearances.

improve links cmd. fix UPGRADE.mojo

fix info xxxx

change sh/dx backend to the Filter engine

add an RBN line to progress

add new colour for RBN in console

RBN now with basic spots

new dbgtrace command

Avoid the use of Carp long/short_message and replace it with our own.

WIP RBN

fix the issue in DXProt::add_thingy

For some reason I wasn't checking whether PC92 routing message was valid
enough. I shall probably have to harden it even more still.

Also fixed DXDebug::printdbgring(nn) so that actually honours nn!

add connect time/uptime for links cmd

Allow stuff on the console with no disk logging

limit the no of spots stored for a search

This is to cope with people that suck skimmer spots and end up
with 100Mb files to read. But it does rely on the hint getting
most of the candidates with not more than 2 false positives.

fix DXSubcommand thaw protection

try to fix DXSubprocess errors

That are happening at the EA3CV-2.
Also make sure that an incoming connection's IP address is recorded.

Fix the DXC locking out DXC-5 issue

Add CTY-3010 prefixes

add gitbranch to pc18

show git branch in show/version

correct convert-users-v3-to-v4.pl

include convert-users-v3-to-v4.pl

READ THE UPGRADE.mojo file (especially things marked *IMPORTANT*

backport DXSubprocess to change serialisations

Currently the internals of Mojo::IOLoop::Subprocess defaults to
using Storaable as its cross-process argument and data serialisaion
method. It can use others. This update reverts back to the
original ForkCall method of using JSON.

Restore Script.pm to master's version

updated docs for rbn.pl

probably fix Script erase error

improve node initialisation debugging

fix echo typo

Initial user multiple attachments!!

This will, after 3 (default) bumpoffs with 5 mins (default) it
will allow up $main::allowmultiple (if set > 1) connections with different
ssids BUT THE SAME user record.

Strip out echo and blank cmds from progress debugging unless set/debug 'echo'
is set.

wwv & wcy progress, random lockouts

Improve the look of WWV and WCY progress messages.
Stop the random lockouts of connected nodes with ephemeral user
records.