updated documentation a bit
[spider.git] / sgml / adminmanual.sgml
index c5e24aa9b5d841a713a0d024ee6c726de6b0c50e..d6fb29940ca80701b12555b89ae1fed1aa24cd66 100644 (file)
@@ -4,9 +4,10 @@
 
 <!-- Title information -->
 
-<title>The DXSpider Installation and Administration Manual 
-<author>Ian Maude, G0VGS, (ianmaude@btinternet.com)
-<date>Version 1.29 January 2001
+<title>The DXSpider Administration Manual v1.48</title> 
+<author>Ian Maude, G0VGS, (ianmaude@btinternet.com)</author>
+<date>Version 1.48 August 2001 revision 1.1</date>
+
 <abstract>
 A reference for SysOps of the DXSpider DXCluster program.
 </abstract>
@@ -16,639 +17,425 @@ A reference for SysOps of the DXSpider DXCluster program.
 
 <!-- Begin the document -->
 
-<sect>Installation (Original version by Iain Phillips, G0RDI)
-
-<P>
-Last modified: 13 January 2001 by Ian Maude, G0VGS
+<sect>Routing and Filtering
 
 <sect1>Introduction
 
 <P>
-This section describes the installation of DX Spider v1.35 on a 
-<htmlurl url="http://www.redhat.com" name="RedHat"> Linux Distribution.  
-I do not intend to try and cover the installation of Linux or the setup 
-of the AX25 utilities.  If you need help on this then read Iains original 
-HOWTO on the <htmlurl url="http://www.dxcluster.org" name="DXSpider"> 
-website.
-
-<P>
-I am assuming a general knowledge of Linux and its commands.  You should 
-know how to use <em>tar</em> and how to edit files using your favourite editor.
-
-<P>
-The crucial ingredient for all of this is 
-<htmlurl url="http://www.perl.org" name="Perl 5.004">.  Now I know Perl 5.005 
-is out and this will almost certainly work with it, but 
-<htmlurl url="http://www.redhat.com" name="RedHat 5.1"> comes with 5.004. 
-<em>Be Warned</em>, earlier versions of 
-<htmlurl url="http://www.redhat.com" name="RedHat"> <bf>do not</bf> come 
-with 5.004 as standard, you need to 
-<htmlurl url="ftp://upgrade.redhat.com" name="upgrade">
-
-<P>In addition to the standard Red Hat distribution you will require the 
-following <htmlurl url="http://www.cpan.org/CPAN.html" name="CPAN"> modules: -
-
-<P>
-<itemize>
-
-<item>         MD5-1.7.tar.gz
-<item>         Data-Dumper-2.10.tar.gz
-<item>         FreezeThaw-0.3.tar.gz
-<item>         MLDBM-2.00.tar.gz
-<item>         TimeDate-1.08.tar.gz
-<item>         IO-1.20.tar.gz
-<item>         Net-Telnet-3.02.tar.gz
-<item>         Curses-1.05.tar.gz
-<item>         Time-HiRes-01.20.tar.gz
-
-</itemize>
-
-<P>
-
-<em>Do</em> get the latest versions of these packages and install them 
-but use the above list as the earliest versions usable.
-
-<sect1>Preparation
-
-<P>
-I will assume that you have already downloaded the latest tarball of 
-the DXSpider software and are ready to install it. I am assuming version 
-1.35 for this section but of course you would use the latest version.
-
-<P>
-Login as root and create a user to run the cluster under.  <bf><it>UNDER 
-NO CIRCUMSTANCES USE ROOT AS THIS USER!</it></bf>.  I am going to use 
-the name <em>sysop</em>.  You can call it anything you wish.  Depending 
-on your security requirements you may wish to use an existing user, 
-however this is your own choice.
+From DXSpider version 1.48, major changes were introduced to the way 
+node connections are treated.  This is part of an ongoing process to
+remove problems with loops and to enable talk and other functions to
+propagate across the whole of the worldwide cluster network.  In fact,
+in a Spider network, it would be useful, perhaps even necessary to
+have loops.  This would give real resilience to the network, meaning
+that if a link dropped, the information flow would simply come in and
+go out via a different route.  Of course, we do not have a complete
+network of Spider nodes, there are other programs out there.  Some of
+these do not have any protection from loops.  Certainly AK1A does not 
+handle loops well at all.  It is therefore necessary to have some form 
+of protection for these nodes.
+
+<P>
+In fact DXSpider has had a simple system for some time which is called
+<it>isolation</it>. This is similar to what, in other systems such as 
+<bf>clx</bf>, is called <it>passive mode</it>. A more detailed explanation
+of <it>isolation</it> is given further below. This system is still available
+and, for simple networks, is probably all that you need.
+
+<P>
+The new functionality introduced in version 1.48 is filtering the node
+and user protocol frames on a "per interface" basis. We call this
+<it>route filtering</it>. This is used <bf>instead of</bf>
+<it>isolation</it>. 
+
+<p>
+What this really means is that you can control more or less completely
+which PC protocol frames, to do with user and node management, pass to
+each of your partner nodes. You can also limit what comes into your
+node from your partners. You can even control the settings that your
+partner node has for the routing information that it sends to you
+(using the <it>rcmd</it> command).
+
+<sect1>Route Filters
+
+<p>
+Initially when route filters were being tested we generated a
+"default" filter.  Unfortunately it quickly became apparent that this
+might suit the UK cluster network but didn't really fit anybody else.
+However using a default filter is an appropriate thing to do. How, is
+explained further on.
+
+<p>
+The first thing that you must do is determine whether you need to do route filtering <bf>at all</bf>. If you are a "normal" node with two or three partners
+and you arranged in an "official" non-looping tree type network, then <bf>you do 
+not need to do route filtering</bf> and you will feel a lot better for not 
+getting involved. If you are successfully using <it>isolation</it> then you
+also probably don't need to use route filtering.
+
+<p>
+You will only require this functionality if you are
+"well-connected". What that means is that you are connected to several
+different parts of (say) the EU cluster and, at the same time, also
+connected to two or three places in the US which, in turn are
+connected back to the EU. This is called a "loop" and if you are
+seriously looped then you need filtering.
+
+<P>
+I should at this stage give a little bit of background on filters.  All
+the filters in Spider work in basically the same way.  You can either
+accept or reject various options in order to create the filter rules
+you wish to achieve.  Some filters are user settable, others can only
+be altered by the sysop.  Route filtering can only be done by the sysop.
+
+<P> 
+Anyway, without further discouragement, let me start the process
+of explanation.
+
+<sect1>The node_default filter
+
+<P>
+All normal systems should have a default routing filter and it should
+usually be set to send only the normal, unlooped, view of your
+"national" network.  Here in the UK that means nodes from the UK and
+Eire, in EU it is more complex as the networks there grew up in a more
+intertwined way.
+
+<p> 
+The generic commands are:-
 
-<P>
 <tscreen><verb>
-# adduser -m sysop
-</verb></tscreen>
+reject/route node_default &lt;filter_option&gt;
 
-<P>
-Now set a password for the user ...
+or
 
-<tscreen><verb>
-# passwd sysop
-# New UNIX password:
-# Retype new UNIX password:
-passwd: all authentication tokens updated successfully
+accept/route node_default &lt;filter_option&gt;
 </verb></tscreen>
 
-<sect1>Installing the software
-
-<P>
-Now to unpack the DX Spider distribution, set symbolic links and group 
-permissions.  Copy the tarball to /home/sysop and do the following.
+where filter_option is one of the following ...
 
 <tscreen><verb>
-# cd ~sysop
-# tar xvfz spider-1.35.tar.gz
-# ln -s ~sysop/spider /spider
-# groupadd -g 251 spider       (or another number)
+call &lt;prefixes&gt;
+call_dxcc &lt;numbers&gt;
+call_itu &lt;numbers&gt;
+call_zone &lt;numbers&gt;
+channel &lt;prefixes&gt;
+channel_dxcc &lt;numbers&gt;
+channel_itu &lt;numbers&gt;
+channel_zone &lt;numbers&gt;
 </verb></tscreen>
 
-If you do not have the command <em>groupadd</em> available to you simply 
-add a line in /etc/group by hand.
+Please be careful if you alter this setting, it will affect 
+<bf><it>ALL</it></bf> your links!
+
+<p>
+For the default routing filter then you have two real choices: either
+a "national" view or the "safe" option of only your own
+callsign. Examples of each (for my node: GB7DJK) are:-
 
 <tscreen><verb>
-# vi /etc/group                (or your favorite editor)
+acc/route node_default call_dxcc 61,38
+acc/route node_default call gb7djk
 </verb></tscreen>
 
-You also need to add some others to the group, including your own callsign 
-(this will be used as an alias) and root.  The finished line in /etc/group 
-should look something like this
+GB7DJK uses the first of these. The DXCC countries can be obtained from the 
+<it>show/prefix</it> command.
 
-<tt>
-spider:x:251:sysop,g0vgs,root
-</tt>
+<p>
+The example filters shown control <it>output</it> <bf>TO</bf> all your
+partner nodes unless they have a specific filter applied to them (see
+next section).
 
-<P>
-The next step is to set the permissions on the Spider directory tree and files ....
+<p>
+It is also possible to control the <it>incoming</it> routing
+information that you are prepared to accept <bf>FROM</bf> your partner
+nodes. The reason this is necessary is to make sure that stuff like
+mail, pings and similar commands a) go down the correct links and b)
+don't loop around excessively. Again using GB7DJK as an example a typical
+default input filter would be something like:
 
 <tscreen><verb>
-# chown -R sysop.spider spider
-# find . -type d -exec chmod 2775 {} \;
-# find . -type f -exec chmod 775 {} \;
+rej/route node_default input call_dxcc 61,38 and not channel_dxcc 61,38
 </verb></tscreen>
 
-<P>
-This last step allows various users of the group <em>spider</em> to have 
-write access to all the directories.  This is not really needed just yet 
-but will be useful when web interfaces start to appear.
+What this does is accept node and user information for our national
+network from nodes that are in our national network, but rejects such
+information from anyone else. Although it doesn't explicitly say so,
+by implication, any other node information (not from the UK and Eire)
+is accepted.
 
-<P>
-Finally, you need to fix the permissions on the ax25_call and netrom_call 
-programs.  Check where they are with the <em>locate</em> command and alter 
-the permissions with the <em>chmod</em> command like this ..
+<p>
+As I imagine it will take a little while to get one's head around all of this you
+can study the effect of any rules that you try by watching the debug output
+after having done:-
 
 <tscreen><verb>
-# chown root ax25_call netrom_call
-# chmod 4775 ax25_call netrom_call
+set/debug filter
 </verb></tscreen>
 
-<sect1>Setting callsigns etc
-
-<P>
-Now login to your machine as the user you created earlier.  In my case that 
-user is called <em>sysop</em>.  Once logged in, issue the following commands ....
+After you have got tired of that, to put it back the way it was:-
 
 <tscreen><verb>
-$ cd /spider
-$ mkdir local
-$ mkdir local_cmd
-$ cp perl/DXVars.pm.issue local/DXVars.pm
-$ cd local
-$ vi DXVars.pm (or your favourite editor)
+unset/debug filter
 </verb></tscreen>
 
-<P>
-Using the distributed DXVars.pm as a a template, set your cluster callsign, 
-sysop callsign and other user info to suit your own environment. Note that 
-this a perl file which will be parsed and executed as part of the cluster. If 
-you get it wrong then perl will complain when you start the cluster process.  
-It is important only to alter the text of any section.  Some of the lines look 
-a little odd.  Take this line for example ....
-
-<tt>
-$myemail = "ianmaude\@btinternet.com";
-</tt>
-
-<P>
-There appears to be an extra slash in there.  However this has to be there 
-for the file to work so leave it in.
-               
-<P><bf>PLEASE USE CAPITAL LETTERS FOR CALLSIGNS</bf>
-               
-<P>
-DON'T alter the DXVars.pm (or any other file) in /spider/perl, they are 
-overwritten with every release. Any files or commands you place in /spider/local 
-or /spider/local_cmd will automagically be used in preference to the ones in 
-/spider/perl EVEN while the cluster is running!
+<sect1>General route filtering
 
 <P>
-Save the new file and change directory to ../perl ....
+Exactly the same rules apply for general route filtering.  You would
+use either an accept filter or a reject filter like this ...
 
 <tscreen><verb>
-$ cd ../perl
-</verb></tscreen>
+reject/route &lt;node_call&gt; &lt;filter_option&gt;
 
-<P>
-Now type the following command which creates the basic user file with you as 
-the sysop.
-
-<tscreen><verb>
-$ create_sysop.pl
-</verb></tscreen>
-
-<sect1>Starting up for the first time
-
-<P>
-We can now bring spider up for the first time and see if all is well or not!  
-It should look something like this ...
+or
 
-<tscreen><verb>
-$ cluster.pl
-DXSpider DX Cluster Version 1.35
-Copyright (c) 1998 Dirk Koopman G1TLH
-loading prefixes ...
-loading band data ...
-loading user file system ...
-starting listener ...
-reading existing message headers
-reading cron jobs
-orft we jolly well go ...
+accept/route &lt;node_call&gt; &lt;filter_option&gt; 
 </verb></tscreen>
 
 <P>
-If all is well then login on another term or console as <em>sysop</em> and 
-cd to /spider/perl.  Now issue the following command ...
+Here are some examples of route filters ...
 
 <tscreen><verb>
-$ client.pl
+rej/route gb7djk call_dxcc 61,38 (everything except  UK+EIRE nodes)
+rej/route all     (equiv to [very] restricted mode)
+acc/route gb7djk call_dxcc 61,38 (send only UK+EIRE nodes)
+acc/route gb7djk call gb7djk     (equiv to SET/ISOLATE)
 </verb></tscreen>
 
-<P>
-This should log you into the cluster as the sysop under the alias callsign we 
-set earlier.  In this case the callsign is G0VGS.  The cluster callsign is set 
-in the DXVars.pm file in /spider/local.  In this case we will assume that this 
-was set as GB7MBC.  You should therefore see this when you login ....
-
+In practice you will either be opening the default filter out for a
+partner by defining a specific filter for that callsign:-
 <tscreen><verb>
-G0VGS de GB7MBC 19-Nov-1999 2150Z >
+acc/route gb7baa all
+acc/route gb7baa input all
 </verb></tscreen>
 
-If you do, congratulations!  If not, look over the instructions again, you 
-have probably missed something out.  You can shut spider down again with the 
-command ....
+or restricting it quite a lot, in fact making it very nearly like an <it>isolated</it> node, like this:-
 
 <tscreen><verb>
-shutdown
+acc/route pi4ehv-8 call gb7djk
+rej/route pi4ehv-8 input call_dxcc 61,38 
 </verb></tscreen>
 
-<P>
-and both the cluster and the client should return to Linux prompts.
+This last example takes everything except UK and Eire from PI4EHV-8
+but only sends him my local configuration (just a PC19 for GB7DJK and
+PC16s for my local users).
 
-<sect>The Client program
+<p>
+It is possible to do <bf>much</bf> more complex rules, there are up to 10
+accept/reject pairs per callsign per filter. For more information see the 
+next section. 
 
-<P>
-In earlier versions of Spider, all the processes were Perl scripts.  This 
-was fine but with a lot of users your computer memory would soon be used up.  
-To combat this a new client was written in "C".  This client only works for
-<em>incoming</em> connects at the moment.  Before you can use it though it 
-has to be "made".  CD to /spider/src and type <em>make</em>.  You 
-should see the output on your screen and hopefully now have a small C program 
-called <em>client</em>.  Leave it in this directory.
-
-<sect>Configuration
 
-<sect1>Allowing ax25 connects from users
+<sect1>General filter rules
 
 <P>
-As stated previously, the aim of this document is not to tell you how to 
-configure Linux or the ax25 utilities.  However, you do need to add a line 
-in your ax25d.conf to allow connections to DXSpider for your users.  For
-each interface that you wish to allow connections on, use the following format ...
-
-<tscreen><verb>
-default  * * * * * *  - sysop /spider/src/client client %u ax25
-</verb></tscreen>
-
-<sect1>Allowing telnet connects from users
+Upto v1.44 it was not possible for the user to set their own filters.  From 
+v1.45 though that has all changed.  It is now possible to set filters for just 
+about anything you wish.  If you have just updated from an older version of 
+DXSpider you will need to update your new filters.  You do not need to do 
+anything with your old filters, they will be renamed as you update.
 
 <P>
-Allowing telnet connections is quite simple.  Firstly you need to add a line 
-in /etc/services to allow connections to a port number, like this ....
-
-<tscreen><verb>
-spdlogin   8000/tcp     # spider anonymous login port
-</verb></tscreen>
-
-Then add a line in /etc/inetd.conf like this ....
-
-<tscreen><verb>
-spdlogin stream tcp nowait root /usr/sbin/tcpd /spider/src/client login telnet
-</verb></tscreen>
+There are 3 basic commands involved in setting and manipulating filters.  These 
+are <em>accept</em>, <em>reject</em> and <em>clear</em>.  First we will look
+generally at filtering. There are a number of things you can filter in the 
+DXSpider system. They all use the same general mechanism.
 
 <P>
-This needs to be added above the standard services such as ftp, telnet etc.  
-Once this is done, you need to restart inetd like this ....
+In general terms you can create a "reject" or an "accept" filter which can have 
+up to 10 lines in it. You do this using, for example ... 
 
-<tscreen><verb>
-killall -HUP inetd
+<tscreen><verb> 
+accept/spots .....
+reject/spots .....
 </verb></tscreen>
 
+where ..... are the specific commands for that type of filter. There are filters 
+for spots, wwv, announce, wcy and (for sysops) connects. See each different 
+accept or reject command reference for more details.
 
-<P>Now login as <em>sysop</em> and cd spider/perl. You can test that spider 
-is accepting telnet logins by issuing the following command ....
+There is also a command to clear out one or more lines in a filter. They are ...
 
 <tscreen><verb>
-client.pl login telnet
+clear/spots 1
+clear/spots all
 </verb></tscreen>
 
-You should get a login prompt and on issuing a callsign, you will be given 
-access to the cluster.  Note, you will not get a password login.  There seems 
-no good reason for a password prompt to be given so it is not asked for.
+There is clear/xxxx command for each type of filter.
 
 <P>
-Assuming all is well, then try a telnet from your linux console ....
+and you can check that your filters have worked by the command ... 
 
-<tscreen><verb>
-telnet localhost 8000
+<tscreen><verb>  
+show/filter
 </verb></tscreen>
 
 <P>
-You should now get the login prompt and be able to login as before.
+For now we are going to use spots for the examples, but you can apply the same
+principles to all types of filter.
 
-<sect1>Setting up node connects
+<sect1>Types of filter
 
 <P>
-In order to allow cluster node connections, spider needs to know that the 
-connecting callsign is a cluster node.  This is the case whether the connect 
-is incoming or outgoing.  In spider this is a simple task and can be done in 
-runtime.
+There are two main types of filter, <em>accept</em> or <em>reject</em>.  You 
+can use either to achieve the result you want dependent on your own preference 
+and which is more simple to do.  It is pointless writing 8 lines of reject 
+filters when 1 accept filter would do the same thing!  Each filter has 10 
+lines (of any length) which are tried in order.  If a line matches then the 
+action you have specified is taken (ie reject means ignore it and accept 
+means take it)
 
 <P>
-Later versions of Spider can distinguish different software and treat them
-differently.  For example, the WCY beacon cannot be handles by AK1A type
-nodes as AK1A does not know what to do with PC73.  There are 4 different
-types of node at present and although they may not have any major
-differences at the moment, it allows for compatibility.  The 4 types are ...
+If you specify reject filters, then any lines that arrive that match the filter 
+will be dumped but all else will be accepted.  If you use an accept filter, 
+then ONLY the lines in the filter will be accepted and all else will be dumped.
+For example if you have a single line <em>accept</em> filter ...
 
 <tscreen><verb>
-set/node       (AK1A type)
-set/spider
-set/dxnet
-set/clx
+accept/spots on vhf and (by_zone 14,15,16 or call_zone 14,15,16)
 </verb></tscreen>
 
-<P>
-For now, we will assume that the cluster we are going to connect to is an
-AK1A type node.
+then you will <em>ONLY</em> get VHF spots <em>from</em> or <em>to</em> CQ zones 
+14, 15 and 16.
 
 <P>
-Start up the cluster as you did before and login as the sysop with client.pl.
-The cluster node I am wanting to make a connection to is GB7BAA but you would
-obviously use whatever callsign you required.  At the prompt type ...
+If you set a reject filter like this ...
 
 <tscreen><verb>
-set/node gb7baa
+reject/spots on hf/cw
 </verb></tscreen>
 
-<P>
-The case does not matter as long as you have a version of DXSpider later than 
-1.33.  Earlier versions required the callsign to be in upper case.
-
-<P>
-That is now set, it is as simple as that.  To prove it, login on yet another 
-console as sysop and issue the command ...
+Then you will get everything <em>EXCEPT</em> HF CW spots.  You could make this 
+single filter even more flexible.  For example, if you are interested in IOTA 
+and will work it even on CW even though normally you are not interested in 
+CW, then you could say ...
 
 <tscreen><verb>
-client.pl gb7baa (using the callsign you set as a node)
+reject/spots on hf/cw and not info iota
 </verb></tscreen>
 
-<P>
-You should get an initialisation string from DXSpider like this ...
+But in that case you might only be interested in iota and say:-
 
 <tscreen><verb>
-client.pl gb7baa
-PC38^GB7MBC^~
+accept/spots not on hf/cw or info iota
 </verb></tscreen>
 
-If the callsign you just set up as a cluster node is for an incoming connect, 
-this is all that needs to be done.  If the connection is to be outgoing then 
-a connection script needs to be written.
-
-<sect1>Connection scripts
-
-<P>
-Because DXSpider operates under Linux, connections can be made using just about 
-any protocol;  AX25, NETRom, tcp/ip, ROSE etc are all possible examples.  
-Connect scripts live in the /spider/connect directory and are simple ascii files.  
-Writing a script for connections is therefore relatively simple.  
+which achieves exactly the same thing. You should choose one or the other 
+until you are comfortable with the way it works. You can mix them if you 
+wish (actually you can have an accept AND a reject on the same line) but 
+don't attempt this until you are sure you know what you are doing!
 
 <P>
-The connect scripts consist of lines which start with the following keywords 
-or symbols:-
-
-<verb>
-       
-#              All lines starting with a # are ignored, as are completely 
-                blank lines.
-
-timeout                timeout followed by a number is the number of seconds to wait for a 
-               command to complete. If there is no timeout specified in the script 
-               then the default is 60 seconds.
-
-abort          abort is a regular expression containing one or more strings to look 
-               for to abort a connection. This is a perl regular expression and is 
-               executed ignoring case.
-
-connect                connect followed by ax25 or telnet and some type dependent 
-               information. In the case of a telnet connection, there can be up to 
-               two parameters.
-               The first is the ip address or hostname of the computer you wish to 
-               connect to and the second is the port number you want to use (this 
-               can be left out if it is a normal telnet session).
-               In the case of an ax25 session then this would normally be a call to
-               ax25_call or netrom_call as in the example above. It is your
-               responsibility to get your node and other ax25 parameters to work 
-               before going down this route!
-
-'              ' is the delimiting character for a word or phrase of an expect/send 
-               line in a chat type script. The words/phrases normally come in pairs,
-               either can be empty. Each line reads input from the connection until 
-               it sees the string (or perl regular expression) contained in the
-               left hand string. If the left hand string is empty then it doesn't 
-               read or wait for anything. The comparison is done ignoring case.
-               When the left hand string has found what it is looking for (if it is)
-               then the right hand string is sent to the connection.
-               This process is repeated for every line of chat script. 
-
-client         client starts the connection, put the arguments you would want here 
-               if you were starting the client program manually. You only need this 
-               if the script has a different name to the callsign you are trying to 
-               connect to (i.e. you have a script called other which actually 
-               connects to GB7DJK-1 [instead of a script called gb7djk-1]).
-</verb>
-
-
-There are many possible ways to configure the script but here are two examples, 
-one for a NETRom/AX25 connect and one for tcp/ip.  
+You can arrange your filter lines into logical units, either for your own
+understanding or simply convenience. Here is an example ...
 
 <tscreen><verb>
-timeout 60
-abort (Busy|Sorry|Fail)
-# don't forget to chmod 4775 netrom_call!
-connect ax25 /usr/sbin/netrom_call bbs gb7djk g1tlh
-'Connect' '' 
-'Connect' 'c np7'
-'Connect' 'c gb7dxm'
-# you can leave this out if you call the script 'gb7dxm'
-client gb7dxm ax25
+reject/spots 1 on hf/cw
+reject/spots 2 on 50000/1400000 not (by_zone 14,15,16 or call_zone 14,15,16)  
 </verb></tscreen>
 
-<P>
-
-<tscreen><verb>
-timeout 15
-connect telnet dirkl.tobit.co.uk
-'login' 'gb7djk'
-'word' 'gb7djk'
-# tell GB7DJK-1 that it is connected to GB7DJK
-# you can leave this out if you call this script 'gb7djk'
-client gb7djk telnet
-</verb></tscreen>
+What this does is to ignore all HF CW spots and also rejects any spots on VHF 
+which don't either originate or spot someone in Europe. 
 
 <P>
-Both these examples assume that everything is set up properly at the other end.  
-You will find other examples in the /spider/examples directory.
-
-<sect1>Starting the connection
+This is an example where you would use a line number (1 and 2 in this case), if 
+you leave the digit out, the system assumes '1'. Digits '0'-'9' are available.  
+This make it easier to see just what filters you have set.  It also makes it 
+more simple to remove individual filters, during a contest for example.
 
 <P>
-You start the connection, from within a sysop enabled cluster login, by typing 
-in the word <em>connect</em> followed by a script name like this ....
+You will notice in the above example that the second line has brackets.  Look 
+at the line logically.  You can see there are 2 separate sections to it.  We 
+are saying reject spots that are VHF or above <em>APART</em> from those in 
+zones 14, 15 and 16 (either spotted there or originated there).  If you did 
+not have the brackets to separate the 2 sections, then Spider would read it 
+logically from the front and see a different expression entirely ...
 
 <tscreen><verb>
-G0VGS de GB7MBC 13-Dec-1998 2041Z >connect gb7djk-1
-connection to GB7DJK-1 started
-G0VGS de GB7MBC 13-Dec-1998 2043Z >
+(on 50000/1400000 and by_zone 14,15,16) or call_zone 14,15,16 
 </verb></tscreen>
 
-This will start a connection using the script called <em>gb7djk-1</em>.  You can
-follow the connection by watching the term or console from where you started
-<em>cluster.pl</em>.  You should see something like this ...
-
-<tscreen><verb>
-<- D G1TLH connect gb7djk-1
--> D G1TLH connection to GB7DJK-1 started
--> D G1TLH G1TLH de GB7DJK 13-Dec-1998 2046Z >
-timeout set to 15
-CONNECT sort: telnet command: dirkl.tobit.co.uk
-CHAT "login" -> "gb7djk"
-received "
-Red Hat Linux release 5.1 (Manhattan)
-Kernel 2.0.35 on an i586
-"
-received "login: "
-sent "gb7djk"
-CHAT "word" -> "gb7djk"
-received "gb7djk"
-received "Password: "
-sent "gb7djk"
-Connected to GB7DJK-1, starting normal protocol
-<- O GB7DJK-1 telnet
--> B GB7DJK-1 0
-GB7DJK-1 channel func  state 0 -> init
-<- D GB7DJK-1 
-<- D GB7DJK-1 Last login: Sun Dec 13 17:59:56 from dirk1
-<- D GB7DJK-1 PC38^GB7DJK-1^~
-<- D GB7DJK-1 PC18^ 1 nodes, 0 local / 1 total users  Max users 0  Uptime 
-0 00:00^5447^~
-    etc
-
-</verb></tscreen>
+The simple way to remember this is, if you use OR - use brackets. Whilst we are 
+here CASE is not important. 'And BY_Zone' is just the same as 'and by_zone'.
 
-<P>
-With later versions of Spider there is a set/login command for users.  This 
-tells them when a user or node logs in or out.  If you do not add a line to 
-your scripts after the final line (or before the client line which should always 
-be last if needed) then the login/logout information will be sent to users
-<it>before</it> the login actually completes.  This means if a node is 
-unreachable, it will continue sending logins and logouts to users even though it 
-is not actually connecting.  To avoid this use the following line ...
+As mentioned earlier, setting several filters can be more flexible than 
+simply setting one complex one.  Doing it in this way means that if you want 
+to alter your filter you can just redefine or remove one or more lines of it or 
+one line. For example ...
 
 <tscreen><verb>
-'connect' ''
+reject/spots 1 on hf/ssb
 </verb></tscreen>
 
-<P>
-In a script, this might look like ...
+would redefine our earlier example, or 
 
 <tscreen><verb>
-timeout 35 
-abort (Busy|Sorry|Fail)
-connect telnet mary 3000
-'ogin:' 'gb7mbc'
-'>' 'telnet 44.131.93.96 7305'
-'connect' ''
+clear/spots 1
 </verb></tscreen>
 
-<sect1>Telnet echo
-
-<P>
-Cluster links in particular suffer greatly from the presence of telnet echo.  
-This is caused by the telnet negotiation itself and can create at worst severe 
-loops.  At best it creates unnecessary bandwidth and large logfiles!  There are
-things that can be done to limit this problem but will not always work dependent 
-on the route taken to connect.
-
-<P>
-Telnet echo itself should only be a problem if the connection is being made to 
-the telnet port (23).  This port uses special rules that include echo negotiation.
-If the connection is to a different port, such as 8000, this negotiation does 
-not happen and therefore no echo should be present.
-
-<P>
-Sometimes it is not possible to make a direct connection to another node and this 
-can cause problems.  There is a way of trying to suppress the telnet echo but 
-this will not always work, unfortunately it is difficult to be more specific.  
-Here is an example of what I mean ...
+To remove all the filter lines in the spot filter ...
 
 <tscreen><verb>
-timeout 35
-abort (Busy|Sorry|Fail)
-connect telnet mary.lancs.ac.uk
-'ogin:' 'gb7mbc'
-'word:' 'mypasswd'
-'\$' 'stty -echo raw'
-'\$' 'telnet 44.131.93.96'
-'connect' ''
+clear/spots all
 </verb></tscreen>
 
-So, the first connection is made by Spider.  This is fine as Spider uses the
-Net_Telnet script from within perl.  This actually uses TCP rather than TELNET 
-so no negotiation will be done on the first connection.  Once connected to
-mary.lancs.ac.uk, the command is sent to suppress echo.  Now a telnet is made 
-to a cluster node that is accepting connections on port 23.  The problem with 
-this link is that the negotiation is made by the remote machine, therefore you 
-have no control over it.  The chances are that this link will create echo and 
-there will be no way you can stop it.
-
-
-<sect>Automating things
+<sect1>Filter options
 
 <P>
-Ok, you should now have DXSpider running nicely and allowing connects by cluster
-nodes or users.  However, it has to be shutdown and restarted manually and if
-connection scripts fail they have to be started again manually too, not much use 
-if you are not at the console!  So, in this section we will automate both.  
-Firstly starting the cluster.
-
-<sect1>Autostarting the cluster
+You can filter in several different ways.  The options are listed in the
+various helpfiles for accept, reject and filter.
 
-<P>
-This is not only a way to start the cluster automatically, it also works as a
-watchdog, checking the sanity of DXSpider and respawning it should it crash for 
-any reason.  Before doing the following, shutdown the cluster as you did earlier.
+<sect1>Default filters
 
 <P>
-Login as root and bring up the /etc/inittab file in your favourite editor.  Add 
-the following lines to the file near the end ...
+Sometimes all that is needed is a general rule for node connects.  This can
+be done with a node_default filter.  This rule will always be followed, even
+if the link is isolated, unless another filter is set specifically.  Default
+rules can be set for nodes and users.  They can be set for spots, announces,
+WWV and WCY.  They can also be used for hops.  An example might look like 
+this ...
 
 <tscreen><verb>
-##Start DXSpider on bootup and respawn it should it crash
-DX:3:respawn:/bin/su -c "/usr/bin/perl -w /spider/perl/cluster.pl" sysop >/dev/tty7
+accept/spot node_default by_zone 14,15,16,20,33
+set/hops node_default spot 50
 </verb></tscreen>
 
-<P>
-This will automatically start DXSpider on tty7 (ALT-F7) on bootup and restart 
-it should it crash for any reason.
+This filter is for spots only, you could set others for announce, WWV and WCY.
+This filter would work for ALL nodes unless a specific filter is written to 
+override it for a particular node.  You can also set a user_default should
+you require.  It is important to note that default filters should be
+considered to be "connected".  By this I mean that should you override the
+default filter for spots, you need to add a rule for the hops for spots also.
 
-<P>
-As root type the command <em>telinit q</em>.  DXSpider should start up 
-immediately.  You will see the output on tty7 and if you login as <em>sysop</em> 
-you should find everything running nicely.
+<sect1>Advanced filtering
 
 <P>
-So far so good, now to automate script connections...
-
-<sect1>The crontab file
+Once you are happy with the results you get, you may like to experiment. 
 
 <P>
-Login as <em>sysop</em> and create a file in /spider/local_cmd called crontab.  
-Edit it with your favourite editor and add a line like this (I have included 
-a comment)
+The previous example that filters hf/cw spots and accepts vhf/uhf spots from EU 
+can be written with a mixed filter, for example ... 
 
 <tscreen><verb>
-# check every 10 minutes to see if gb7xxx is connected and if not
-# start a connect job going
-
-0,10,20,30,40,50 * * * * start_connect('gb7xxx') if !connected('gb7xxx')
+rej/spot on hf/cw
+acc/spot on 0/30000
+acc/spot 2 on 50000/1400000 and (by_zone 14,15,16 or call_zone 14,15,16)
 </verb></tscreen>
 
-<P>
-The callsign involved will be the callsign of the cluster node you are 
-going to connect to.  This will now check every 10 minutes to see if 
-gb7xxx is connected, if it is then nothing will be done.  If it is not, 
-then a connect attempt will be started.
-
-<P>
-There are probably lots of other things you could use this crontab file for.  
-If you want to know more about it, look at the
-<htmlurl url="http://www.dxcluster.org/cron.html" name="DXSpider"> website 
-at the cron page where it is explained more fully.
-
-<sect>Hop control
+Note that the first filter has not been specified with a number.  This will 
+automatically be assumed to be number 1.  In this case, we have said <em>reject all
+HF spots in the CW section of the bands but accept all others at HF.  Also
+accept anything in VHF and above spotted in or by operators in the zones
+14, 15 and 16</em>.  Each filter slot actually has a 'reject' slot and 
+an 'accept' slot. The reject slot is executed BEFORE the accept slot.
 
 <P>
-Starting with version 1.13 there is simple hop control available on a per
-node basis. Also it is possible to isolate a network completely so that you 
-get all the benefits of being on that network, but can't pass on information
-from it to any other networks you may be connected to (or vice versa).
+It was mentioned earlier that after a reject test that doesn't match, the default 
+for following tests is 'accept', the reverse is true for 'accept'. In the example 
+what happens is that the reject is executed first, any non hf/cw spot is passed 
+to the accept line, which lets through everything else on HF.  The next filter line 
+lets through just VHF/UHF spots from EU.
 
 <sect1>Basic hop control
 
@@ -722,6 +509,25 @@ You can alter this file at any time, including whilst the cluster is running.
 If you alter the file during runtime, the command <em>load/hops</em> will 
 bring your changes into effect.
 
+<sect1>Hop Control on Specific Nodes
+
+<p>You can set a callsign specific hop count for any of the standard filter
+options so:-
+
+<tscreen><verb>
+set/hops gb7djk spot 4
+set/hops node_default route 10
+set/hops gb7baa wcy 5
+</verb></tscreen>
+all work on their specific area of the protocol.
+
+<p>
+The <em>set/hops</em> command overrides any hops that you have set otherwise.
+
+<p>
+You can set what hops have been set using the <em>show/hops</em> command.
+
 <sect1>Isolating networks
 
 <P>
@@ -730,7 +536,7 @@ It is possible to isolate networks from each other on a "gateway" node using the
        
 <P>
 The effect of this is to partition an isolated network completely from another 
-nodes connected to your node. Your node will appear on and otherwise behave 
+node connected to your node. Your node will appear on and otherwise behave 
 normally on every network to which you are connected, but data from an isolated 
 network will not cross onto any other network or vice versa. However all the 
 spot, announce and WWV traffic and personal messages will still be handled 
@@ -742,575 +548,477 @@ another network, he can still still send a talk/announce etc message via your
 node and it will be routed across.
 
 <P>
-The only limitation currently is that non-private messages cannot be passed down 
-isolated links regardless of whether they are generated locally. This will change 
-when the bulletin routing facility is added.
+If you use isolate on a node connection you will continue to receive
+all information from the isolated partner, however you will not pass
+any information back to the isolated node.  There are times when you
+would like to forward only spots across a link (maybe during a contest
+for example).  To do this, isolate the node in the normal way and use
+an <em>acc/spot &gt;call&lt; all</em filter in the
+to override the isolate. 
 
-<P>
-If you use isolate on a node connection you will continue to receive all 
-information from the isolated partner, however you will not pass any information 
-back to the isolated node.  There are times when you would like to forward only 
-spots across a link (maybe during a contest for example).  To do this, isolate 
-the node in the normal way and put in a filter in the /spider/filter/spots 
-directory to override the isolate.  This filter can be very simple and consists 
-of just one line ....
+<sect>Other filters
 
-<tscreen><verb>
-$in = [
-       [ 1, 0, 'd', 0, 3]      # The last figure (3) is the hop count
-];
-</verb></tscreen>
+<sect1>Filtering Mail
 
 <P>
-There is a lot more on filtering in the next section.
+In the /spider/msg directory you will find a file called badmsg.pl.issue.  Rename
+this to badmsg.pl and edit the file.  The original looks something like this ....
 
-<sect>Filtering (Old Style upto v1.44)
+<tscreen><verb>
 
-<P>
-Filters can be set for spots, announcements and WWV.  You will find the 
-directories for these under /spider/filter.  You will find some examples in 
-the directories with the suffix <em>.issue</em>.  There are two types of 
-filter, one for incoming information and one for outgoing information. 
-Outgoing filters are in the form <em>CALLSIGN.pl</em> and incoming filters 
-are in the form <em>in_CALLSIGN.pl</em>.  Filters can be set for both nodes 
-and users.
+# the list of regexes for messages that we won't store having
+# received them (bear in mind that we must receive them fully before
+# we can bin them)
 
-<P>
-All filters work in basically the same way.  There are several elements 
-delimited by commas.  There can be many lines in the filter and they are 
-read from the top by the program.  When writing a filter you need to think 
-carefully about just what you want to achieve.  You are either going to write 
-a filter to <em>accept</em> or to <em>reject</em>.  Think of a filter as 
-having 2 main elements.  For a reject filter, you would have a line or multiple 
-lines rejecting the things you do not wish to receive and then a default line
-accepting everything else that is not included in the filter.  Likewise, for an
-accept filter, you would have a line or multiple lines accepting the things you 
-wish to receive and a default line rejecting everthing else.
 
-<P>
-In the example below, a user requires a filter that would only return SSB spots
-posted in Europe on the HF bands.  This is achieved by first rejecting the CW 
-section of each HF band and rejecting all of VHF, UHF etc based on frequency.
-Secondly, a filter rule is set based on CQ zones to only accept spots posted in
-Europe.  Lastly, a default filter rule is set to reject anything outside the filter.
+# The format of each line is as follows
 
-<tscreen><verb>
-$in = [
-       [ 0, 0, 'r', # reject all CW spots
-               [
-               1800.0, 1850.0,
-               3500.0, 3600.0,
-               7000.0, 7040.0,
-               14000.0, 14100.0,
-               18068.0, 18110.0,
-               21000.0, 21150.0,
-               24890.0, 24930.0,
-               28000.0, 28180.0,
-               30000.0, 49000000000.0,
-               ] ,1 ],
-       [ 1, 11, 'n', [ 14, 15, 16, 20, 33, ], 15 ], #accept EU
-       [ 0, 0, 'd', 0, 1 ], # 1 = want, 'd' = everything else
-];
-</verb></tscreen>
+#     type      source             pattern 
+#     P/B/F     T/F/O/S            regex  
 
-<P>
-The actual elements of each filter are described more fully in the following
-sections.
+# type: P - private, B - bulletin (msg), F - file (ak1a bull)
+# source: T - to field, F - from field,  O - origin, S - subject 
+# pattern: a perl regex on the field requested
 
-<sect1>Spots
+# Currently only type B and P msgs are affected by this code.
+# 
+# The list is read from the top down, the first pattern that matches
+# causes the action to be taken.
 
-<P>
-The elements of the Spot filter are ....
+# The pattern can be undef or 0 in which case it will always be selected
+# for the action specified
 
-<tscreen><verb>
-[action, field_no, sort, possible_values, hops]
-</verb></tscreen>
 
-<P>
-There are 3 elements here to look at.  Firstly, the action element.  This is 
-very simple and only 2 possible states exist, accept (1) or drop (0).
 
-<P>
-The second element is the field_no.  There are 13 possiblities to choose from 
-here ....
+package DXMsg;
 
-<tscreen><verb>
-      0 = frequency
-      1 = call
-      2 = date in unix format
-      3 = comment
-      4 = spotter
-      5 = spotted dxcc country
-      6 = spotter's dxcc country
-      7 = origin
-      8 = spotted itu
-      9 = spotted cq
-      10 = spotter's itu
-      11 = spotter's cq
-      12 = callsign of the channel on which the spot has appeared
+@badmsg = (
+'B',    'T',    'SALE', 
+'B',    'T',    'WANTED',
+'B',    'S',    'WANTED',
+'B',    'S',    'SALE', 
+'B',    'S',    'WTB',
+'B',    'S',    'WTS',
+'B',    'T',    'FS',
+);
 </verb></tscreen>
 
 <P>
-The third element tells us what to expect in the fourth element.  There are 
-4 possibilities ....
+I think this is fairly self explanatory.  It is simply a list of subject 
+headers that we do not want to pass on to either the users of the cluster or 
+the other cluster nodes that we are linked to.  This is usually because of 
+rules and regulations pertaining to items for sale etc in a particular country.
 
-<tscreen><verb>
-     n - numeric list of numbers e.g. [ 1,2,3 ]
-     r - ranges of pairs of numbers e.g. between 2 and 4 or 10 to 17 - [ 2,4, 10,17 ]
-     a - an alphanumeric regex
-     d - the default rule
-</verb></tscreen>
 
-<P>
-The fifth element is simply the hops to set in this filter.  This would only 
-be used if the filter was for a node of course and overrides the hop count in
-hop_table.pl.
+<sect1>Filtering words from text fields in Announce, Talk and DX spots
 
-<P>
-So, let's look at an example spot filter.  It does not matter in the example 
-who the filter is to be used for.  So, what do we need in the filter?  We need 
-to filter the spots the user/node requires and also set a default rule for 
-anything else outside the filter.  Below is a simple filter that stops spots 
-arriving from outside Europe.
+<p>
+From version 1.48 onwards the interface to this has changed. You can now
+use the commands <em>set/badword</em> to add words that you are not prepared
+to see on the cluster, <em>unset/badword</em> to allow that word again and 
+<em>show/badword</em> to list the words that you have set.
 
-<tscreen><verb>$in = [
-  [ 0, 4, 'a', '^(K|N|A|W|VE|VA|J)'],  # 0 = drop, 'a' = alphanumeric
-  [ 1, 0, 'd', 0, 1 ],                 # 1 = want, 'd' = everything else
-                    ];
-</verb></tscreen>
+<p>
+If you have a previous <em>/spider/data/badwords</em>, the first time you start
+the node, it will read and convert this file to the new commands. The old style
+file will then be removed.
 
-<P>
-So the filter is wrapped in between a pair of square brackets.  This tells 
-Spider to look in between these limits.  Then each line is contained within 
-its own square brackets and ends with a comma. Lets look carefully at the first 
-line.  The first element is 0 (drop).  Therefore anything we put on this line 
-will not be accepted.  The next element is 4.  This means we are filtering by 
-the spotter.  The third element is the letter "a" which tells the program to 
-expect an alphanumeric expression in the fourth element.  The fourth element 
-is a list of letters separated by the pipe symbol.
+<sect1>Stopping (possibly bad) DX Spots from Nodes or Spotters
 
-<P>
-What this line does is tell the program to drop any spots posted by anyone in 
-the USA, Canada or Japan.
+<p> 
+There are a number of commands that control whether a spot progresses
+any further by regarding it as "bad" in some way.
 
-<P>
-The second line is the default rule for anything else.  The "d" tells us this 
-and the line simply reads... accept anything else.
+<p>
+A DX Spot has a number of fields which can checked to see whether they
+contain "bad" values, they are: the DX callsign itself, the Spotter and
+the Originating Node.
 
-<P>
-You can add as many lines as you need to complete the filter but if there are 
-several lines of the same type it is neater to enclose them all as one line.  
-An example of this is where specific bands are set.  We could write this like 
-this ....
+<p>
+There are a set of commands which allow the sysop to control whether a
+spot continues:-
 
 <tscreen><verb>
-[ 0,0,'r',[1800.0, 2000.0], 1],
-[ 0,0,'r',[10100.0, 10150.0], 1],
-[ 0,0,'r',[14000.0, 14350.0], 1],
-[ 0,0,'r',[18000.0, 18200.0], 1],
+set/baddx
+set/badspotter
+set/badnode
 </verb></tscreen>
 
-<P>
-But the line below achieves the same thing and is more efficient ....
+These work in the same as the <em>set/badword</em> command, you can add
+any words or callsigns or whatever to the appropriate database. For
+example, to stop a spot from a particular node you do:
 
 <tscreen><verb>
-  [ 0, 0, 'r',
-    [  
-      1800.0, 2000.0,         # top band 
-      10100.0, 10150.0,       # WARC  
-      14000.0, 14350.0,       # 20m
-      18000.0, 18200.0,       # WARC
-    [ ,1 ],
+set/badnode gb7djk gb7dxc
 </verb></tscreen>
 
+a bad spotter:
 
-<sect1>Announcements
-
-<P>
 <tscreen><verb>
-
-# This is an example announce or filter allowing only West EU announces
-# 
-# The element list is:-
-# 0 - callsign of announcer
-# 1 - destination * = all, <callsign> = routed to the node
-# 2 - text
-# 3 - * - sysop, <some text> - special list eg 6MUK, ' ', normal announce
-# 4 - origin
-# 5 - 0 - announce, 1 - wx
-# 6 - channel callsign (the interface from which this spot came)
-
-$in = [
-        [ 1, 0, 'a', '^(P[ABCDE]|DK0WCY|G|M|2|EI|F|ON)' ],
-        [ 0, 0, 'd', 0 ]
-];
+set/badspotter b0mb p1rat nocall
 </verb></tscreen>
 
-In this example, only the prefixes listed will be allowed.  It is possible to 
-be quite specific.  The Dutch prefix "P" is followed by several secondary 
-identifiers which are allowed.  So, in the example, "PA" or "PE" would be ok 
-but not "PG".  It is even possible to allow information from a single callsign.  
-In the example this is DK0WCY, to allow the posting of his Aurora Beacon.
-
-<sect1>WWV
+and some bad dx:
 
-<P>
 <tscreen><verb>
-
-# This is an example WWV filter
-# 
-# The element list is:-
-# 0 - nominal unix date of spot (ie the day + hour:13)
-# 1 - the hour
-# 2 - SFI
-# 3 - K
-# 4 - I
-# 5 - text
-# 6 - spotter
-# 7 - origin
-# 8 - incoming interface callsign
-
-# this one doesn't filter, it just sets the hop count to 6 and is
-# used mainly just to override any isolation from WWV coming from
-# the internet.
-
-$in = [
-        [ 1, 0, 'd', 0, 6 ]
-];
-
+set/baddx video wsjt
 </verb></tscreen>
 
-<P>
-It should be noted that the filter will start to be used only once a user/node 
-has logged out and back in again.
-<P>
-I am not going to spend any more time on these filters now as they will become 
-more "comprehensive" in the near future.
-
-<sect>Filtering (New Style v1.45 and later)
-
-<sect1>General filter rules
-
-<P>
-Upto v1.44 it was not possible for the user to set their own filters.  From 
-v1.45 though that has all changed.  It is now possible to set filters for just 
-about anything you wish.  If you have just updated from an older version of 
-DXSpider you will need to update your new filters.  You do not need to do 
-anything with your old filters, they will be renamed as you update.
+You can remove a word using the appropriate unset command
+(<em>unset/baddx, unset/badspotter, unset/badnode</em>) or list them
+using one of <em>show/baddx, show/badspotter</em> and
+<em>show/badnode</em>.
 
-<P>
-There are 3 basic commands involved in setting and manipulating filters.  These 
-are <em>accept</em>, <em>reject</em> and <em>clear</em>.  First we will look
-generally at filtering. There are a number of things you can filter in the 
-DXSpider system. They all use the same general mechanism.
+<sect>Mail
 
 <P>
-In general terms you can create a 'reject' or an 'accept' filter which can have 
-up to 10 lines in it. You do this using, for example ... 
-
-<tscreen><verb> 
-accept/spots .....
-reject/spots .....
-</verb></tscreen>
+DXSpider deals seamlessly with standard AK1A type mail.  It supports both
+personal and bulletin mail and the sysop has additional commands to ensure
+that mail gets to where it is meant.  DXSpider will send mail almost
+immediately, assuming that the target is on line.  However, only one
+mail message is dealt with at any one time.  If a mail message is already
+being sent or recieved, then the new message will be queued until it has
+finished.
 
-where ..... are the specific commands for that type of filter. There are filters 
-for spots, wwv, announce, wcy and (for sysops) connects. See each different 
-accept or reject command reference for more details.
+The cluster mail is automatically deleted after 30 days unless the sysop
+sets the "keep" flag using the <em>msg</em> command.
 
-There is also a command to clear out one or more lines in a filter. They are ...
-
-<tscreen><verb>
-clear/spots 1
-clear/spots all
-</verb></tscreen>
-
-There is clear/xxxx command for each type of filter.
+<sect1>Personal mail
 
 <P>
-and you can check that your filters have worked by the command ... 
+Personal mail is sent using the <em>sp</em> command.  This is actually the
+default method of sending mail and so a simple <em>s</em> for send will do.
+A full list of the send commands and options is in the <em>command set</em>
+section, so I will not duplicate them here.
 
-<tscreen><verb>  
-show/filter
-</verb></tscreen>
+<sect1>Bulletin mail
 
 <P>
-For now we are going to use spots for the examples, but you can apply the same
-principles to all types of filter.
+Bulletin mail is sent by using the <em>sb</em> command.  This is one of the
+most common mistakes users make when sending mail.  They send a bulletin
+mail with <em>s</em> or <em>sp</em> instead of <em>sb</em> and of course
+the message never leaves the cluster.  This can be rectified by the sysop
+by using the <em>msg</em> command.
 
-<sect1>Types of filter
+<P>Bulletin addresses can be set using the Forward.pl file.
 
-<P>
-There are two main types of filter, <em>accept</em> or <em>reject</em>.  You 
-can use either to achieve the result you want dependent on your own preference 
-and which is more simple to do.  It is pointless writing 8 lines of reject 
-filters when 1 accept filter would do the same thing!  Each filter has 10 
-lines (of any length) which are tried in order.  If a line matches then the 
-action you have specified is taken (ie reject means ignore it and accept 
-means take it)
+<sect1>Forward.pl
 
 <P>
-If you specify reject filters, then any lines that arrive that match the filter 
-will be dumped but all else will be accepted.  If you use an accept filter, 
-then ONLY the lines in the filter will be accepted and all else will be dumped.
-For example if you have a single line <em>accept</em> filter ...
+DXSpider receives all and any mail sent to it without any alterations needed
+in files.  Because personal and bulletin mail are treated differently, there
+is no need for a list of accepted bulletin addresses.  It is necessary, however,
+to tell the program which links accept which bulletins.  For example, it is
+pointless sending bulletins addresses to "UK" to any links other than UK
+ones.  The file that does this is called forward.pl and lives in /spider/msg.
+At default, like other spider files it is named forward.pl.issue.  Rename it
+to forward.pl and edit the file to match your requirements.
+The format is below ...
 
 <tscreen><verb>
-accept/spots on vhf and (by_zone 14,15,16 or call_zone 14,15,16)
+#
+# this is an example message forwarding file for the system
+#
+# The format of each line is as follows
+#
+#     type    to/from/at pattern action  destinations
+#     P/B/F     T/F/A     regex   I/F    [ call [, call ...] ]
+#
+# type: P - private, B - bulletin (msg), F - file (ak1a bull)
+# to/from/at: T - to field, F - from field, A - home bbs, O - origin 
+# pattern: a perl regex on the field requested
+# action: I - ignore, F - forward
+# destinations: a reference to an array containing node callsigns
+#
+# if it is non-private and isn't in here then it won't get forwarded 
+#
+# Currently only type B msgs are affected by this code.
+# 
+# The list is read from the top down, the first pattern that matches
+# causes the action to be taken.
+#
+# The pattern can be undef or 0 in which case it will always be selected
+# for the action specified
+#
+# If the BBS list is undef or 0 and the action is 'F' (and it matches the
+# pattern) then it will always be forwarded to every node that doesn't have 
+# it (I strongly recommend you don't use this unless you REALLY mean it, if
+# you allow a new link with this on EVERY bull will be forwarded immediately
+# on first connection)
+#
+
+package DXMsg;
+
+@forward = (
+'B',    'T',    'LOCAL',        'F',    [ qw(GB7MBC) ],
+'B',    'T',    'ALL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'UK',           'F',    [ qw(GB7BAA GB7ADX) ],
+'B',    'T',    'QSL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'QSLINF',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DX',           'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DXINFO',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DXNEWS',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DXQSL',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'SYSOP',        'F',    [ qw(GB7BAA GB7ADX) ],
+'B',    'T',    '50MHZ',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+);
 </verb></tscreen>
 
-then you will <em>ONLY</em> get VHF spots <em>from</em> or <em>to</em> CQ zones 
-14, 15 and 16.
+Simply insert a bulletin address and state in the brackets where you wish
+that mail to go.  For example, you can see here that mail sent to "UK" will
+only be sent to the UK links and not to PA4AB-14.
 
 <P>
-If you set a reject filter like this ...
+To force the cluster to reread the file use load/forward
 
-<tscreen><verb>
-reject/spots on hf/cw
-</verb></tscreen>
 
-Then you will get everything <em>EXCEPT</em> HF CW spots.  You could make this 
-single filter even more flexible.  For example, if you are interested in IOTA 
-and will work it even on CW even though normally you are not interested in 
-CW, then you could say ...
+<sect1>The msg command
 
-<tscreen><verb>
-reject/spots on hf/cw and not info iota
-</verb></tscreen>
+<P>
+The <em>msg</em> command is a very powerful and flexible tool for the
+sysop.  It allows the sysop to alter to and from fields and make other
+changes to manage the cluster mail.
 
-But in that case you might only be interested in iota and say:-
+Here is a full list of the various options ...
 
 <tscreen><verb>
-accept/spots not on hf/cw or info iota
+  MSG TO <msgno> <call>     - change TO callsign to <call>
+  MSG FRom <msgno> <call>   - change FROM callsign to <call>
+  MSG PRrivate <msgno>      - set private flag
+  MSG NOPRrivate <msgno>    - unset private flag
+  MSG RR <msgno>            - set RR flag
+  MSG NORR <msgno>          - unset RR flag
+  MSG KEep <msgno>          - set the keep flag (message won't be deleted ever)
+  MSG NOKEep <msgno>        - unset the keep flag
+  MSG SUbject <msgno> <new> - change the subject to <new>
+  MSG WAittime <msgno>      - remove any waiting time for this message
+  MSG NOREad <msgno>        - mark message as unread
+  MSG REad <msgno>          - mark message as read
+  MSG QUeue                 - queue any outstanding bulletins
+  MSG QUeue 1               - queue any outstanding private messages
 </verb></tscreen>
 
-which achieves exactly the same thing. You should choose one or the other 
-until you are comfortable with the way it works. You can mix them if you 
-wish (actually you can have an accept AND a reject on the same line) but 
-don't attempt this until you are sure you know what you are doing!
+These commands are simply typed from within the cluster as the sysop user.
+
+<sect1>Message status
 
 <P>
-You can arrange your filter lines into logical units, either for your own
-understanding or simply convenience. Here is an example ...
+You can check on a message from within the cluster by using the command
+<em>stat/msg</em>.  This will give you additional information on the
+message number including which nodes have received it, which node it
+was received from and when etc.  Here is an example of the output of
+the command ...
 
 <tscreen><verb>
-reject/spots 1 on hf/cw
-reject/spots 2 on 50000/1400000 not (by_zone 14,15,16 or call_zone 14,15,16)  
+G0VGS de GB7MBC 28-Jan-2001 1308Z >
+stat/msg 6869
+        From: GB7DJK
+    Msg Time: 26-Jan-2001 1302Z
+       Msgno: 6869
+      Origin: GB7DJK
+        Size: 8012
+     Subject: AMSAT 2line KEPS 01025.AMSAT
+          To: UK
+Got it Nodes: GB7BAA, GB7ADX
+     Private: 0
+Read Confirm: 0
+  Times read: 0
+G0VGS de GB7MBC 28-Jan-2001 1308Z >
 </verb></tscreen>
 
-What this does is to ignore all HF CW spots and also rejects any spots on VHF 
-which don't either originate or spot someone in Europe. 
+<sect1>Filtering mail
 
 <P>
-This is an example where you would use a line number (1 and 2 in this case), if 
-you leave the digit out, the system assumes '1'. Digits '0'-'9' are available.  
-This make it easier to see just what filters you have set.  It also makes it 
-more simple to remove individual filters, during a contest for example.
+This is described in the section on <em>Other filters</em> so I will not
+duplicate it here.
+
+<sect1>Distribution lists
 
 <P>
-You will notice in the above example that the second line has brackets.  Look 
-at the line logically.  You can see there are 2 separate sections to it.  We 
-are saying reject spots that are VHF or above <em>APART</em> from those in 
-zones 14, 15 and 16 (either spotted there or originated there).  If you did 
-not have the brackets to separate the 2 sections, then Spider would read it 
-logically from the front and see a different expression entirely ...
+Distribution lists are simply a list of users to send certain types of
+mail to.  An example of this is mail you only wish to send to other
+sysops.  In /spider/msg there is a directory called <em>distro</em>.  You
+put any distibution lists in here.  For example, here is a file called
+SYSOP.pl that caters for the UK sysops.
 
 <tscreen><verb>
-(on 50000/1400000 and by_zone 14,15,16) or call_zone 14,15,16 
+qw(GB7TLH GB7DJK GB7DXM GB7CDX GB7BPQ GB7DXN GB7MBC GB7MBC-6 GB7MDX
+   GB7NDX GB7SDX GB7TDX GB7UDX GB7YDX GB7ADX GB7BAA GB7DXA GB7DXH 
+   GB7DXK GB7DXI GB7DXS)
 </verb></tscreen>
 
-The simple way to remember this is, if you use OR - use brackets. Whilst we are 
-here CASE is not important. 'And BY_Zone' is just the same as 'and by_zone'.
-
-As mentioned earlier, setting several filters can be more flexible than 
-simply setting one complex one.  Doing it in this way means that if you want 
-to alter your filter you can just redefine or remove one or more lines of it or 
-one line. For example ...
-
-<tscreen><verb>
-reject/spots 1 on hf/ssb
-</verb></tscreen>
+Any mail sent to "sysop" would only be sent to the callsigns in this list.
 
-would redefine our earlier example, or 
+<sect1>BBS interface
 
-<tscreen><verb>
-clear/spots 1
-</verb></tscreen>
+<P>
+Spider provides a simple BBS interface.  No input is required from the sysop
+of the cluster at all.  The BBS simply sets the cluster as a BBS and pushes
+any required mail to the cluster.  No mail can flow from Spider to the BBS,
+the interface is one-way.
 
-To remove all the filter lines in the spot filter ...
+<P>
+Please be careful not to flood the cluster network with unnecessary mail.
+Make sure you only send mail to the clusters that want it by using the
+Forward.pl file very carefully.
 
-<tscreen><verb>
-clear/spots all
-</verb></tscreen>
+<sect>Scripts
 
-<sect1>Filter options
+<p>
+From 1.48 onwards it will become increasingly possible to control DXSpider's
+operation with scripts of various kinds.
 
-<P>
-You can filter in several different ways.  The options are listed in the
-various helpfiles for accept, reject and filter.
+<p>
+In the first instance, in 1.48, the sysop can create, with their favorite 
+text editor, files in the directory <em>/spider/scripts</em> which contain
+any legal command for a callsign or class of connection which will be executed
+at logon.
 
-<sect1>Default filters
+<p> 
+The filename are the callsign of the connection that you want the script to 
+operate on, eg: <em>/spider/scripts/g1tlh</em>. The filenames are always in 
+lower case on those architectures where this makes a difference.
 
-<P>
-Sometimes all that is needed is a general rule for node connects.  This can
-be done with a node_default filter.  This rule will always be followed, even
-if the link is isolated, unless another filter is set specifically.  Default
-rules can be set for nodes and users.  They can be set for spots, announces,
-WWV and WCY.  They can also be used for hops.  An example might look like 
-this ...
+<p>
+In addition to the callsign specific scripts there are three others:-
 
 <tscreen><verb>
-accept/spot node_default by_zone 14,15,16,20,33
-set/hops node_default spot 50
+startup
+user_default
+node_default
 </verb></tscreen>
+  
+The <em>startup</em> script is executed immediately after all
+initialisation of the node is done, but before any connections are
+possible.
 
-This filter is for spots only, you could set others for announce, WWV and WCY.
-This filter would work for ALL nodes unless a specific filter is written to 
-override it for a particular node.  You can also set a user_default should
-you require.  It is important to note that default filters should be
-considered to be "connected".  By this I mean that should you override the
-default filter for spots, you need to add a rule for the hops for spots also.
+<p>
+The <em>user_default</em> script is executed for every user that does
+<bf>NOT</bf> already have a specific script.
 
-<sect1>Advanced filtering
+<p>
+The <em>node_default</em> script is executed for every node that doesn't
+have a specific script.
 
-<P>
-Once you are happy with the results you get, you may like to experiment. 
+<p>
+There are a couple of examples in the <em>/spider/scripts</em> directory.
 
-<P>
-The previous example that filters hf/cw spots and accepts vhf/uhf spots from EU 
-can be written with a mixed filter, for example ... 
+<sect>Databases
 
-<tscreen><verb>
-rej/spot on hf/cw
-acc/spot on 0/30000
-acc/spot 2 on 50000/1400000 and (by_zone 14,15,16 or call_zone 14,15,16)
-</verb></tscreen>
+<P>
+Spider allows the creation of local or remote databases.  It supports
+chained databases, allowing several different databases to be scanned
+with one simple command.  Importing of databases is limited at present
+to the standard AK1A databases such as OBLAST and the DB0SDX QSL 
+database but will expand with time.
 
-Note that the first filter has not been specified with a number.  This will 
-automatically be assumed to be number 1.  In this case, we have said <em>reject all
-HF spots in the CW section of the bands but accept all others at HF.  Also
-accept anything in VHF and above spotted in or by operators in the zones
-14, 15 and 16</em>.  Each filter slot actually has a 'reject' slot and 
-an 'accept' slot. The reject slot is executed BEFORE the accept slot.
+<sect1>Creating databases
 
 <P>
-It was mentioned earlier that after a reject test that doesn't match, the default 
-for following tests is 'accept', the reverse is true for 'accept'. In the example 
-what happens is that the reject is executed first, any non hf/cw spot is passed 
-to the accept line, which lets through everything else on HF.  The next filter line 
-lets through just VHF/UHF spots from EU.
-
+Creating a database could not be more simple.  All the commands are
+sent from the cluster prompt as the <em>sysop</em> user.
 
-<sect>Other filters
+To create a database you use the command <em>dbcreate</em>.  It can
+be used in 3 different ways like so ..
 
-<sect1>Filtering Mail
+<tscreen><verb>
+dbcreate <name>
+</verb></tscreen>
 
-<P>
-In the /spider/msg directory you will find a file called badmsg.pl.issue.  Rename
-this to badmsg.pl and edit the file.  The original looks something like this ....
+To simply create a database locally, you just tell the command the
+name of the database.  This does not create the actual database, it
+simply defines it to say that it exists.
 
 <tscreen><verb>
+dbcreate <name> chain <name> [<name>...]
+</verb></tscreen>
 
-# the list of regexes for messages that we won't store having
-# received them (bear in mind that we must receive them fully before
-# we can bin them)
+This creates a chained database entry.  The first database will be
+scanned, then the second, the third etc...
 
+<tscreen><verb>
+dbcreate <name> remote <name>
+</verb></tscreen>
 
-# The format of each line is as follows
+This creates a remote entry.  the first name field is the database
+name at the remote node, then the remote switch, then the actual
+node_call of the remote node, for example...
 
-#     type      source             pattern 
-#     P/B/F     T/F/O/S            regex  
+<tscreen><verb>
+dbcreate buckmaster remote gb7dxc
+</verb></tscreen>
 
-# type: P - private, B - bulletin (msg), F - file (ak1a bull)
-# source: T - to field, F - from field,  O - origin, S - subject 
-# pattern: a perl regex on the field requested
+Remote databases cannot be chained, however, the last database in a
+chain can be a remote database.
 
-# Currently only type B and P msgs are affected by this code.
-# 
-# The list is read from the top down, the first pattern that matches
-# causes the action to be taken.
+<sect1>Importing databases
 
-# The pattern can be undef or 0 in which case it will always be selected
-# for the action specified
+<P>
+The only databases that Spider can currently import are the standard
+AK1A databases such as OBLAST or the DB0SDX qsl and address database.
+This will be added to with time.
 
+To import such a database, first put the file somewhere useful like /tmp
+and then issue the following command ...
 
+<tscreen><verb>
+dbimport oblast /tmp/OBLAST.FUL
+</verb></tscreen>
 
-package DXMsg;
+This will update the existing local oblast database or create it if
+it does not exist.
 
-@badmsg = (
-'B',    'T',    'SALE', 
-'B',    'T',    'WANTED',
-'B',    'S',    'WANTED',
-'B',    'S',    'SALE', 
-'B',    'S',    'WTB',
-'B',    'S',    'WTS',
-'B',    'T',    'FS',
-);
-</verb></tscreen>
+<sect1>Checking available databases
 
 <P>
-I think this is fairly self explanatory.  It is simply a list of subject 
-headers that we do not want to pass on to either the users of the cluster or 
-the other cluster nodes that we are linked to.  This is usually because of 
-rules and regulations pertaining to items for sale etc in a particular country.
+Once a database is created, you will want to check that it has been
+added.  To do this use the <em>dbavail</em> command.  This will
+output the available databases.  For example ...
 
-<sect1>Filtering DX callouts (Depricated)
+<tscreen><verb>
+dbavail
+DB Name          Location   Chain
+qsl              Local
+buck             GB7ADX
+hftest           GB7DXM
+G0VGS de GB7MBC  3-Feb-2001 1925Z >
+</verb></tscreen>
 
-<P>
-<bf><it>From version 1.47, this method is replaced by the command set/baddx</it></bf>
+<sect1>Looking up databases
 
 <P>
-In the same way as mail, there are some types of spot we do not wish to pass on 
-to users or linked cluster nodes.  In the /spider/data directory you will find 
-a file called baddx.pl.issue.  Rename this to baddx.pl and edit the file.  The
-original looks like this ....
+To look for information in a defined database, simply use the <em>dbshow</em>
+command, for example ...
 
 <tscreen><verb>
+dbshow buckmaster G0YLM
+</verb></tscreen>
 
-# the list of dx spot addresses that we don't store and don't pass on
-
-
-package DXProt;
+will show the information for the callsign G0YLM from the buckmaster
+database if it exists.  To make things more standard for the users
+you can add an entry in the Aliases file so that it looks like a standard 
+<em>show</em> command like this ...
 
-@baddx = qw 
-
- FROG 
- SALE
- FORSALE
- WANTED
- P1RATE
- PIRATE
- TEST
- DXTEST
- NIL
- NOCALL 
-);
+<tscreen><verb>
+'^sh\w*/buc', 'dbshow buckmaster', 'dbshow',
 </verb></tscreen>
 
-<P>
-Again, this is simply a list of names we do not want to see in the spotted 
-field of a DX callout.
-
+Now you can simply use show/buckmaster or an abreviation.
 
-<sect1>Filtering words from text fields in Announce, Talk and DX spots
+<sect1>Removing databases
 
 <P>
-Create a file in /spider/data called <em>badwords</em>.  The format is quite
-simple.  Lines beginning with # are ignored so comments can be added.  An
-example file is below ...
+To delete an existing database you use the <em>dbremove</em> command.
+For example ...
 
 <tscreen><verb>
-# Below is a list of words we do not wish to see on the cluster
-grunge grunged grunging
-splodge splodger splodging
-grince
-fluffle
+dbremove oblast
 </verb></tscreen>
 
-Multiple words can be used on the same line as shown.  Obviously these
-are just examples :-)
-
-<P>
-You can reload the file from the cluster prompt as sysop with load/badwords.
+would remove the oblast database and its associated datafile from the
+system.  There are no warnings or recovery possible from this command.
+If you remove a database it ceases to exist and would have to be created
+from scratch if you still required it.
 
 <sect>Information, files and useful programs
 
@@ -1362,13 +1070,13 @@ You can also store other information in this directory, either directly or
 nested under directories.  One use for this would be to store DX bulletins 
 such as the OPDX bulletins.  These can be listed and read by the user.  
 To keep things tidy, make a directory under /spider/packclus called
-<em>bulletins</em>.  Now copy any OPDX or similar bulletins into it.  These 
+<em>bulletin</em>.  Now copy any OPDX or similar bulletins into it.  These 
 can be listed by the user in the same way as above using the <em>show/files</em>
-command with an extension for the bulletins directory you have just created, 
+command with an extension for the bulletin directory you have just created, 
 like this ....
 
 <tscreen><verb>
-show/files bulletins
+show/files bulletin
 </verb></tscreen>
 
 <P>
@@ -1376,11 +1084,11 @@ An example would look like this ....
 
 <tscreen><verb>
 sh/files
-bulletins      DIR 20-Dec-1999 1715Z news          1602 14-Dec-1999 1330Z
+bulletin      DIR 20-Dec-1999 1715Z news          1602 14-Dec-1999 1330Z
 </verb></tscreen>
 
 You can see that in the files area (basically the packclus directory) there is a 
-file called <em>news</em> and a directory called <em>bulletins</em>.  You can 
+file called <em>news</em> and a directory called <em>bulletin</em>.  You can 
 also see that dates they were created.  In the case of the file <em>news</em>, 
 you can also see the time it was last modified, a good clue as to whether the 
 file has been updated since you last read it.  To read the file called 
@@ -1390,10 +1098,10 @@ file has been updated since you last read it.  To read the file called
 type news
 </verb></tscreen>
 
-To look what is in the bulletins directory you issue the command ....
+To look what is in the bulletin directory you issue the command ....
 
 <tscreen><verb>
-show/files bulletins
+show/files bulletin
 opdx390      21381 29-Nov-1999 1621Z opdx390.1     1670 29-Nov-1999 1621Z
 opdx390.2     2193 29-Nov-1999 1621Z opdx391      25045 29-Nov-1999 1621Z  
 opdx392      35969 29-Nov-1999 1621Z opdx393      15023 29-Nov-1999 1621Z  
@@ -1413,7 +1121,7 @@ Press Enter to continue, A to abort (16 lines) >
 You can now read any file in this directory using the type command, like this ....
 
 <tscreen><verb>
-type bulletins/opdx391
+type bulletin/opdx391
 Ohio/Penn DX Bulletin No. 391
 The Ohio/Penn Dx PacketCluster
 DX Bulletin No. 391
@@ -1566,113 +1274,71 @@ package CmdAlias;
         ],
         'x' => [
         ],
-        'y' => [
-        ],
-        'z' => [
-        ],
-)
-</verb></tscreen>
-
-You can create aliases for commands at will.  Beware though, these may not 
-always turn out as you think.  Care is needed and you need to test the 
-results once you have set an alias.
-
-<sect1>Forward.pl
-
-<P>
-DXSpider receives all and any mail sent to it without any alterations needed
-in files.  Because personal and bulletin mail are treated differently, there
-is no need for a list of accepted bulletin addresses.  It is necessary, however,
-to tell the program which links accept which bulletins.  For example, it is
-pointless sending bulletins addresses to "UK" to any links other than UK
-ones.  The file that does this is called forward.pl and lives in /spider/msg.
-At default, like other spider files it is named forward.pl.issue.  Rename it
-to forward.pl and edit the file to match your requirements.
-The format is below ...
-
-<tscreen><verb>
-#
-# this is an example message forwarding file for the system
-#
-# The format of each line is as follows
-#
-#     type    to/from/at pattern action  destinations
-#     P/B/F     T/F/A     regex   I/F    [ call [, call ...] ]
-#
-# type: P - private, B - bulletin (msg), F - file (ak1a bull)
-# to/from/at: T - to field, F - from field, A - home bbs, O - origin 
-# pattern: a perl regex on the field requested
-# action: I - ignore, F - forward
-# destinations: a reference to an array containing node callsigns
-#
-# if it is non-private and isn't in here then it won't get forwarded 
-#
-# Currently only type B msgs are affected by this code.
-# 
-# The list is read from the top down, the first pattern that matches
-# causes the action to be taken.
-#
-# The pattern can be undef or 0 in which case it will always be selected
-# for the action specified
-#
-# If the BBS list is undef or 0 and the action is 'F' (and it matches the
-# pattern) then it will always be forwarded to every node that doesn't have 
-# it (I strongly recommend you don't use this unless you REALLY mean it, if
-# you allow a new link with this on EVERY bull will be forwarded immediately
-# on first connection)
-#
+        'y' => [
+        ],
+        'z' => [
+        ],
+)
+</verb></tscreen>
 
-package DXMsg;
+You can create aliases for commands at will.  Beware though, these may not 
+always turn out as you think.  Care is needed and you need to test the 
+results once you have set an alias.
 
-@forward = (
-'B',    'T',    'LOCAL',        'F',    [ qw(GB7MBC) ],
-'B',    'T',    'ALL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'UK',           'F',    [ qw(GB7BAA GB7ADX) ],
-'B',    'T',    'QSL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'QSLINF',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DX',           'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DXINFO',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DXNEWS',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DXQSL',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'SYSOP',        'F',    [ qw(GB7BAA GB7ADX) ],
-'B',    'T',    '50MHZ',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-);
-</verb></tscreen>
+<sect1>Console.pl
 
-Simply insert a bulletin address and state in the brackets where you wish
-that mail to go.  For example, you can see here that mail sent to "UK" will
-only be sent to the UK links and not to PA4AB-14.
+<P>
+In later versions of Spider a simple console program is provided for the sysop.  
+This has a type ahead buffer with line editing facilities and colour for spots,
+announces etc.  To use this program, simply use console.pl instead of client.
 
 <P>
-To force the cluster to reread the file use load/forward
+To edit the colours, copy /spider/perl/Console.pl to /spider/local and edit the 
+file with your favourite editor.
 
-<sect1>Distribution lists
+<sect1>Updating kepler data
 
 <P>
-Distribution lists are simply a list of users to send certain types of
-mail to.  An example of this is mail you only wish to send to other
-sysops.  In /spider/msg there is a directory called <em>distro</em>.  You
-put any distibution lists in here.  For example, here is a file called
-SYSOP.pl that caters for the UK sysops.
+Spider has a powerful and flexible show/satellite command.  In order for
+this to be accurate, the kepler data has to be updated regularly.  In
+general, this data is available as an email or via cluster mail.
+Updating it is simple.  First you need to export the mail message as a
+file.  You do this with the <em>export</em> command from the cluster prompt
+as the sysop.  For example ...
 
 <tscreen><verb>
-qw(GB7TLH GB7DJK GB7DXM GB7CDX GB7BPQ GB7DXN GB7MBC GB7MBC-6 GB7MDX
-   GB7NDX GB7SDX GB7TDX GB7UDX GB7YDX GB7ADX GB7BAA GB7DXA GB7DXH 
-   GB7DXK GB7DXI GB7DXS)
+export 5467 /spider/perl/keps.in
 </verb></tscreen>
 
-Any mail sent to "sysop" would only be sent to the callsigns in this list.
-<sect1>Console.pl
+would export message number 5467 as a file called keps.in in the
+/spider/perl directory.
 
-<P>
-In later versions of Spider a simple console program is provided for the sysop.  
-This has a type ahead buffer with line editing facilities and colour for spots,
-announces etc.  To use this program, simply use console.pl instead of client.pl.
+Now login to a VT as sysop and cd /spider/perl.  There is a command in
+the perl directory called <em>convkeps.pl</em>.  All we need to do now is
+convert the file like so ...
+
+<tscreen><verb>
+./convkeps.pl keps.in
+</verb></tscreen>
+
+Now go back to the cluster and issue the command ...
+
+<tscreen><verb>
+load/keps
+</verb></tscreen>
+
+That is it!  the kepler data has been updated.
+
+<sect1>The QRZ callbook
 
 <P>
-To edit the colours, copy /spider/perl/Console.pl to /spider/local and edit the 
-file with your favourite editor.
+The command <em>sh/qrz</em> will only work once you have followed a few
+simple steps.  First you need to get a user ID and password from qrz.com.
+Simply go to the site and create one.  Secondly you need to copy the file
+/spider/perl/Internet.pm to /spider/local and alter it to match your user
+ID and password.  You also at this point need to set $allow=1 to complete
+the setup.  Many thanks to Fred Lloyd, the proprieter of
+<htmlurl url="http://www.qrz.com" name="qrz.com"> for allowing this access.
 
 <sect>CVS
 
@@ -1720,9 +1386,10 @@ return to a normal linux prompt.
 What happens next depends on whether you have an existing installation that 
 you want to update with the latest and greatest or whether you just want
 to see what is there and/or run it on a new machine for testing.
-Either way you will want to change directory to a new place, if you want to
-update an existing installation then I suggest /tmp, otherwise choose a
-suitable place according to the normal installation instructions.
+
+If you are installing Spider from CVS then change directory to /home/sysop
+
+If you are wanting to update Spider then cd to /tmp
 
 <P>
 The next step will create a brand new 'spider' directory in your current
@@ -1763,7 +1430,7 @@ correct.  YOU WERE LOGGED IN AS THE USER SYSOP WEREN'T YOU?????
 Remember to recompile the C client (cd /spider/src; make)
 
 <P>
-At this point the files have been upgraded.  You can (usually) restrt the cluster
+At this point the files have been upgraded.  You can (usually) restart the cluster
 in your own time.  However, if you attempt to use any new commands or features
 expect it to be fatal!  At least your cluster will have been restarted then so it
 will be too late to worry about it!
@@ -1810,7 +1477,7 @@ to understand how filters work - it will save a lot of grief later on.
 
 You can use any of the following things in this line:-
 
-<verb>
+<tscreen><verb>
   info <string>            eg: iota or qsl
   by <prefixes>            eg: G,M,2         
   origin <prefixes>
@@ -1823,28 +1490,28 @@ You can use any of the following things in this line:-
   channel <prefixes>
   wx 1                     filter WX announces
   dest <prefixes>          eg: 6MUK,WDX      (distros)
-</verb>
+</verb></tscreen>
 
 some examples:-
 
-<verb>
+<tscreen><verb>
   acc/ann dest 6MUK
   acc/ann 2 by_zone 14,15,16
   (this could be all on one line: acc/ann dest 6MUK or by_zone 14,15,16)
-</verb>
+</verb></tscreen>
 
 or
 
-<verb>
+<tscreen><verb>
   acc/ann by G,M,2 
-</verb>
+</verb></tscreen>
 
 This filter would only allow announces that were posted buy UK stations.  
 You can use the tag 'all' to accept everything eg:
 
-<verb>
+<tscreen><verb>
   acc/ann all
-</verb>
+</verb></tscreen>
 
 but this probably for advanced users...
 
@@ -1859,11 +1526,55 @@ but this probably for advanced users...
 This version allows a sysop to set a filter for a callsign as well as the
 default for nodes and users eg:-
 
-<verb>
+<tscreen><verb>
   accept/ann by G,M,2
   accept/ann input node_default by G,M,2
   accept/ann user_default by G,M,2
-</verb>
+</verb></tscreen>
+
+<sect1>accept/route (8)
+
+<P>
+<tt>
+<bf>accept/route &lt;call&gt; &lsqb;0-9&rsqb; &lt;pattern&gt;</bf> Set an 'accept' filter line for routing
+</tt>
+
+<P>
+Create an 'accept this routing PC Protocol' line for a filter. 
+
+<P>
+An accept filter line means that if a PC16/17/19/21/24/41/50 matches this filter 
+it is passed thru that interface. See HELP FILTERING for more info. Please read this
+to understand how filters work - it will save a lot of grief later on.
+
+<P>
+You can use any of the following things in this line:-
+
+<tscreen><verb>
+  call <prefixes>        the callsign of the thingy
+  call_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  call_itu <numbers>
+  call_zone <numbers>
+  origin <prefixes>      really the interface it came in on
+  origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  origin_itu <numbers>
+  origin_zone <numbers>
+</verb></tscreen>
+
+<P>
+some examples:-
+
+<tscreen><verb>
+  acc/route gb7djk call_dxcc 61,38 (send only UK+EIRE nodes)
+  acc/route gb7djk call gb7djk     (equiv to SET/ISOLATE)
+</verb></tscreen>
+
+<P>
+You can use the tag 'all' to accept everything eg:
+
+<tscreen><verb>
+  acc/route all
+</verb></tscreen>
 
 <sect1>accept/spots (0)
 
@@ -1883,7 +1594,7 @@ to understand how filters work - it will save a lot of grief later on.
 
 You can use any of the following things in this line:-
 
-<verb>
+<tscreen><verb>
   freq <range>           eg: 0/30000 or hf or hf/cw or 6m,4m,2m
   on <range>             same as 'freq'
   call <prefixes>        eg: G,PA,HB9
@@ -1897,7 +1608,7 @@ You can use any of the following things in this line:-
   by_zone <numbers>
   origin <prefixes>
   channel <prefixes>
-</verb>
+</verb></tscreen>
 
 <P>
 For frequencies, you can use any of the band names defined in
@@ -1908,16 +1619,16 @@ too hung up about that)
 
 some examples:-
 
-<verb>
+<tscreen><verb>
   acc/spot 1 on hf/cw
   acc/spot 2 on vhf and (by_zone 14,15,16 or call_zone 14,15,16)
-</verb>
+</verb></tscreen>
 
 You can use the tag 'all' to accept everything, eg:
 
-<verb>
+<tscreen><verb>
   acc/spot 3 all
-</verb>
+</verb></tscreen>
 
 but this probably for advanced users...
 
@@ -1932,13 +1643,13 @@ but this probably for advanced users...
 This version allows a sysop to set a filter for a callsign as well as the
 default for nodes and users eg:-
 
-<verb>
+<tscreen><verb>
   accept/spot db0sue-7 1 by_zone 14,15,16
   accept/spot node_default all
   set/hops node_default 10
 
   accept/spot user_default by G,M,2
-</verb>
+</verb></tscreen>
 
 <sect1>accept/wcy (0)
 
@@ -1951,7 +1662,7 @@ default for nodes and users eg:-
 It is unlikely that you will want to do this, but if you do then you can
 filter on the following fields:-
 
-<verb>
+<tscreen><verb>
   by <prefixes>            eg: G,M,2         
   origin <prefixes>
   origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
@@ -1961,7 +1672,7 @@ filter on the following fields:-
   by_itu <numbers>
   by_zone <numbers>
   channel <prefixes>
-</verb>
+</verb></tscreen>
 
 <P>
 There are no examples because WCY Broadcasts only come from one place and
@@ -1983,10 +1694,10 @@ WCY filter sysop version
 This version allows a sysop to set a filter for a callsign as well as the
 default for nodes and users eg:-
 
-<verb>
+<tscreen><verb>
   accept/wcy node_default all
   set/hops node_default 10
-</verb>
+</verb></tscreen>
 
 <sect1>accept/wwv (0)
 
@@ -1999,7 +1710,7 @@ default for nodes and users eg:-
 It is unlikely that you will want to do this, but if you do then you can
 filter on the following fields:-
 
-<verb>
+<tscreen><verb>
   by <prefixes>            eg: G,M,2         
   origin <prefixes>
   origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
@@ -2009,13 +1720,13 @@ filter on the following fields:-
   by_itu <numbers>
   by_zone <numbers>
   channel <prefixes>
-</verb>
+</verb></tscreen>
 
 for example 
 
-<verb>
+<tscreen><verb>
   accept/wwv by_zone 4
-</verb>
+</verb></tscreen>
 
 is probably the only useful thing to do (which will only show WWV broadcasts
 by stations in the US).
@@ -2034,13 +1745,13 @@ WWV filter sysop version
 This version allows a sysop to set a filter for a callsign as well as the
 default for nodes and users eg:-
 
-<verb>
+<tscreen><verb>
   accept/wwv db0sue-7 1 by_zone 4
   accept/wwv node_default all
   set/hops node_default 10
 
   accept/wwv user_default by W,K
-</verb>
+</verb></tscreen>
 
 <sect1>announce (0)
 
@@ -2051,7 +1762,9 @@ default for nodes and users eg:-
 
 <P>
 Send an announcement to LOCAL users only, where &lt;text&gt; is the text 
-of the announcement you wish to broadcast
+of the announcement you wish to broadcast.  If you do not wish to receive
+announces, use the <em>set/noannounce</em> command.  Any announces made by
+a sysop will override set/noannounce.
 
 <sect1>announce full (0)
 
@@ -2112,17 +1825,17 @@ outstanding non-private messages will be forwarded to them. This may well
 be ALL the non-private messages. You can prevent this by using these 
 commmands:-
 
-<verb>
+<tscreen><verb>
   catchup GB7DJK all
   catchup GB7DJK 300 301 302 303 500-510
-</verb>
+</verb></tscreen>
         
 and to undo what you have just done:-
   
-<verb>
+<tscreen><verb>
   uncatchup GB7DJK all
   uncatchup GB7DJK 300 301 302 303 500-510
-</verb>
+</verb></tscreen>
 
 which will arrange for them to be forward candidates again.
 
@@ -2141,28 +1854,28 @@ remove the whole filter.
 
 If you have a filter:-
 
-<verb>
+<tscreen><verb>
   acc/spot 1 on hf/cw
   acc/spot 2 on vhf and (by_zone 14,15,16 or call_zone 14,15,16)
-</verb>
+</verb></tscreen>
 
 and you say:-
 
-<verb>
+<tscreen><verb>
   clear/spot 1
-</verb>
+</verb></tscreen>
 
 you will be left with:-
 
-<verb>
+<tscreen><verb>
   acc/spot 2 on vhf and (by_zone 14,15,16 or call_zone 14,15,16)
-</verb>
+</verb></tscreen>
 
 If you do:
 
-<verb>
+<tscreen><verb>
   clear/spot all
-</verb>
+</verb></tscreen>
 
 the filter will be completely removed.
 
@@ -2316,16 +2029,16 @@ This is the generic user interface to the database to the database system.
 It is expected that the sysop will add an entry to the local Aliases file
 so that users can use the more familiar AK1A style of enquiry such as:
 
-<verb>
+<tscreen><verb>
   SH/BUCK G1TLH
-</verb>
+</verb></tscreen>
 
 but if he hasn't and the database really does exist (use DBAVAIL or
 SHOW/COMMAND to find out) you can do the same thing with:
 
-<verb>
+<tscreen><verb>
   DBSHOW buck G1TLH
-</verb>
+</verb></tscreen>
 
 
 <sect1>debug (9)
@@ -2373,18 +2086,18 @@ fields.
 
 You can combine some of the various directory commands together eg:-
 
-<verb>
+<tscreen><verb>
    DIR TO G1TLH 5
 or 
    DIR SUBJECT IOTA 200-250
-</verb>
+</verb></tscreen>
 
 You can abbreviate all the commands to one letter and use ak1a syntax:-
 
-<verb>
+<tscreen><verb>
    DIR/T G1* 10
    DIR/S QSL 10-100 5
-</verb>
+</verb></tscreen>
 
 
 <sect1>directory (extended for sysops) (5)
@@ -2413,24 +2126,24 @@ Disconnect any &lt;call&gt; connected locally
 This is how you send a DX Spot to other users. You can, in fact, now
 enter the &lt;freq&gt; and the &lt;call&gt; either way round. 
 
-<verb>
+<tscreen><verb>
    DX FR0G 144.600
    DX 144.600 FR0G
    DX 144600 FR0G 
-</verb>
+</verb></tscreen>
 
 will all give the same result. You can add some remarks to the end
 of the command and they will be added to the spot.
 
-<verb>
+<tscreen><verb>
    DX FR0G 144600 this is a test
-</verb>
+</verb></tscreen>
 
 You can credit someone else by saying:-
 
-<verb>
+<tscreen><verb>
    DX by G1TLH FR0G 144.600 he isn't on the cluster
-</verb>
+</verb></tscreen>
 
 The &lt;freq&gt; is compared against the available bands set up in the 
 cluster.  See SHOW/BANDS for more information.
@@ -2564,6 +2277,7 @@ As a sysop you can kill any message on the system.
 
 <sect1>kill full (5)
 
+<P>
 <tt>
 <bf>kill full &lt;msgno&gt; &lsqb;&lt;msgno&gt;&rsqb;</bf> Delete a message from the 
 whole cluster
@@ -2599,17 +2313,6 @@ Reload the /spider/cmd/Aliases file after you have editted it. You will need to
 do this if you change this file whilst the cluster is running in order for the
 changes to take effect.
 
-
-<sect1>load/baddx (9)
-<tt>
-<bf>load/baddx</bf> Reload the bad DX table
-</tt>
-
-<P>
-Reload the /spider/data/baddx.pl file if you have changed it manually whilst
-the cluster is running. This table contains the DX Calls that, if spotted, 
-will not be passed on. FR0G and TEST are classic examples.
-
 <sect1>load/badmsg (9)
 
 <P>
@@ -2623,21 +2326,6 @@ the cluster is running. This table contains a number of perl regular
 expressions which are searched for in the fields targetted of each message. 
 If any of them match then that message is immediately deleted on receipt. 
 
-<sect1>load/badwords (9)
-
-<P>
-<tt>
-<bf>load/badwords</bf> Reload the badwords file
-</tt>
-
-<P>
-Reload the /spider/data/badwords file if you have changed it manually whilst
-the cluster is running. This file contains a list of words which, if found
-on certain text portions of PC protocol, will cause those protocol frames
-to be rejected. It will all put out a message if any of these words are
-used on the announce, dx and talk commands. The words can be one or 
-more on a line, lines starting with '#' are ignored.
-
 <sect1>load/bands (9)
 
 <P>
@@ -2841,7 +2529,7 @@ to understand how filters work - it will save a lot of grief later on.
 
 You can use any of the following things in this line:-
 
-<verb>
+<tscreen><verb>
   info <string>            eg: iota or qsl
   by <prefixes>            eg: G,M,2         
   origin <prefixes>
@@ -2854,38 +2542,79 @@ You can use any of the following things in this line:-
   channel <prefixes>
   wx 1                     filter WX announces
   dest <prefixes>          eg: 6MUK,WDX      (distros)
-</verb>
+</verb></tscreen>
 
 some examples:-
 
-<verb>
+<tscreen><verb>
   rej/ann by_zone 14,15,16 and not by G,M,2
-</verb>
+</verb></tscreen>
  
 You can use the tag 'all' to reject everything eg:
 
-<verb>
+<tscreen><verb>
   rej/ann all
-</verb>
+</verb></tscreen>
+
+but this probably for advanced users...
+
+<sect1>reject/announce (extended for sysops) (8)
+
+<P>
+<tt>
+<bf>reject/announce &lt;call&gt; &lsqb;input&rsqb; &lsqb;0-9&rsqb; &lt;pattern&gt;</bf> Announce filter sysop version
+</tt>
+
+<P>
+This version allows a sysop to set a filter for a callsign as well as the
+default for nodes and users eg:-
+
+<tscreen><verb>
+  reject/ann by G,M,2
+  reject/ann input node_default by G,M,2
+  reject/ann user_default by G,M,2
+</verb></tscreen>
+
+<sect1>reject/route (8)
+
+<P>
+<tt>
+<bf>reject/route &lt;call&gt; &lsqb;0-9&rsqb; &lt;pattern&gt;</bf> Set an 'reject' filter line for routing
+</tt>
+
+<P>
+Create an 'reject this routing PC Protocol' line for a filter. 
 
-but this probably for advanced users...
+<P>
+An reject filter line means that if a PC16/17/19/21/24/41/50 matches this filter 
+it is NOT passed thru that interface. See HELP FILTERING for more info. Please 
+read this to understand how filters work - it will save a lot of grief later on.
+You can use any of the following things in this line:-
 
-<sect1>reject/announce (extended for sysops) (8)
+<tscreen><verb>
+  call <prefixes>        the callsign of the thingy
+  call_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  call_itu <numbers>
+  call_zone <numbers>
+  origin <prefixes>      really the interface it came in on
+  origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  origin_itu <numbers>
+  origin_zone <numbers>
+</verb></tscreen>
 
 <P>
-<tt>
-<bf>reject/announce &lt;call&gt; &lsqb;input&rsqb; &lsqb;0-9&rsqb; &lt;pattern&gt;</bf> Announce filter sysop version
-</tt>
+some examples:-
+
+<tscreen><verb>
+  rej/route gb7djk call_dxcc 61,38 (everything except  UK+EIRE nodes)
+</verb></tscreen>
 
 <P>
-This version allows a sysop to set a filter for a callsign as well as the
-default for nodes and users eg:-
+You can use the tag 'all' to reject everything eg:
 
-<verb>
-  reject/ann by G,M,2
-  reject/ann input node_default by G,M,2
-  reject/ann user_default by G,M,2
-</verb>
+<tscreen><verb>
+  rej/route all     (equiv to [very] restricted mode)
+</verb></tscreen>
 
 <sect1>reject/spots (0)
 
@@ -2904,7 +2633,7 @@ to understand how filters work - it will save a lot of grief later on.
 
 You can use any of the following things in this line:-
 
-<verb>
+<tscreen><verb>
   freq <range>           eg: 0/30000 or hf or hf/cw or 6m,4m,2m
   on <range>             same as 'freq'
   call <prefixes>        eg: G,PA,HB9
@@ -2918,7 +2647,7 @@ You can use any of the following things in this line:-
   by_zone <numbers>
   origin <prefixes>
   channel <prefixes>
-</verb>
+</verb></tscreen>
 
 For frequencies, you can use any of the band names defined in
 SHOW/BANDS and you can use a subband name like: cw, rtty, data, ssb -
@@ -2928,16 +2657,16 @@ too hung up about that)
 
 some examples:-
 
-<verb>
+<tscreen><verb>
   rej/spot 1 on hf
   rej/spot 2 on vhf and not (by_zone 14,15,16 or call_zone 14,15,16)
-</verb>
+</verb></tscreen>
 
 You can use the tag 'all' to reject everything eg:
 
-<verb>
+<tscreen><verb>
   rej/spot 3 all
-</verb>
+</verb></tscreen>
 
 but this probably for advanced users...
 
@@ -2953,13 +2682,13 @@ but this probably for advanced users...
 This version allows a sysop to set a filter for a callsign as well as the
 default for nodes and users eg:-
 
-<verb>
+<tscreen><verb>
   reject/spot db0sue-7 1 by_zone 14,15,16
   reject/spot node_default all
   set/hops node_default 10
 
   reject/spot user_default by G,M,2
-</verb>
+</verb></tscreen>
 
 <sect1>reject/wcy (0)
 
@@ -2972,7 +2701,7 @@ default for nodes and users eg:-
 It is unlikely that you will want to do this, but if you do then you can
 filter on the following fields:-
 
-<verb>
+<tscreen><verb>
   by <prefixes>            eg: G,M,2         
   origin <prefixes>
   origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
@@ -2982,7 +2711,7 @@ filter on the following fields:-
   by_itu <numbers>
   by_zone <numbers>
   channel <prefixes>
-</verb>
+</verb></tscreen>
 
 There are no examples because WCY Broadcasts only come from one place and
 you either want them or not (see UNSET/WCY if you don't want them).
@@ -3016,7 +2745,7 @@ default for nodes and users eg:-
 It is unlikely that you will want to do this, but if you do then you can
 filter on the following fields:-
 
-<verb>
+<tscreen><verb>
   by <prefixes>            eg: G,M,2         
   origin <prefixes>
   origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
@@ -3026,13 +2755,13 @@ filter on the following fields:-
   by_itu <numbers>
   by_zone <numbers>
   channel <prefixes>
-</verb>
+</verb></tscreen>
 
 for example 
 
-<verb>
+<tscreen><verb>
   reject/wwv by_zone 14,15,16
-</verb>
+</verb></tscreen>
 
 is probably the only useful thing to do (which will only show WWV broadcasts
 by stations in the US).
@@ -3050,12 +2779,12 @@ See HELP FILTER for information.
 <P>This version allows a sysop to set a filter for a callsign as well as the
 default for nodes and users eg:-
 
-<verb>
+<tscreen><verb>
   reject/wwv db0sue-7 1 by_zone 4
   reject/wwv node_default all
 
   reject/wwv user_default by W
-</verb>
+</verb></tscreen>
 
 <sect1>reply (0)
 
@@ -3103,9 +2832,9 @@ You can have more than one callsign in all of the SEND commands.
 
 You can have multiple qualifiers so that you can have for example:-
 
-<verb>
+<tscreen><verb>
   SEND RR COPY 123 PRIVATE G1TLH G0RDI
-</verb>
+</verb></tscreen>
 
 which should send a copy of message 123 to G1TLH and G0RDI and you will
 receive a read receipt when they have read the message.
@@ -3159,15 +2888,15 @@ will not be sent onto other nodes.
 
 The word must be wriiten in full, no wild cards are allowed eg:-
 
-<verb>
+<tscreen><verb>
   set/baddx FORSALE VIDEO FR0G 
-</verb>
+</verb></tscreen>
 
 To allow a word again, use the following command ...
 
-<verb>
+<tscreen><verb>
   unset/baddx VIDEO
-</verb>
+</verb></tscreen>
 
 <sect1>set/badnode (6)
 
@@ -3184,15 +2913,15 @@ sent onto other nodes.
 
 The call can be a full or partial call (or a prefix), eg:-
 
-<verb>
+<tscreen><verb>
   set/badnode K1TTT 
-</verb>
+</verb></tscreen>
 
 will stop anything from K1TTT (including any SSID's)
 
-<verb>
+<tscreen><verb>
   unset/badnode K1TTT
-</verb>
+</verb></tscreen>
 
 will allow spots from him again.
 
@@ -3212,16 +2941,16 @@ sent onto other nodes.
 
 The call must be written in full, no wild cards are allowed eg:-
 
-<verb>
+<tscreen><verb>
   set/badspotter VE2STN 
-</verb>
+</verb></tscreen>
 
 will stop anything from VE2STN. If you want SSIDs as well then you must
 enter them specifically.
 
-<verb>
+<tscreen><verb>
   unset/badspotter VE2STN
-</verb>
+</verb></tscreen>
 
 will allow spots from him again.
 
@@ -3237,6 +2966,13 @@ Use with extreme care. This command may well be superceded by FILTERing.
 <P>
 Add a beep to DX and other terminal messages.
 
+<sect1>set/bbs (5)
+
+<P>
+<tt>
+<bf>set/bbs &lt;call&gt; &lsqb;&lt;call&gt;..&rsqb;</bf>Make &lt;call&gt; a BBS
+</tt>
+
 <sect1>set/clx (5)
 
 <P>
@@ -3256,7 +2992,18 @@ Set the node_call as a CLX type node
 </tt>
 
 <P>
-You can remove this level with unset/debug &lt;name&gt;
+You can choose to log several different levels.  The levels are
+
+chan
+state
+msg
+cron
+connect
+
+You can show what levels you are logging with the <em>show/debug</em>
+command.
+
+You can remove a debug level with unset/debug &lt;name&gt;
 
 <sect1>set/dx (0)
 
@@ -3335,9 +3082,9 @@ Tell the cluster system where you normally connect to. Any Messages sent
 to you will normally find their way there should you not be connected.
 eg:-
 
-<verb>
+<tscreen><verb>
   SET/HOMENODE gb7djk
-</verb>
+</verb></tscreen>
 
 <sect1>set/hops (8)
 
@@ -3353,11 +3100,11 @@ Set the hop count for a particular type of broadcast for a node.
 This command allows you to set up special hop counts for a node 
 for currently: announce, spots, wwv and wcy broadcasts.
 
-<verb>
+<tscreen><verb>
 eg:
   set/hops gb7djk ann 10
   set/hops gb7mbc spots 20
-</verb>
+</verb></tscreen>
 
 Set SHOW/HOPS for information on what is already set. This command
 creates a filter and works in conjunction with the filter system. 
@@ -3402,9 +3149,9 @@ the languages available are <em>en</em> (English) and <em>nl</em> (Dutch).
 You can set your latitude and longitude manually or alternatively use the
 <em>set/qra</em> command which will do the conversion for you.
 
-<verb>
+<tscreen><verb>
   set/location 54 04 N 2 02 E
-</verb>
+</verb></tscreen>
 
 
 <sect1>set/sys_location (9)
@@ -3419,9 +3166,9 @@ In order to get accurate headings and such like you must tell the system
 what your latitude and longitude is. If you have not yet done a SET/QRA
 then this command will set your QRA locator for you. For example:-
 
-<verb>
+<tscreen><verb>
   SET/LOCATION 52 22 N 0 57 E
-</verb>
+</verb></tscreen>
 
 <sect1>set/logininfo (0)
 
@@ -3456,9 +3203,9 @@ To allow the user to connect again, use the <em>unset/lockout</em> command.
 <P>
 Tell the cluster what your name is, eg:-
 
-<verb>
+<tscreen><verb>
   set/name Dirk
-</verb>
+</verb></tscreen>
 
 <sect1>set/node (9)
 
@@ -3473,12 +3220,12 @@ fed PC Protocol rather normal user commands.
 
 From version 1.41 you can also set the following types of cluster
 
-<verb>
+<tscreen><verb>
   set/spider
   set/dxnet
   set/clx
   set/arcluster
-</verb>
+</verb></tscreen>
 
 To see what your nodes are set to, use the <em>show/nodes</em> command.
 
@@ -3517,10 +3264,10 @@ Tell the system how many lines you wish on a page when the number of lines
 of output from a command is more than this. The default is 20. Setting it
 explicitly to 0 will disable paging. 
 
-<verb>
+<tscreen><verb>
   SET/PAGE 30
   SET/PAGE 0
-</verb>
+</verb></tscreen>
 
 The setting is stored in your user profile.
 
@@ -3616,9 +3363,9 @@ Tell the system what your QRA (or Maidenhead) locator is. If you have not
 done a SET/LOCATION then your latitude and longitude will be set roughly
 correctly (assuming your locator is correct ;-). For example:-
 
-<verb>
+<tscreen><verb>
   SET/QRA JO02LQ
-</verb>
+</verb></tscreen>
 
 <sect1>set/qth (0)
 
@@ -3630,9 +3377,9 @@ correctly (assuming your locator is correct ;-). For example:-
 <P>
 Tell the system where your are.  For example:-
 
-<verb>
+<tscreen><verb>
   set/qth East Dereham, Norfolk
-</verb>
+</verb></tscreen>
 
 <sect1>set/talk (0)
 
@@ -3704,13 +3451,50 @@ for more information.
 
 <P>
 <tt>
-<bf>show/badspotter</bf>Show all the bad spotters in the system
+<bf>show/badspotter</bf> Show all the bad spotters in the system
 </tt>
 
 <P>
 Display all the bad spotter's callsigns in the system, see SET/BADSPOTTER
 for more information.
 
+<sect1>show/configuration (0)
+
+<P>
+<tt>
+<bf>show/configuration &lsqb;&lt;node&gt;&rsqb;</bf> Show all visible nodes and their users
+</tt>
+
+<P>
+This command allows you to see all the users that can be seen
+and the nodes to which they are connected.  With the optional <em>node</em>,
+you can specify a particular node to look at.
+
+This command is normally abbreviated to: sh/c
+
+BE WARNED: the list that is returned can be VERY long
+
+<sect1>show/configuration/node (0)
+
+<P>
+<tt>
+<bf>show/configuration/node</bf> Show all the nodes connected
+</tt>
+
+<P>
+Show all the nodes connected locally and the nodes they have connected.
+
+<sect1>show/connect (1)
+
+<P>
+<tt>
+<bf>show/connect</bf> Show all the active connections
+</tt>
+
+<P>
+This command shows information on all the active connections known to
+the node. This command gives slightly more information than WHO.
+
 <sect1>show/date (0)
 
 <P>
@@ -3728,6 +3512,16 @@ time and UTC as the computer has it right now. If you give some prefixes
 then it will show UTC and UTC + the local offset (not including DST) at
 the prefixes or callsigns that you specify.
 
+<sect1>show/debug (9)
+
+<P>
+<tt>
+<bf>show/debug</bf> Show what levels of debug you are logging
+</tt>
+
+<P>
+The levels can be set with <em>set/debug</em>
+
 <sect1>show/dx (0)
 
 <P>
@@ -3742,7 +3536,7 @@ If you just type SHOW/DX you will get the last so many spots
 In addition you can add any number of these options in very nearly
 any order to the basic SHOW/DX command, they are:-
 
-<verb>   
+<tscreen><verb>   
 on &lt;band&gt;       - eg 160m 20m 2m 23cm 6mm
 on &lt;region&gt;     - eg hf vhf uhf shf      (see SHOW/BANDS)
    
@@ -3772,11 +3566,11 @@ iota &lsqb;&lt;iota&gt;&rsqb;   - If the iota island number is missing it will
 
 qra &lsqb;&lt;locator&gt;&rsqb; - this will look for the specific locator if 
                   you specify one or else anything that looks like a locator.
-</verb>
+</verb></tscreen>
    
 e.g. 
 
-<verb>   
+<tscreen><verb>   
    SH/DX 9m0
    SH/DX on 20m info iota
    SH/DX 9a on vhf day 30
@@ -3784,7 +3578,7 @@ e.g.
    SH/DX iota 
    SH/DX iota eu-064
    SH/DX qra jn86
-</verb>
+</verb></tscreen>
 
 <sect1>show/dxcc (0)
 
@@ -3801,10 +3595,10 @@ and then displays all the spots as per SH/DX for that country.
 The options for SHOW/DX also apply to this command.   
 e.g. 
 
-<verb>   
+<tscreen><verb>   
    SH/DXCC G
    SH/DXCC W on 20m info iota
-</verb>
+</verb></tscreen>
 
 <sect1>show/files (0)
 
@@ -3819,9 +3613,9 @@ SHOW/FILES on its own will show you a list of the various fileareas
 available on the system. To see the contents of a particular file
 area type:-
 
-<verb>
+<tscreen><verb>
    SH/FILES &lt;filearea&gt;
-</verb>
+</verb></tscreen>
 
 where &lt;filearea&gt; is the name of the filearea you want to see the 
 contents of.
@@ -3829,9 +3623,9 @@ contents of.
 You can also use shell globbing characters like '*' and '?' in a
 string to see a selection of files in a filearea eg:-
 
-<verb>
+<tscreen><verb>
    SH/FILES bulletins arld*
-</verb>
+</verb></tscreen>
 
 See also TYPE - to see the contents of a file.
 
@@ -3890,6 +3684,18 @@ Show which nodes are currently set to be isolated.
 Show a list of callsigns that have been excluded (locked out) of the
 cluster locally with the <em>set/lockout</em> command
 
+<sect1>show/log (8)
+
+<P>
+<tt>
+<bf>show/log &lsqb;&lt;callsign&gt;&rsqb;</bf> Show excerpts from the system log
+</tt>
+
+<P>
+This command outputs a short section of the system log.  On its own
+it will output a general logfile.  With the optional callsign it will
+show output from the log associated with that callsign.
+
 <sect1>show/moon (0)
 
 <P>
@@ -3915,10 +3721,10 @@ that you are connected to.
 
 For example:-
 
-<verb>
+<tscreen><verb>
   SH/MOON
   SH/MOON G1TLH W5UN
-</verb>
+</verb></tscreen>
 
 <sect1>show/muf (0)
 
@@ -3964,13 +3770,13 @@ By default SHOW/MUF will show the next two hours worth of data. You
 can specify anything up to 24 hours worth of data by appending the no of
 hours required after the prefix. For example:-
 
-<verb>
+<tscreen><verb>
   SH/MUF W
-</verb>
+</verb></tscreen>
 
 produces:
 
-<verb>
+<tscreen><verb>
   RxSens: -123 dBM SFI: 159   R: 193   Month: 10   Day: 21
   Power :   20 dBW    Distance:  6283 km    Delay: 22.4 ms
   Location                       Lat / Long           Azim
@@ -3979,24 +3785,24 @@ produces:
   UT LT  MUF Zen  1.8  3.5  7.0 10.1 14.0 18.1 21.0 24.9 28.0 50.0
   18 23 11.5 -35  mS0+ mS2   S3
   19  0 11.2 -41  mS0+ mS2   S3
-</verb>
+</verb></tscreen>
 
 indicating that you will have weak, fading circuits on top band and 
 80m but usable signals on 40m (about S3).
 
 inputing:-
 
-<verb>
+<tscreen><verb>
   SH/MUF W 24
-</verb>
+</verb></tscreen>
 
 will get you the above display, but with the next 24 hours worth of
 propagation data.
 
-<verb>
+<tscreen><verb>
   SH/MUF W L 24
   SH/MUF W 24 Long
-</verb>
+</verb></tscreen>
 
 Gives you an estimate of the long path propagation characterics. It
 should be noted that the figures will probably not be very useful, nor
@@ -4058,10 +3864,10 @@ distance and bearing between two locators or (if only one locator is
 given on the command line) the distance and beraing from your station
 to the locator. For example:-
 
-<verb>
+<tscreen><verb>
 SH/QRA IO92QL 
 SH/QRA JN06 IN73
-</verb>
+</verb></tscreen>
 
 The first example will show the distance and bearing to the locator from
 yourself, the second example will calculate the distance and bearing from
@@ -4071,9 +3877,9 @@ It is also possible to convert a latitude and longitude to a locator by
 using this command with a latitude and longitude as an argument, for
 example:-
 
-<verb>
+<tscreen><verb>
 SH/QRA 52 41 N 0 58 E
-</verb>
+</verb></tscreen>
 
 <sect1>show/qrz (0)
 
@@ -4098,9 +3904,9 @@ is provided for users of this software by http://www.qrz.com
 This command allows you to see to which node the callsigns specified are
 connected. It is a sort of inverse sh/config.
 
-<verb>
+<tscreen><verb>
   sh/route n2tly
-</verb>
+</verb></tscreen>
 
 <sect1>show/satellite (0)
 
@@ -4128,10 +3934,10 @@ Each pass in a period is separated with a row of '-----' characters
 
 So for example:-
 
-<verb>
+<tscreen><verb>
 SH/SAT AO-10 
 SH/SAT FENGYUN1 12 2
-</verb>
+</verb></tscreen>
 
 <sect1>show/sun (0)
 
@@ -4155,10 +3961,10 @@ that you are connected to.
 
 For example:-
 
-<verb>
+<tscreen><verb>
   SH/SUN
   SH/SUN G1TLH K9CW ZS
-</verb>
+</verb></tscreen>
 
 <sect1>show/time (0)
 
@@ -4258,6 +4064,24 @@ Only the fields that are defined (in perl term) will be displayed.
 This command shows the internal status of a message and includes information
 such as to whom it has been forwarded, its size, origin etc etc.
 
+<P>
+If no message number is given then the status of the message system is 
+displayed.
+
+<sect1>stat/route_node (5)
+
+<P>
+<tt>
+<bf>stat/route_node &lt;callsign&gt;</bf> Show the data in a Route::Node object
+</tt>
+
+<sect1>stat/route_user (5)
+
+<P>
+<tt>
+<bf>stat/route_user &lt;callsign&gt;</bf> Show the data in a Route::User object
+</tt>
+
 <sect1>stat/user (5)
 
 <P>
@@ -4291,19 +4115,19 @@ required in the correct order. You may intersperse those characters
 with others to obscure your reply for any watchers. For example (and
 these values are for explanation :-):
 
-<verb>
+<tscreen><verb>
   password = 012345678901234567890123456789
   > sysop
   22 10 15 17 3
-</verb>
+</verb></tscreen>
 
 you type:-
 
-<verb>
+<tscreen><verb>
  aa2bbbb0ccc5ddd7xxx3n
  or 2 0 5 7 3
  or 20573
-</verb>
+</verb></tscreen>
 
 They will all match. If there is no password you will still be offered
 numbers but nothing will happen when you input a string. Any match is
@@ -4344,16 +4168,16 @@ terminal.
 If you want to do something (such as send a spot) you precede the normal 
 command with a '/' character, eg:-
 
-<verb>
+<tscreen><verb>
    /DX 14001 G1TLH What's a B class licensee doing on 20m CW?
    /HELP talk
-</verb>
+</verb></tscreen>
 
 To leave talk mode type:
    
-<verb>
+<tscreen><verb>
    /EX
-</verb>
+</verb></tscreen>
 
 <sect1>type (0)
 
@@ -4367,9 +4191,9 @@ Type out the contents of a file in a filearea. So, for example, in
 filearea 'bulletins' you want to look at file 'arld051' you would 
 enter:-
 
-<verb>
+<tscreen><verb>
    TYPE bulletins/arld051
-</verb>
+</verb></tscreen>
 
 See also SHOW/FILES to see what fileareas are available and a 
 list of content.