yet more doc changes
[spider.git] / sgml / adminmanual.sgml
index 2bffd437b8ebe8e8f285beb2d2112495a12d0b2b..39ec64313b937908ad8d4ef2e42b24baf9191516 100644 (file)
@@ -4,9 +4,10 @@
 
 <!-- Title information -->
 
-<title>The DXSpider Installation and Administration Manual 
-<author>Ian Maude, G0VGS, (ianmaude@btinternet.com)
-<date>Version 1.29 January 2001
+<title>The DXSpider Installation and Administration Manual</title> 
+<author>Ian Maude, G0VGS, (ianmaude@btinternet.com)</author>
+<date>Version 1.47 (Revision 1.30), April 2001</date>
+
 <abstract>
 A reference for SysOps of the DXSpider DXCluster program.
 </abstract>
@@ -16,20 +17,17 @@ A reference for SysOps of the DXSpider DXCluster program.
 
 <!-- Begin the document -->
 
-<sect>Installation (Original version by Iain Phillips, G0RDI)
-
-<P>
-Last modified: 13 January 2001 by Ian Maude, G0VGS
+<sect>Installation (Original version by Iain Philipps, G0RDI)
 
 <sect1>Introduction
 
 <P>
-This section describes the installation of DX Spider v1.35 on a 
-<htmlurl url="http://www.redhat.com" name="RedHat"> Linux Distribution.  
+This section describes the installation of DX Spider v1.46 on a 
+<htmlurl url="http://www.redhat.com" name="RedHat"> Linux Distribution.
+Wherever possible I will try to include differences for other distributions.  
 I do not intend to try and cover the installation of Linux or the setup 
 of the AX25 utilities.  If you need help on this then read Iains original 
-HOWTO on the <htmlurl url="http://www.dxcluster.org" name="DXSpider"> 
-website.
+installation guide that comes with the Spider distribution.
 
 <P>
 I am assuming a general knowledge of Linux and its commands.  You should 
@@ -37,26 +35,20 @@ know how to use <em>tar</em> and how to edit files using your favourite editor.
 
 <P>
 The crucial ingredient for all of this is 
-<htmlurl url="http://www.perl.org" name="Perl 5.004">.  Now I know Perl 5.005 
-is out and this will almost certainly work with it, but 
-<htmlurl url="http://www.redhat.com" name="RedHat 5.1"> comes with 5.004. 
-<em>Be Warned</em>, earlier versions of 
-<htmlurl url="http://www.redhat.com" name="RedHat"> <bf>do not</bf> come 
-with 5.004 as standard, you need to 
-<htmlurl url="ftp://upgrade.redhat.com" name="upgrade">
+<htmlurl url="http://www.perl.org" name="Perl">.  Earlier versions of
+Spider required perl 5.004, however it is now <it>STRONGLY</it> recommended
+that you use at least version 5.005_03 as this is the version being used
+in the development of Spider.
 
 <P>In addition to the standard Red Hat distribution you will require the 
-following <htmlurl url="http://www.cpan.org/CPAN.html" name="CPAN"> modules: -
+following modules from <htmlurl url="http://www.cpan.org/CPAN.html" name="http://www.cpan.org/CPAN.html"> ...
 
 <P>
 <itemize>
 
-<item>         MD5-1.7.tar.gz
-<item>         Data-Dumper-2.10.tar.gz
-<item>         FreezeThaw-0.3.tar.gz
-<item>         MLDBM-2.00.tar.gz
-<item>         TimeDate-1.08.tar.gz
-<item>         IO-1.20.tar.gz
+<item>         Data-Dumper-2.101.tar.gz
+<item>         TimeDate-1.10.tar.gz
+<item>         IO-1.20.tar.gz (for perl 5.00403 and lower)
 <item>         Net-Telnet-3.02.tar.gz
 <item>         Curses-1.05.tar.gz
 <item>         Time-HiRes-01.20.tar.gz
@@ -73,7 +65,7 @@ but use the above list as the earliest versions usable.
 <P>
 I will assume that you have already downloaded the latest tarball of 
 the DXSpider software and are ready to install it. I am assuming version 
-1.35 for this section but of course you would use the latest version.
+1.46 for this section but of course you would use the latest version.
 
 <P>
 Login as root and create a user to run the cluster under.  <bf><it>UNDER 
@@ -105,7 +97,7 @@ permissions.  Copy the tarball to /home/sysop and do the following.
 
 <tscreen><verb>
 # cd ~sysop
-# tar xvfz spider-1.35.tar.gz
+# tar xvfz spider-1.46.tar.gz
 # ln -s ~sysop/spider /spider
 # groupadd -g 251 spider       (or another number)
 </verb></tscreen>
@@ -183,10 +175,10 @@ for the file to work so leave it in.
 <P><bf>PLEASE USE CAPITAL LETTERS FOR CALLSIGNS</bf>
                
 <P>
-DON'T alter the DXVars.pm (or any other file) in /spider/perl, they are 
-overwritten with every release. Any files or commands you place in /spider/local 
-or /spider/local_cmd will automagically be used in preference to the ones in 
-/spider/perl EVEN while the cluster is running!
+DON'T alter any file in /spider/perl, they are overwritten with every
+release. Any files or commands you place in /spider/local or /spider/local_cmd 
+will automagically be used in preference to the ones in /spider/perl EVEN 
+while the cluster is running!
 
 <P>
 Save the new file and change directory to ../perl ....
@@ -200,7 +192,7 @@ Now type the following command which creates the basic user file with you as
 the sysop.
 
 <tscreen><verb>
-$ create_sysop.pl
+$ ./create_sysop.pl
 </verb></tscreen>
 
 <sect1>Starting up for the first time
@@ -210,8 +202,8 @@ We can now bring spider up for the first time and see if all is well or not!
 It should look something like this ...
 
 <tscreen><verb>
-$ cluster.pl
-DXSpider DX Cluster Version 1.35
+$ ./cluster.pl
+DXSpider DX Cluster Version 1.46
 Copyright (c) 1998 Dirk Koopman G1TLH
 loading prefixes ...
 loading band data ...
@@ -224,10 +216,10 @@ orft we jolly well go ...
 
 <P>
 If all is well then login on another term or console as <em>sysop</em> and 
-cd to /spider/perl.  Now issue the following command ...
+cd to /spider/src.  Now issue the following command ...
 
 <tscreen><verb>
-$ client.pl
+$ ./client
 </verb></tscreen>
 
 <P>
@@ -251,7 +243,7 @@ shutdown
 <P>
 and both the cluster and the client should return to Linux prompts.
 
-<sect>The Client program
+<sect1>The Client program
 
 <P>
 In earlier versions of Spider, all the processes were Perl scripts.  This 
@@ -262,6 +254,61 @@ has to be "made".  CD to /spider/src and type <em>make</em>.  You
 should see the output on your screen and hopefully now have a small C program 
 called <em>client</em>.  Leave it in this directory.
 
+
+<sect>Quick installation guide (Linux version)
+
+<P>
+This section is designed for experienced Spider sysops who want to install
+Spider from scratch.  It is simply a check list of things that need to be
+done without any explanations.  The name in brackets at the end of each line
+is the user that should be doing that process.
+
+<itemize>
+<item>Login as root
+<item>Get the additional CPAN modules and install them (root)
+<item>Create the "sysop" user and set a password (root)
+<item>Put the Spider tarball in ~sysop and untar it (root)
+<item>ln -s ~sysop/spider /spider (root)
+<item>groupadd -g 251 spider (root)
+<item>Add any more users you need to the group entry in /etc/group (root)
+<item>Set the permissions on the spider tree (root)
+<item>Fix permissions on ax25_call and netrom_call (root)
+<item>Login as the sysop user
+<item>cd to /spider (sysop)
+<item>mkdir local (sysop)
+<item>mkdir local_cmd (sysop)
+<item>cp perl/DXVars.pm.issue local/DXVars.pm (sysop)
+<item>cd to /spider/local and edit DXVars to set your details (sysop)
+<item>cd ../perl (sysop)
+<item>./create_sysop.pl (sysop)
+<item>./cluster.pl (sysop)
+</itemize>
+
+Spider should now be running and you should be able to login using the
+client program.
+
+<itemize>
+<item>Login as root
+<item>Enter the correct line in ax25d.conf (root)
+<item>Enter the correct line in /etc/services (root)
+<item>Enter the correct line in /etc/inetd.conf (root)
+<item>killall -HUP inetd (root)
+</itemize>
+
+Spider should now be able to accept logins via telnet, netrom and ax25.
+
+<itemize>
+<item>Login as sysop
+<item>Start the cluster (sysop)
+<item>set/node and type for links (sysop)
+<item>Write any connect scripts (sysop)
+<item>Edit /spider/crontab as required (sysop)
+<item>Edit any other files as necessary (sysop)
+<item>Set filters, hops and forwarding files (sysop)
+<item>Login as root
+<item>Enter the correct line in /etc/inittab (root)
+</itemize>
+
 <sect>Configuration
 
 <sect1>Allowing ax25 connects from users
@@ -276,8 +323,29 @@ each interface that you wish to allow connections on, use the following format .
 default  * * * * * *  - sysop /spider/src/client client %u ax25
 </verb></tscreen>
 
-<sect1>Allowing telnet connects from users
+or, if you wish your users to be able to use SSID's on their callsigns ..
+
+<tscreen><verb>
+default  * * * * * *  - sysop /spider/src/client client %s ax25
+</verb></tscreen>
+
+For most purposes this is not desirable. The only time you probably will 
+need this is when you need to allow other cluster nodes that are using SSID's
+in. In this case it would probably be better to use the first example and 
+then add a specific line for that node like this:
+
+<tscreen><verb>
+GB7DJK-2  * * * * * *  - sysop /spider/src/client client gb7djk-2 ax25
+default  * * * * * *  - sysop /spider/src/client client %u ax25
+</verb></tscreen>
+<sect1>Allowing telnet connects from users 
 
+<P> 
+From version 1.47 there is a new (more efficient) way of doing this
+(see next section) but, if you prefer, the method of doing it described 
+here will continue to work just fine.
 <P>
 Allowing telnet connections is quite simple.  Firstly you need to add a line 
 in /etc/services to allow connections to a port number, like this ....
@@ -293,7 +361,6 @@ spdlogin stream tcp nowait root /usr/sbin/tcpd /spider/src/client login telnet
 </verb></tscreen>
 
 <P>
-This needs to be added above the standard services such as ftp, telnet etc.  
 Once this is done, you need to restart inetd like this ....
 
 <tscreen><verb>
@@ -301,11 +368,11 @@ killall -HUP inetd
 </verb></tscreen>
 
 
-<P>Now login as <em>sysop</em> and cd spider/perl. You can test that spider 
+<P>Now login as <em>sysop</em> and cd spider/src. You can test that spider 
 is accepting telnet logins by issuing the following command ....
 
 <tscreen><verb>
-client.pl login telnet
+./client login telnet
 </verb></tscreen>
 
 You should get a login prompt and on issuing a callsign, you will be given 
@@ -322,6 +389,84 @@ telnet localhost 8000
 <P>
 You should now get the login prompt and be able to login as before.
 
+<sect1>Setting up telnet connects (from 1.47 onwards)
+
+<P>
+From version 1.47 you can choose to allow the perl cluster.pl program to 
+allow connections directly (i.e. not via the <tt>/spider/src/client</tt>
+interface program). If you are using Windows then this is the only method
+available of allowing incoming telnet connections.
+
+<P>
+To do this you need first to remove any line that you may previously have set
+up in /etc/inetd.conf. Remember to:-
+
+<tscreen><verb>
+killall -HUP inetd
+</verb></tscreen>
+
+<P>
+to make the change happen...
+
+<P>
+Having done that, you need to copy the file 
+<em>/spider/perl/Listeners.pm</em> to <em>/spider/local</em> and 
+then edit it. You will need to uncomment the line containing &dquot;0.0.0.0&dquot; 
+and select the correct port to listen on. So that it looks like this:-
+
+<tscreen><verb>
+@listen = (
+    ["0.0.0.0", 8000],
+);
+</verb></tscreen>
+
+<P>
+As standard, the listener will listen on all interfaces simultaneously. 
+If you require more control than this, you can specify each interface 
+individually:-
+
+<tscreen><verb>
+@listen = (
+    ["gb7baa.dxcluster.net", 8000],
+    ["44.131.16.2", 6300],
+);
+</verb></tscreen>
+
+<P>
+This will only be successful if the IP addresses on each interface are static. 
+If you are using some kind of dynamic IP addressing then the 'default' method 
+is the only one that will work.
+
+<P>
+Restart the cluster.pl program to enable the listener.
+
+<P>
+One important difference with the internal listener is that no echoing 
+is done by the cluster program. Users will need to set 'local-echo' on in 
+their telnet clients if it isn't set automatically (as per the standards). 
+Needless to say this will probably only apply to Windows users. 
+
+<sect1>Setting up for AGW Engine (1.47 onwards)
+
+<P>
+AGW Engine is a Windows based ax25 stack. You can connect to an AGW engine 
+from Linux as well as Windows based machines.
+
+<P>
+In order to enable access to an AGW Engine you need to copy 
+<em>/spider/perl/AGWConnect.pm</em> to <em>/spider/local</em> and edit it. 
+Specifically you must:-
+
+<itemize>
+<item> set <tt>$enable</tt> to 1.
+<item> set <tt>$login</tt> and <tt>$passwd</tt> to the values set up in your AGW installation. 
+If you haven't set any there, then you should not touch these values.
+<item> You can connect to a remote AGW engine (ie on some other machine) by changing <tt>$addr</tt>
+and <tt>$port</tt> appropriately.
+<item> Restart the cluster.pl program
+</itemize>   
+
+
 <sect1>Setting up node connects
 
 <P>
@@ -349,7 +494,7 @@ For now, we will assume that the cluster we are going to connect to is an
 AK1A type node.
 
 <P>
-Start up the cluster as you did before and login as the sysop with client.pl.
+Start up the cluster as you did before and login as the sysop with client.
 The cluster node I am wanting to make a connection to is GB7BAA but you would
 obviously use whatever callsign you required.  At the prompt type ...
 
@@ -363,17 +508,17 @@ The case does not matter as long as you have a version of DXSpider later than
 
 <P>
 That is now set, it is as simple as that.  To prove it, login on yet another 
-console as sysop and issue the command ...
+console as sysop, cd to spider/src and issue the command ...
 
 <tscreen><verb>
-client.pl gb7baa (using the callsign you set as a node)
+./client gb7baa (using the callsign you set as a node)
 </verb></tscreen>
 
 <P>
 You should get an initialisation string from DXSpider like this ...
 
 <tscreen><verb>
-client.pl gb7baa
+./client gb7baa
 PC38^GB7MBC^~
 </verb></tscreen>
 
@@ -381,6 +526,15 @@ If the callsign you just set up as a cluster node is for an incoming connect,
 this is all that needs to be done.  If the connection is to be outgoing then 
 a connection script needs to be written.
 
+<P>
+Sometimes you make a mistake... Honest, it does happen.  If you want to make a node
+back to being a normal user, regardless
+of what type it is, do:
+
+<tscreen><verb>
+unset/node gb7baa
+</verb></tscreen>
+
 <sect1>Connection scripts
 
 <P>
@@ -393,20 +547,20 @@ Writing a script for connections is therefore relatively simple.
 The connect scripts consist of lines which start with the following keywords 
 or symbols:-
 
-<verb>
+<descrip>
        
-#              All lines starting with a # are ignored, as are completely 
+<tag/#/All lines starting with a <tt>#</tt> are ignored, as are completely 
                 blank lines.
 
-timeout                timeout followed by a number is the number of seconds to wait for a 
+<tag/timeout/<tt>timeout</tt> followed by a number is the number of seconds to wait for a 
                command to complete. If there is no timeout specified in the script 
                then the default is 60 seconds.
 
-abort          abort is a regular expression containing one or more strings to look 
+<tag/abort/    <tt>abort</tt> is a regular expression containing one or more strings to look 
                for to abort a connection. This is a perl regular expression and is 
                executed ignoring case.
 
-connect                connect followed by ax25 or telnet and some type dependent 
+<tag/connect/<tt>connect</tt> followed by ax25, agw (for Windows users) or telnet and some type dependent 
                information. In the case of a telnet connection, there can be up to 
                two parameters.
                The first is the ip address or hostname of the computer you wish to 
@@ -417,7 +571,7 @@ connect             connect followed by ax25 or telnet and some type dependent
                responsibility to get your node and other ax25 parameters to work 
                before going down this route!
 
-'              ' is the delimiting character for a word or phrase of an expect/send 
+<tag/'/<tt>'</tt> is the delimiting character for a word or phrase of an expect/send 
                line in a chat type script. The words/phrases normally come in pairs,
                either can be empty. Each line reads input from the connection until 
                it sees the string (or perl regular expression) contained in the
@@ -427,16 +581,16 @@ connect           connect followed by ax25 or telnet and some type dependent
                then the right hand string is sent to the connection.
                This process is repeated for every line of chat script. 
 
-client         client starts the connection, put the arguments you would want here 
+<tag/client/<tt>client</tt> starts the connection, put the arguments you would want here 
                if you were starting the client program manually. You only need this 
                if the script has a different name to the callsign you are trying to 
                connect to (i.e. you have a script called other which actually 
                connects to GB7DJK-1 [instead of a script called gb7djk-1]).
-</verb>
+</descrip>
 
 
-There are many possible ways to configure the script but here are two examples, 
-one for a NETRom/AX25 connect and one for tcp/ip.  
+There are many possible ways to configure the script but here are three examples, 
+one for a NETRom/AX25 connect, one for AGW engines and one for tcp/ip.  
 
 <tscreen><verb>
 timeout 60
@@ -452,6 +606,21 @@ client gb7dxm ax25
 
 <P>
 
+<tscreen><verb>
+timeout 60
+abort (Busy|Sorry|Fail)
+# this does exactly the same as the previous example
+# the '1' is the AGW port number to connect thru for g1tlh
+connect agw 1 g1tlh
+'Connect' '' 
+'Connect' 'c np7'
+'Connect' 'c gb7dxm'
+# you can leave this out if you call the script 'gb7dxm'
+client gb7dxm ax25
+</verb></tscreen>
+
+<P>
+
 <tscreen><verb>
 timeout 15
 connect telnet dirkl.tobit.co.uk
@@ -480,7 +649,8 @@ G0VGS de GB7MBC 13-Dec-1998 2043Z >
 
 This will start a connection using the script called <em>gb7djk-1</em>.  You can
 follow the connection by watching the term or console from where you started
-<em>cluster.pl</em>.  You should see something like this ...
+<em>cluster.pl</em>.  From version 1.47 onwards, you will need to <tt>set/debug connect</tt> first.
+You should see something like this ...
 
 <tscreen><verb>
 <- D G1TLH connect gb7djk-1
@@ -549,7 +719,7 @@ on the route taken to connect.
 <P>
 Telnet echo itself should only be a problem if the connection is being made to 
 the telnet port (23).  This port uses special rules that include echo negotiation.
-If the connection is to a different port, such as 8000, this negotiation does 
+If the connection is to a different port, such as 7300, this negotiation does 
 not happen and therefore no echo should be present.
 
 <P>
@@ -604,6 +774,22 @@ the following lines to the file near the end ...
 DX:3:respawn:/bin/su -c "/usr/bin/perl -w /spider/perl/cluster.pl" sysop >/dev/tty7
 </verb></tscreen>
 
+<P>
+This line works fine for RedHat distributions. It is also fine for SuSE up to
+7.0.  From Suse 7.1 you need to add runlevels 2 and 5 like this ...
+
+<tscreen><verb>
+DX:235:respawn:/bin/su -c "/usr/bin/perl -w /spider/perl/cluster.pl" sysop >/dev/tty7
+</verb></tscreen>
+
+
+The line required for Slackware distributions is slightly different.  My thanks to 
+Aurelio, PA3EZL for this information.
+
+<tscreen><verb>
+DX:23:respawn:/bin/su - sysop -c "/usr/bin/perl -w /spider/perl/cluster.pl" >/dev/tty7
+</verb></tscreen>
+
 <P>
 This will automatically start DXSpider on tty7 (ALT-F7) on bootup and restart 
 it should it crash for any reason.
@@ -627,7 +813,7 @@ a comment)
 # check every 10 minutes to see if gb7xxx is connected and if not
 # start a connect job going
 
-0,10,20,30,40,50 * * * * start_connect('gb7xxx') if !connected('gb7xxx')
+0,10,20,30,40,50 * * * * start_connect('gb7xxx') if unless connected('gb7xxx')
 </verb></tscreen>
 
 <P>
@@ -1312,6 +1498,316 @@ are just examples :-)
 <P>
 You can reload the file from the cluster prompt as sysop with load/badwords.
 
+<sect>Mail
+
+<P>
+DXSpider deals seamlessly with standard AK1A type mail.  It supports both
+personal and bulletin mail and the sysop has additional commands to ensure
+that mail gets to where it is meant.  DXSpider will send mail almost
+immediately, assuming that the target is on line.  However, only one
+mail message is dealt with at any one time.  If a mail message is already
+being sent or recieved, then the new message will be queued until it has
+finished.
+
+The cluster mail is automatically deleted after 30 days unless the sysop
+sets the "keep" flag using the <em>msg</em> command.
+
+<sect1>Personal mail
+
+<P>
+Personal mail is sent using the <em>sp</em> command.  This is actually the
+default method of sending mail and so a simple <em>s</em> for send will do.
+A full list of the send commands and options is in the <em>command set</em>
+section, so I will not duplicate them here.
+
+<sect1>Bulletin mail
+
+<P>
+Bulletin mail is sent by using the <em>sb</em> command.  This is one of the
+most common mistakes users make when sending mail.  They send a bulletin
+mail with <em>s</em> or <em>sp</em> instead of <em>sb</em> and of course
+the message never leaves the cluster.  This can be rectified by the sysop
+by using the <em>msg</em> command.
+
+<P>Bulletin addresses can be set using the Forward.pl file.
+
+<sect1>Forward.pl
+
+<P>
+DXSpider receives all and any mail sent to it without any alterations needed
+in files.  Because personal and bulletin mail are treated differently, there
+is no need for a list of accepted bulletin addresses.  It is necessary, however,
+to tell the program which links accept which bulletins.  For example, it is
+pointless sending bulletins addresses to "UK" to any links other than UK
+ones.  The file that does this is called forward.pl and lives in /spider/msg.
+At default, like other spider files it is named forward.pl.issue.  Rename it
+to forward.pl and edit the file to match your requirements.
+The format is below ...
+
+<tscreen><verb>
+#
+# this is an example message forwarding file for the system
+#
+# The format of each line is as follows
+#
+#     type    to/from/at pattern action  destinations
+#     P/B/F     T/F/A     regex   I/F    [ call [, call ...] ]
+#
+# type: P - private, B - bulletin (msg), F - file (ak1a bull)
+# to/from/at: T - to field, F - from field, A - home bbs, O - origin 
+# pattern: a perl regex on the field requested
+# action: I - ignore, F - forward
+# destinations: a reference to an array containing node callsigns
+#
+# if it is non-private and isn't in here then it won't get forwarded 
+#
+# Currently only type B msgs are affected by this code.
+# 
+# The list is read from the top down, the first pattern that matches
+# causes the action to be taken.
+#
+# The pattern can be undef or 0 in which case it will always be selected
+# for the action specified
+#
+# If the BBS list is undef or 0 and the action is 'F' (and it matches the
+# pattern) then it will always be forwarded to every node that doesn't have 
+# it (I strongly recommend you don't use this unless you REALLY mean it, if
+# you allow a new link with this on EVERY bull will be forwarded immediately
+# on first connection)
+#
+
+package DXMsg;
+
+@forward = (
+'B',    'T',    'LOCAL',        'F',    [ qw(GB7MBC) ],
+'B',    'T',    'ALL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'UK',           'F',    [ qw(GB7BAA GB7ADX) ],
+'B',    'T',    'QSL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'QSLINF',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DX',           'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DXINFO',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DXNEWS',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'DXQSL',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+'B',    'T',    'SYSOP',        'F',    [ qw(GB7BAA GB7ADX) ],
+'B',    'T',    '50MHZ',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
+);
+</verb></tscreen>
+
+Simply insert a bulletin address and state in the brackets where you wish
+that mail to go.  For example, you can see here that mail sent to "UK" will
+only be sent to the UK links and not to PA4AB-14.
+
+<P>
+To force the cluster to reread the file use load/forward
+
+
+<sect1>The msg command
+
+<P>
+The <em>msg</em> command is a very powerful and flexible tool for the
+sysop.  It allows the sysop to alter to and from fields and make other
+changes to manage the cluster mail.
+
+Here is a full list of the various options ...
+
+<tscreen><verb>
+  MSG TO <msgno> <call>     - change TO callsign to <call>
+  MSG FRom <msgno> <call>   - change FROM callsign to <call>
+  MSG PRrivate <msgno>      - set private flag
+  MSG NOPRrivate <msgno>    - unset private flag
+  MSG RR <msgno>            - set RR flag
+  MSG NORR <msgno>          - unset RR flag
+  MSG KEep <msgno>          - set the keep flag (message won't be deleted ever)
+  MSG NOKEep <msgno>        - unset the keep flag
+  MSG SUbject <msgno> <new> - change the subject to <new>
+  MSG WAittime <msgno>      - remove any waiting time for this message
+  MSG NOREad <msgno>        - mark message as unread
+  MSG REad <msgno>          - mark message as read
+  MSG QUeue                 - queue any outstanding bulletins
+  MSG QUeue 1               - queue any outstanding private messages
+</verb></tscreen>
+
+These commands are simply typed from within the cluster as the sysop user.
+
+<sect1>Message status
+
+<P>
+You can check on a message from within the cluster by using the command
+<em>stat/msg</em>.  This will give you additional information on the
+message number including which nodes have received it, which node it
+was received from and when etc.  Here is an example of the output of
+the command ...
+
+<tscreen><verb>
+G0VGS de GB7MBC 28-Jan-2001 1308Z >
+stat/msg 6869
+        From: GB7DJK
+    Msg Time: 26-Jan-2001 1302Z
+       Msgno: 6869
+      Origin: GB7DJK
+        Size: 8012
+     Subject: AMSAT 2line KEPS 01025.AMSAT
+          To: UK
+Got it Nodes: GB7BAA, GB7ADX
+     Private: 0
+Read Confirm: 0
+  Times read: 0
+G0VGS de GB7MBC 28-Jan-2001 1308Z >
+</verb></tscreen>
+
+<sect1>Filtering mail
+
+<P>
+This is described in the section on <em>Other filters</em> so I will not
+duplicate it here.
+
+<sect1>Distribution lists
+
+<P>
+Distribution lists are simply a list of users to send certain types of
+mail to.  An example of this is mail you only wish to send to other
+sysops.  In /spider/msg there is a directory called <em>distro</em>.  You
+put any distibution lists in here.  For example, here is a file called
+SYSOP.pl that caters for the UK sysops.
+
+<tscreen><verb>
+qw(GB7TLH GB7DJK GB7DXM GB7CDX GB7BPQ GB7DXN GB7MBC GB7MBC-6 GB7MDX
+   GB7NDX GB7SDX GB7TDX GB7UDX GB7YDX GB7ADX GB7BAA GB7DXA GB7DXH 
+   GB7DXK GB7DXI GB7DXS)
+</verb></tscreen>
+
+Any mail sent to "sysop" would only be sent to the callsigns in this list.
+
+<sect1>BBS interface
+
+<P>
+Spider provides a simple BBS interface.  No input is required from the sysop
+of the cluster at all.  The BBS simply sets the cluster as a BBS and pushes
+any required mail to the cluster.  No mail can flow from Spider to the BBS,
+the interface is one-way.
+
+<P>
+Please be careful not to flood the cluster network with unnecessary mail.
+Make sure you only send mail to the clusters that want it by using the
+Forward.pl file very carefully.
+
+<sect>Databases
+
+<P>
+Spider allows the creation of local or remote databases.  It supports
+chained databases, allowing several different databases to be scanned
+with one simple command.  Importing of databases is limited at present
+to the standard AK1A databases such as OBLAST and the DB0SDX QSL 
+database but will expand with time.
+
+<sect1>Creating databases
+
+<P>
+Creating a database could not be more simple.  All the commands are
+sent from the cluster prompt as the <em>sysop</em> user.
+
+To create a database you use the command <em>dbcreate</em>.  It can
+be used in 3 different ways like so ..
+
+<tscreen><verb>
+dbcreate <name>
+</verb></tscreen>
+
+To simply create a database locally, you just tell the command the
+name of the database.  This does not create the actual database, it
+simply defines it to say that it exists.
+
+<tscreen><verb>
+dbcreate <name> chain <name> [<name>...]
+</verb></tscreen>
+
+This creates a chained database entry.  The first database will be
+scanned, then the second, the third etc...
+
+<tscreen><verb>
+dbcreate <name> remote <name>
+</verb></tscreen>
+
+This creates a remote entry.  the first name field is the database
+name at the remote node, then the remote switch, then the actual
+node_call of the remote node, for example...
+
+<tscreen><verb>
+dbcreate buckmaster remote gb7dxc
+</verb></tscreen>
+
+Remote databases cannot be chained, however, the last database in a
+chain can be a remote database.
+
+<sect1>Importing databases
+
+<P>
+The only databases that Spider can currently import are the standard
+AK1A databases such as OBLAST or the DB0SDX qsl and address database.
+This will be added to with time.
+
+To import such a database, first put the file somewhere useful like /tmp
+and then issue the following command ...
+
+<tscreen><verb>
+dbimport oblast /tmp/OBLAST.FUL
+</verb></tscreen>
+
+This will update the existing local oblast database or create it if
+it does not exist.
+
+<sect1>Checking available databases
+
+<P>
+Once a database is created, you will want to check that it has been
+added.  To do this use the <em>dbavail</em> command.  This will
+output the available databases.  For example ...
+
+<tscreen><verb>
+dbavail
+DB Name          Location   Chain
+qsl              Local
+buck             GB7ADX
+hftest           GB7DXM
+G0VGS de GB7MBC  3-Feb-2001 1925Z >
+</verb></tscreen>
+
+<sect1>Looking up databases
+
+<P>
+To look for information in a defined database, simply use the <em>dbshow</em>
+command, for example ...
+
+<tscreen><verb>
+dbshow buckmaster G0YLM
+</verb></tscreen>
+
+will show the information for the callsign G0YLM from the buckmaster
+database if it exists.  To make things more standard for the users
+you can add an entry in the Aliases file so that it looks like a standard 
+<em>show</em> command like this ...
+
+<tscreen><verb>
+'^sh\w*/buc', 'dbshow buckmaster', 'dbshow',
+</verb></tscreen>
+
+Now you can simply use show/buckmaster or an abreviation.
+
+<sect1>Removing databases
+
+<P>
+To delete an existing database you use the <em>dbremove</em> command.
+For example ...
+
+<tscreen><verb>
+dbremove oblast
+</verb></tscreen>
+
+would remove the oblast database and its associated datafile from the
+system.  There are no warnings or recovery possible from this command.
+If you remove a database it ceases to exist and would have to be created
+from scratch if you still required it.
+
 <sect>Information, files and useful programs
 
 <sect1>MOTD
@@ -1362,13 +1858,13 @@ You can also store other information in this directory, either directly or
 nested under directories.  One use for this would be to store DX bulletins 
 such as the OPDX bulletins.  These can be listed and read by the user.  
 To keep things tidy, make a directory under /spider/packclus called
-<em>bulletins</em>.  Now copy any OPDX or similar bulletins into it.  These 
+<em>bulletin</em>.  Now copy any OPDX or similar bulletins into it.  These 
 can be listed by the user in the same way as above using the <em>show/files</em>
-command with an extension for the bulletins directory you have just created, 
+command with an extension for the bulletin directory you have just created, 
 like this ....
 
 <tscreen><verb>
-show/files bulletins
+show/files bulletin
 </verb></tscreen>
 
 <P>
@@ -1376,11 +1872,11 @@ An example would look like this ....
 
 <tscreen><verb>
 sh/files
-bulletins      DIR 20-Dec-1999 1715Z news          1602 14-Dec-1999 1330Z
+bulletin      DIR 20-Dec-1999 1715Z news          1602 14-Dec-1999 1330Z
 </verb></tscreen>
 
 You can see that in the files area (basically the packclus directory) there is a 
-file called <em>news</em> and a directory called <em>bulletins</em>.  You can 
+file called <em>news</em> and a directory called <em>bulletin</em>.  You can 
 also see that dates they were created.  In the case of the file <em>news</em>, 
 you can also see the time it was last modified, a good clue as to whether the 
 file has been updated since you last read it.  To read the file called 
@@ -1390,10 +1886,10 @@ file has been updated since you last read it.  To read the file called
 type news
 </verb></tscreen>
 
-To look what is in the bulletins directory you issue the command ....
+To look what is in the bulletin directory you issue the command ....
 
 <tscreen><verb>
-show/files bulletins
+show/files bulletin
 opdx390      21381 29-Nov-1999 1621Z opdx390.1     1670 29-Nov-1999 1621Z
 opdx390.2     2193 29-Nov-1999 1621Z opdx391      25045 29-Nov-1999 1621Z  
 opdx392      35969 29-Nov-1999 1621Z opdx393      15023 29-Nov-1999 1621Z  
@@ -1413,7 +1909,7 @@ Press Enter to continue, A to abort (16 lines) >
 You can now read any file in this directory using the type command, like this ....
 
 <tscreen><verb>
-type bulletins/opdx391
+type bulletin/opdx391
 Ohio/Penn DX Bulletin No. 391
 The Ohio/Penn Dx PacketCluster
 DX Bulletin No. 391
@@ -1577,102 +2073,60 @@ You can create aliases for commands at will.  Beware though, these may not
 always turn out as you think.  Care is needed and you need to test the 
 results once you have set an alias.
 
-<sect1>Forward.pl
+<sect1>Console.pl
 
 <P>
-DXSpider receives all and any mail sent to it without any alterations needed
-in files.  Because personal and bulletin mail are treated differently, there
-is no need for a list of accepted bulletin addresses.  It is necessary, however,
-to tell the program which links accept which bulletins.  For example, it is
-pointless sending bulletins addresses to "UK" to any links other than UK
-ones.  The file that does this is called forward.pl and lives in /spider/msg.
-At default, like other spider files it is named forward.pl.issue.  Rename it
-to forward.pl and edit the file to match your requirements.
-The format is below ...
+In later versions of Spider a simple console program is provided for the sysop.  
+This has a type ahead buffer with line editing facilities and colour for spots,
+announces etc.  To use this program, simply use console.pl instead of client.
 
-<tscreen><verb>
-#
-# this is an example message forwarding file for the system
-#
-# The format of each line is as follows
-#
-#     type    to/from/at pattern action  destinations
-#     P/B/F     T/F/A     regex   I/F    [ call [, call ...] ]
-#
-# type: P - private, B - bulletin (msg), F - file (ak1a bull)
-# to/from/at: T - to field, F - from field, A - home bbs, O - origin 
-# pattern: a perl regex on the field requested
-# action: I - ignore, F - forward
-# destinations: a reference to an array containing node callsigns
-#
-# if it is non-private and isn't in here then it won't get forwarded 
-#
-# Currently only type B msgs are affected by this code.
-# 
-# The list is read from the top down, the first pattern that matches
-# causes the action to be taken.
-#
-# The pattern can be undef or 0 in which case it will always be selected
-# for the action specified
-#
-# If the BBS list is undef or 0 and the action is 'F' (and it matches the
-# pattern) then it will always be forwarded to every node that doesn't have 
-# it (I strongly recommend you don't use this unless you REALLY mean it, if
-# you allow a new link with this on EVERY bull will be forwarded immediately
-# on first connection)
-#
+<P>
+To edit the colours, copy /spider/perl/Console.pl to /spider/local and edit the 
+file with your favourite editor.
 
-package DXMsg;
+<sect1>Updating kepler data
 
-@forward = (
-'B',    'T',    'LOCAL',        'F',    [ qw(GB7MBC) ],
-'B',    'T',    'ALL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'UK',           'F',    [ qw(GB7BAA GB7ADX) ],
-'B',    'T',    'QSL',          'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'QSLINF',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DX',           'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DXINFO',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DXNEWS',       'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'DXQSL',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-'B',    'T',    'SYSOP',        'F',    [ qw(GB7BAA GB7ADX) ],
-'B',    'T',    '50MHZ',        'F',    [ qw(GB7BAA GB7ADX PA4AB-14) ],
-);
+<P>
+Spider has a powerful and flexible show/satellite command.  In order for
+this to be accurate, the kepler data has to be updated regularly.  In
+general, this data is available as an email or via cluster mail.
+Updating it is simple.  First you need to export the mail message as a
+file.  You do this with the <em>export</em> command from the cluster prompt
+as the sysop.  For example ...
+
+<tscreen><verb>
+export 5467 /spider/perl/keps.in
 </verb></tscreen>
 
-Simply insert a bulletin address and state in the brackets where you wish
-that mail to go.  For example, you can see here that mail sent to "UK" will
-only be sent to the UK links and not to PA4AB-14.
+would export message number 5467 as a file called keps.in in the
+/spider/perl directory.
 
-<P>
-To force the cluster to reread the file use load/forward
+Now login to a VT as sysop and cd /spider/perl.  There is a command in
+the perl directory called <em>convkeps.pl</em>.  All we need to do now is
+convert the file like so ...
 
-<sect1>Distribution lists
+<tscreen><verb>
+./convkeps.pl keps.in
+</verb></tscreen>
 
-<P>
-Distribution lists are simply a list of users to send certain types of
-mail to.  An example of this is mail you only wish to send to other
-sysops.  In /spider/msg there is a directory called <em>distro</em>.  You
-put any distibution lists in here.  For example, here is a file called
-SYSOP.pl that caters for the UK sysops.
+Now go back to the cluster and issue the command ...
 
 <tscreen><verb>
-qw(GB7TLH GB7DJK GB7DXM GB7CDX GB7BPQ GB7DXN GB7MBC GB7MBC-6 GB7MDX
-   GB7NDX GB7SDX GB7TDX GB7UDX GB7YDX GB7ADX GB7BAA GB7DXA GB7DXH 
-   GB7DXK GB7DXI GB7DXS)
+load/keps
 </verb></tscreen>
 
-Any mail sent to "sysop" would only be sent to the callsigns in this list.
-<sect1>Console.pl
+That is it!  the kepler data has been updated.
 
-<P>
-In later versions of Spider a simple console program is provided for the sysop.  
-This has a type ahead buffer with line editing facilities and colour for spots,
-announces etc.  To use this program, simply use console.pl instead of client.pl.
+<sect1>The QRZ callbook
 
 <P>
-To edit the colours, copy /spider/perl/Console.pl to /spider/local and edit the 
-file with your favourite editor.
+The command <em>sh/qrz</em> will only work once you have followed a few
+simple steps.  First you need to get a user ID and password from qrz.com.
+Simply go to the site and create one.  Secondly you need to copy the file
+/spider/perl/Internet.pm to /spider/local and alter it to match your user
+ID and password.  You also at this point need to set $allow=1 to complete
+the setup.  Many thanks to Fred Lloyd, the proprieter of
+<htmlurl url="http://www.qrz.com" name="qrz.com"> for allowing this access.
 
 <sect>CVS
 
@@ -1720,9 +2174,10 @@ return to a normal linux prompt.
 What happens next depends on whether you have an existing installation that 
 you want to update with the latest and greatest or whether you just want
 to see what is there and/or run it on a new machine for testing.
-Either way you will want to change directory to a new place, if you want to
-update an existing installation then I suggest /tmp, otherwise choose a
-suitable place according to the normal installation instructions.
+
+If you are installing Spider from CVS then change directory to /home/sysop
+
+If you are wanting to update Spider then cd to /tmp
 
 <P>
 The next step will create a brand new 'spider' directory in your current
@@ -1763,7 +2218,7 @@ correct.  YOU WERE LOGGED IN AS THE USER SYSOP WEREN'T YOU?????
 Remember to recompile the C client (cd /spider/src; make)
 
 <P>
-At this point the files have been upgraded.  You can (usually) restrt the cluster
+At this point the files have been upgraded.  You can (usually) restart the cluster
 in your own time.  However, if you attempt to use any new commands or features
 expect it to be fatal!  At least your cluster will have been restarted then so it
 will be too late to worry about it!
@@ -2564,6 +3019,7 @@ As a sysop you can kill any message on the system.
 
 <sect1>kill full (5)
 
+<P>
 <tt>
 <bf>kill full &lt;msgno&gt; &lsqb;&lt;msgno&gt;&rsqb;</bf> Delete a message from the 
 whole cluster
@@ -2601,6 +3057,8 @@ changes to take effect.
 
 
 <sect1>load/baddx (9)
+
+<P>
 <tt>
 <bf>load/baddx</bf> Reload the bad DX table
 </tt>
@@ -3256,7 +3714,18 @@ Set the node_call as a CLX type node
 </tt>
 
 <P>
-You can remove this level with unset/debug &lt;name&gt;
+You can choose to log several different levels.  The levels are
+
+chan
+state
+msg
+cron
+connect
+
+You can show what levels you are logging with the <em>show/debug</em>
+command.
+
+You can remove a debug level with unset/debug &lt;name&gt;
 
 <sect1>set/dx (0)
 
@@ -3704,13 +4173,50 @@ for more information.
 
 <P>
 <tt>
-<bf>show/badspotter</bf>Show all the bad spotters in the system
+<bf>show/badspotter</bf> Show all the bad spotters in the system
 </tt>
 
 <P>
 Display all the bad spotter's callsigns in the system, see SET/BADSPOTTER
 for more information.
 
+<sect1>show/configuration (0)
+
+<P>
+<tt>
+<bf>show/configuration &lsqb;&lt;node&gt;&rsqb;</bf> Show all visible nodes and their users
+</tt>
+
+<P>
+This command allows you to see all the users that can be seen
+and the nodes to which they are connected.  With the optional <em>node</em>,
+you can specify a particular node to look at.
+
+This command is normally abbreviated to: sh/c
+
+BE WARNED: the list that is returned can be VERY long
+
+<sect1>show/configuration/node (0)
+
+<P>
+<tt>
+<bf>show/configuration/node</bf> Show all the nodes connected
+</tt>
+
+<P>
+Show all the nodes connected locally and the nodes they have connected.
+
+<sect1>show/connect (1)
+
+<P>
+<tt>
+<bf>show/connect</bf> Show all the active connections
+</tt>
+
+<P>
+This command shows information on all the active connections known to
+the node. This command gives slightly more information than WHO.
+
 <sect1>show/date (0)
 
 <P>
@@ -3728,6 +4234,16 @@ time and UTC as the computer has it right now. If you give some prefixes
 then it will show UTC and UTC + the local offset (not including DST) at
 the prefixes or callsigns that you specify.
 
+<sect1>show/debug (9)
+
+<P>
+<tt>
+<bf>show/debug</bf> Show what levels of debug you are logging
+</tt>
+
+<P>
+The levels can be set with <em>set/debug</em>
+
 <sect1>show/dx (0)
 
 <P>
@@ -3890,6 +4406,18 @@ Show which nodes are currently set to be isolated.
 Show a list of callsigns that have been excluded (locked out) of the
 cluster locally with the <em>set/lockout</em> command
 
+<sect1>show/log (8)
+
+<P>
+<tt>
+<bf>show/log &lsqb;&lt;callsign&gt;&rsqb;</bf> Show excerpts from the system log
+</tt>
+
+<P>
+This command outputs a short section of the system log.  On its own
+it will output a general logfile.  With the optional callsign it will
+show output from the log associated with that callsign.
+
 <sect1>show/moon (0)
 
 <P>