fix split on simple words so that it splits on word boundaries
[spider.git] / Changes
1 21Dec05=======================================================================
2 1. Add start of optional SQL working.
3 2. Fix BadWords so that the simple word check splits words on word boundaries.
4 13Dec05=======================================================================
5 1. upissue version no to 1.52
6 07Nov05=======================================================================
7 1. Fix warnings on filtering spots where the filter was looking at US states
8 and there is no US state in the spot. 
9 2. Fix the dupes caused by having a prefix in the last characters of the 
10 comment.
11 01Nov05=======================================================================
12 1. add log2csv.pl for printing out logfiles
13 25Oct05=======================================================================
14 1. Incorporated the cty.dat from Jim dated today (25Oct05).
15 08Oct05=======================================================================
16 1. Reject PC11s with blank spot callsigns
17 01Sep05=======================================================================
18 1. Change the logic of propagating WWV broadcasts. Now all non-input filtered
19 PC23s will be sent on. Previously only the first successful new WWV was 
20 rebroadcast.
21 2. fix the problem with by_dxcc and origin_dxcc not working on WWV.
22 29Aug05=======================================================================
23 1. try something else to resolve/prevent more of these spot dupes. It appears
24 that there is software out there chopping off variable amounts from the ends
25 of comment fields. This makes the task of detecting dupes that much harder.
26 10Aug05=======================================================================
27 1. trim dx spot duplicate length after normalisation
28 2. Do the same for announces
29 08Jul05=======================================================================
30 1. new CTY.DAT encorporated
31 27May05=======================================================================
32 1. change copyright in dbg message at startup.
33 25May05=======================================================================
34 1. Added a means to import a script of arbitrary commands to allow external
35 programs to do stuff.
36 23Mar05=======================================================================
37 1. fix (un)set/badspotter so that it only stores non-ssid calls.
38 2. mention action on talk and ann/full in help.
39 22Mar05=======================================================================
40 1. Fix ? so it works again.
41 2. Fix Aliases for sh/c so they are correct
42 3. Fix sh/connect for AGW ports and other niffnaffs.
43 22Mar05=======================================================================
44 1. fixed sh/c/node sh/c/a and sh/newc/n.
45 21Mar05=======================================================================
46 1. log AGW port on connection
47 2. merge in latest (2Mar2005) cty.dat 
48 3. fix command searching so it does not pick up false positives for commands
49 with / in them in directories that don't have that.
50 4. Important security change.
51 5. add missing input filter for WWV
52 16Mar05=======================================================================
53 1. make the correct correction to the DL entry in wpxloc.raw (left out the
54 'N' of 'North' in the latitude).
55 2. Severely reduce the dupes caused by some of the badly configured / written
56 spot suckers out there. 
57 13Mar05=======================================================================
58 1. There has been a mix up in the Aranea1 branch. I have managed to merge a
59 change that I have been meaning to do for ages. I have now made that change
60 here.
61 27Feb05=======================================================================
62 1. fix duping on bad spot suckers that copy the prefix that is put at the end
63 of the comment section by AR-C nodes becoming the whole comment. 
64 26Feb05=======================================================================
65 1. Added show/grayline command from Steve K9AN. This is also aliased to
66 show/greyline :-)
67 2. fix spot dupe ambiguity on spotter having an SSID (remove it).
68 25Feb05=======================================================================
69 1. Changed the way spot deduping is done. This is likely to make deduping much
70 stricter. In essence a person cannot spot the same call on the same frequency
71 more than once an hour (configurable) unless he makes a (non-duped) comment
72 as well. 
73 2. Added Swains Island
74 3. Added TO4G for Glorioso 
75 19Feb05=======================================================================
76 1. changed ssb allocation on 40m to add missing 5Khz.
77 2. Change sh/425 to Leo, IZ5FSA's requirements.
78 08Feb05=======================================================================
79 1. possibly fixed the multiple condition problems on sh/dx
80 2. added some FAQs.
81 05Feb05=======================================================================
82 1. Fix a long standing (ie since the first bulletin was sent) bug with old
83 mail not being deleted until a restart was done.
84 2. As well as a duplicate check on existing bulletins, I have added a check 
85 the message is not (already) too old. 
86 3. fix problem for perl < 5.6 in Thingy.pm 
87 03Feb05=======================================================================
88 1. Added latest Spanish translations courtesy of Angel EA7WA.
89 2. Force all languages to use pr in en in Messages, as the prompt is
90 the same for all.
91 19Jan05=======================================================================
92 1. More Spanish changes by Angel, EA7WA.
93 2. add language dependant motd files. You can now have motd_{lang} and 
94 motd_nor_{lang} (eg for Spanish: motd_es and motd_nor_es) for normal and
95 non-registered (if you use registration) users respectively. Based on an idea
96 from Angel, EA7WA.
97 18Jan05=======================================================================
98 1. Added missing Spanish translation courtesy of Angel EA7WA.
99 2. Really incorporate latest cty.dat (11Dec04) as opposed to merely thinking 
100 I had (and still add 3X0Y as well).
101 3. fix ? all in non english language
102 4. Alias sh/st and sh/sta back to show/station from show/startup.
103 17Jan05=======================================================================
104 1. Added 3Y0X to Peter Island 3Y in cty.dat.
105 16Jan05=======================================================================
106 1. Added the changes to Canadian Prefixes so that usdbraw.gz from Charlie
107 K1XX's website (http://dxc.k1xx.com/download) dated after 1Jan05 will include
108 Canadian city and province data as well the existing US data.
109 2. Improve the apropos command to take better account of language and do
110 a better job of only showing english stuff for commands where there really is
111 no local language version.
112 15Jan05=======================================================================
113 1. knocked over a few possible ways of people annoying other people thru
114 the use of scripts
115 2. Fixed problem in DXCommandmode with an indirect call that did not work
116 in perl < 5.8.0.
117 3. Add Spanish translations of new scripting commands in help, from Angel 
118 EA7WA. 
119 13Jan05=======================================================================
120 1. Fixed prompting in languages other than English.
121 2. Fixed language problem with spoof, but that simply hides a whole can of
122 worms that I shall have to address later.
123 3. Added make clean to src Makefile (!!!)
124 12Jan05=======================================================================
125 1. Add $main::bumpexisting variable which allows a new connection for a user
126 call to disconnect an existing connection with the same call. The default for
127 this variable is 'true' (1). This means that existing behaviour has changed.
128 set/var $main::bumpexisting = 0 to return to original behaviour.
129 2. Remind a user every hour (as default) that they have new messages.
130 set/var $DXCommandmode::msgpolltime = 3*3600 to set it to 3 hours.
131 3. Allow some substitutions in set/prompt (call, date, time and
132 cluster call) and add dxspider just before the > as standard. 
133 4. Add $main::allowdxby variable so that sysops can switch off the 
134 'DX BY <othercall' command. It is set to 0 (ie disabled) by default. This
135 is for sysops who don't want to bump privilege to allow it. That still works
136 as before.
137 5. Fix the bug in 'dx by <call>' that causes only the first word of the 
138 comment to be recorded.
139 6. Fix bug counting backwards over a leap year in Julian.pm which meant that
140 sh/dxstats doesn't start at 'yesterday' anymore.
141 7. Added set/startup and show/startup commands to allow users and sysops
142 to create and display startup scripts. There is also an unset/startup to
143 remove a script.
144 27Dec04=======================================================================
145 1. add improved VE data from Charlie K1XX. You should update usdb as well.
146 22Dec04=======================================================================
147 1. Changed all the names of US prefixes to be prepended with their State code.
148 thus "Alaska-KL7" becomes "AK-Alaska-KL7". 
149 21Dec04=======================================================================
150 1. added AGW port no after an example by IW5DEZ.
151 2. modified links command to suggestions by Charlie K1XX.
152 3. added show/groups command to show recently used chat groups by Tommy 
153 SM3OSM.
154 4. fixed T8 / V6 ambiguity (at least basically).
155 20Dec04=======================================================================
156 1. updated create_prefix.pl to only use (supplied) wpxloc.raw and cty.dat
157 2. Added IG9, GM/S, 4U1V and some other detail changes to make it compatible
158 with cty.dat.
159 3. regenerated prefix_data.pl with updated wpxloc.raw and cty.dat 11Dec04.
160 17Dec04=======================================================================
161 1. add undocumented special command for VE7CC.
162 10Dec04=======================================================================
163 1. Included fixes sent in by David, N9KT for the new DB0SDX site.
164 2. removed redundant "rm *bys" and "rm *cys" from Spot::init().
165 09Dec04=======================================================================
166 1. fix show/mydx properly this time (and test the fix!)
167 2. fix the default in show/qrz
168 06Dec04=======================================================================
169 1. fix show/mydx if there is no defined spotfilter
170 07Oct04=======================================================================
171 1. added the ability for people to import chat from external programs.
172 create a directory called /spider/chat_import, make sure it is writable
173 by any applications that might dump stuff in there (chmod 1777 
174 /spider/chat_import on *nux). Put a file with a sensible name in there;
175 the first part of the name will be the chat group to whom the message will
176 be sent. So solar.txt.12325 = SOLAR. Announces can also be sent to local, all
177 and sysop (ie files whose name begins with those names). Each line in the
178 file becomes a chat line or an announce. See importwwv.pl for an example.
179 DO NOT USE importwwv.pl, I am already using it and if you do as well, people
180 will get duplicates which will ANNOY THEM!!! It is just an example.
181 23Aug04=======================================================================
182 1. add the start of an alternative routing engine (RouteDB)
183 20Aug04=======================================================================
184 1. Added new protocol specification to techdoc
185 17Aug04=======================================================================
186 1. change 'fo' alias in Aliases 
187 31Jul04=======================================================================
188 1. add a load of .cvsignore lines to reduce the updating noise
189 30Jul04=======================================================================
190 1. make sure that // is not converted to / in command lines.
191 28Jul04=======================================================================
192 1. backported 'Investigate' from NP branch so that only pingable nodes
193 are 'believed'.
194 2. added missing entries in Internet.pm for sh/contest
195 26Jul04=======================================================================
196 1. added extra variables to Internet.pm to allow the various internet query
197 commands to alter the url that they use. 
198 2. Added show/425 command from Leo, IZ5FSA.
199 05Jul04=======================================================================
200 1. fix rspfcheck on pc27
201 23Jun04=======================================================================
202 1. Add zone, by_zone, itu, by_itu, state and by_state searches to sh/dx
203 2. Update manuals for CVS and new commands
204 22Jun04=======================================================================
205 1. Add the show/mydx command which *may* filter your spots using your
206 spot filter.
207 17Jun04=======================================================================
208 1. alter processing of PC17 to see if they get distributed more than now.
209 14Jun04=======================================================================
210 1. fix previous fix of sh/dx
211 09Jan04=======================================================================
212 1. removed PC90 which was breaking various filtering things.
213 2. added realtime spot formats to sh/dx (at least in basic form), this is
214 activated by using either of the keywords 'real' of 'rt' on the command
215 line. Also added sh/fdx as an alias.
216 01Jan04=======================================================================
217 1. move position of USDB init to get rid of an obscure bug pointed out by
218 Charlie K1XX.
219 2. Remove redundant documentation
220 31Dec03=======================================================================
221 1. alter remote database handling to 'new standard'.
222 30Dec03=======================================================================
223 1. updated website to make it clear(er) that it all works under Windows (like
224 wot Charlie said...).
225 2. made the changes to the German Messages that Thomas DL3SBB sent me a 
226 loooong time ago.
227 3. made 'dx by' require at least privilege 1.
228 29Dec03=======================================================================
229 1. updated dxoldtonew.pl so that it takes an AK1A DX.DAT file (argument on
230 command line or a default of /spider/data/DX.DAT and outputs the standard
231 DXSpider format spot files. Please be warned that if any of these files 
232 already exist, the data will be appended onto the end of the file. Please
233 make sure you have backups or at least be aware that this may give strange
234 results which may be 'out of order'.
235 24May03=======================================================================
236 1. Added more french translations from Robert (HB9BZA) and we now have some
237 french help as well (also from Robert). A splendid effort. Thank you.
238 16May03=======================================================================
239 1. Correct Windows section of the Addendum file! (g0vgs)
240 06May03=======================================================================
241 1. Add Portuguese language courtesy of David CT1DRB (set/lang pt)
242 2. Add French language courtesy of Robert HB9BZA (set/lang fr)
243 02Apr03=======================================================================
244 1. Fix some minor problems with the manuals (g0vgs)
245 01Apr03=======================================================================
246 1. Update filtering primer, changes by N3RD (g0vgs)
247 28Mar03=======================================================================
248 1. Added an excellent document on filtering to the manuals from Jim, W3BG
249 2. started to remove old documents (g0vgs)
250 27Mar03=======================================================================
251 1. play around with sh/reg, sh/iso, sh/node and sh/lock to make them work
252 slightly better with the new user format.
253 2. update manuals (g0vgs)
254 26Mar03=======================================================================
255 1. add some ak1a compatibility changes to chat
256 2. added help text for chat, join, leave and sh/chat.
257 18Mar03=======================================================================
258 1. minor corrections to manuals (g0vgs)
259 17Mar03=======================================================================
260 1. changed the regex determining what is a callsign to be more comprehensive.
261 I would suggest re-running create_qsl.pl and then restarting.
262 2. Fix chat so that output appears to users again and PC sentence conforms
263 to standard. Add kludge to remove rewritten chats if I see them.
264 3. Only send chat PCs to spider or AK1A boxes
265 12Mar03=======================================================================
266 1. added HC and QRZ.com to possible QSL locations, if you want to pick up
267 historical info (ie start again), run create_qsl.pl after update and restart
268 the node (which you will need to do anyway).
269 2. changed the dbcreate command so that you can say: 
270    dbcreate dxqsl cmd show/dxqsl
271 which will allow local and remote users to execute commands as though they
272 are Databases. You can also include these databases in chains. What you do
273 with this, is ofcourse a moot question.   
274 3. Update manuals (g0vgs)
275 11Mar03=======================================================================
276 1. Changed the name of show/qsl to show/dxqsl.
277 2. Alter Commands_en.hlp to match new name and issue manual updates (g0vgs)
278 10Mar03=======================================================================
279 1. added show/qsl command. This command basically takes the normal output of
280 sh/dx qsl and stores it in a database. In order to enable this command you 
281 will require the Storable module to be loaded (you will already have done
282 this with a bit of luck for the new DXUser interface). The suggested 
283 procedure is (after the update) to run /spider/perl/create_qsl.pl (this may
284 take a long time), then immediately it finishes, restart the node. The node 
285 will then keep the database up to date automatically. If you are not 
286 interested in historical data then you can leave this step out.
287 2. added show/contest command from Tommy SM3OSM via Rene OZ1LQH.
288 08Mar03=======================================================================
289 1. Added chat, join, leave commands to allow general purpose conferencing
290 on arbitrary subjects. [Translators: added e34,e35,join,leave]. There is
291 currently no help. There is also sh/chat.
292 28Feb03=======================================================================
293 1. Charlie K1XX fixed the sh/iso, sh/reg and sh/node commands
294 25Feb03=======================================================================
295 1. backported switch processing for PC sentences
296 24Feb03=======================================================================
297 1. add the 'run' command and the 'privilege' command to allow sysops to 
298 create scripts for people.
299 2. fix show/user so that it doesn't moan about uninitialised variables
300 23Feb03=======================================================================
301 1. Added show/wm7d command (a US only callbook server) [by K1XX].
302 2. Added a prototype show/db0sdx command (w.i.p).
303 3. Added set/dxcq and set/dxitu zone commands [Translators: I have added
304 dxcqu, dxcqs, dxitus and dxituu to Messages].
305 4. Add new Commands to manuals (g0vgs)
306 5. make sure that none of the above set/dx... commands are defaulted on
307 22Feb03=======================================================================
308 1. changed qrz.com address 
309 2. added Charlie's [K1XX] new wpxloc.raw data stuff to get WA1, KC3 type 
310 callsigns to work better.
311 3. added in set/usstate command which prints any US state information 
312 available on both the spotted (LHS of time) and spotter (RHS of time).
313 [Translators: I have added usstates and usstateu to Messages].
314 4. Merged in the new (faster) DXUser.pm.
315
316 [NOTE] this version will require Storable to be installed. On the
317 other hand the code may work without, in a compatible way. This bit hasn't 
318 been very well tested (the 'no Storable' condition that is). 
319
320 [*** NOTE ***] make sure that you do an 'export_user' BEFORE restarting
321 you node. (Yes I know this is like a shrinkwrap licence, but I can't
322 help it).
323
324 It will take several minutes for the node to restart when it does the 
325 conversion from .v2 to .v3 user file. Please go and have a good strong cup
326 of tea whilst this is happening.
327
328 If it fails then you will need to edit your latest user_asc file on (or about)
329 line 25 it says: $ref = decode($f[1]); you will need to change that to 
330 $ref = asc_decode($f[1]); and then do: perl user_asc
331  
332 DO MAKE SURE THAT you include subdirectories in your CVS update 
333
334 21Feb03=======================================================================
335 1. moved the export of the users file to Wednesday night (GMT) to avoid 
336 possible crashes and/or delays during a contest weekend.
337 14Feb03=======================================================================
338 1. some major changes to the structure of the manual documentation.  To bring
339 the manuals into line, they now have the language tag (like 
340 installation_en.html).  Hopefully someone will translate the manuals 
341 eventually :-) I have left the old files in CVS for now to allow
342 everyone to change any symlinks etc to the new filenames.  I will remove the
343 old files shortly, please update your links! (g0vgs)
344 2. docs makefile updated and commands2sgml.pl added from M0AZM.  This script
345 inserts the helpfiles automagically from Commands_en.hlp into the relevant
346 manuals. (g0vgs)
347 3. Commands_en.hlp adjusted slightly to ensure at least one space before
348 examples for the purposes of the above script. (g0vgs)
349 4. Amend index.html to the right document names. (g0vgs)
350 09Feb03=======================================================================
351 1. Correct some typos in the manuals and update perl modules etc.  Also
352 amend some help files to show correct syntax, around the 'clear' commands
353 swapping [input] and <callsign> in each case, translators please take note.
354 Thanks to Dave N3RD for info. (g0vgs)
355 2. update the addendum for latest build and include information on additional
356 modules required. (g0vgs)
357 20Jan03=======================================================================
358 1. changed sh/c so that, by default, it only shows the caller's country nodes
359 sh/c all will show the old style full list. "sh/c sk gb" will show the config
360 of all the GB and SK nodes.
361 2. changed sh/stat and sh/route for nodes
362 19Jan03=======================================================================
363 1. I have made a fundemental change to the way PC19s are dealt with as a 
364 result of the discussions on the mailing list. From now on, only nodes that
365 issue PC16s will have PC19s propagated. If they *ever* issue a PC16 then from
366 then on they are considered as being 'connected' and thus routable. No PC16
367 and you have no route. This should stop all passive links being routed. For
368 the few cases where you know that that is a very small node and it rarely has
369 users, then you can do a set/routepc19 <node> to enable PC19 propagation. In
370 the even more rare case of you wanting to prevent PC19s being routed thru 
371 your node, you can use unset/routepc19. THIS IS NOT A SUBSTITUTE FOR ROUTE
372 FILTERING!!!!! [translators: I have added wpc16s, wpc16u, wpc19s, wpc19u]
373
374 BTW the first time you connect again you will notice a separate PC19 go out
375 for each 'new' PC16 that the node sees. This is normal and will go away the
376 second time the system needs to issue a PC19.
377 2. Alter the export_user command to remove users that have no useful info
378 and have not been seen for more than (default) 1 year.
379 3. fix the problem of users on more than one node not being propagated
380 4. remove spaces and all non-US ascii characters from PC41 for the dup check.
381 5. put in check to see if the parent of a newly allowed PC19 is still there
382 (this needs further investigation).
383 17Jan03=======================================================================
384 1. Fix problem with lines being left in the main input queue for a 
385 disconnected/ing node.
386 14Jan03=======================================================================
387 1. Tidy up AUTOLOAD functions
388 2. Make sure that empty PC16s are not sent on startup to a node.
389 12Jan03=======================================================================
390 1. add Czech language courtesy of Milan OK1XH
391 06Jan03=======================================================================
392 1. add the latest changes to the spider-web java interface from Rene, OZ1LQH.
393 Please note that there is a change to the spider.cgi file this time so that
394 the client show 'Connected to Node_Call' instead of the hostname.  You will
395 need to update your cgi file when you update the changes.  Please make sure
396 that you back up your old files first! (g0vgs)
397 2. yet more changes to the java client from Rene :-)  Also added a makefile
398 and a Changes file for the client in the spider-web directory.
399 05Jan03=======================================================================
400 1. fix some irritating messages caused by protocol loops in sh/c
401 2. update copyright
402 3. move GN from GJ to GI
403 31Dec02=======================================================================
404 1. Update files in the java client with fixes and additions from Rene, OZ1LQH
405 05Dec02=======================================================================
406 1. Fix SSID issues with AGWMsg.
407 2. updated show/hftable, vhftable, hfstats, vhfstats and dxstats after K1XX
408 sent in some sample code indicated new functionality he requires. Translators
409 please note that the stat* messages have been changed and e33 added. I have 
410 also added quite a bit of extra examples and things to the relevant HELP
411 texts. It is now possible to search from any date for up to 365 days of data.
412 You can get the information by prefix or by callsign or for ALL spots. 
413 04Dec02=======================================================================
414 1. updated sh/log to allow searching for more arbitrary strings such as IP
415 addresses
416 08Nov02=======================================================================
417 1. update Keps.pm to reflect which satellites now come round in the weekly
418 updates. I suggest that you copy this file to /spider/local and do a load/kep
419 and you should lose all the 'old' satellites (eg MIR).
420 08Nov02=======================================================================
421 1. made some small mods to grepdbg and spot2csv.pl
422 2. fix a possible DOS in dx command
423 07Nov02=======================================================================
424 1. allow three digit longitudes
425 2. make a small change to see if messages now stay in place.
426 3. make keep actually stick over a reboot and take it fully into account for
427 deletions (translators: I added m18).
428 4. try not to delete new messages (even if this is an update that reads 'old'
429 messages with missing fields).
430 29Oct02=======================================================================
431 1. make sh/log et al a bit more efficient.
432 2. fix dupe message in dx.
433 3. update cty.dat to the latest, add k8T, K8O to KH8 and TX5BTY to FO/A
434 4. clear cache on reload of prefixes
435 25Oct02=======================================================================
436 1. remove the dupefile automatically if it becomes corrupted
437 2. instrument the startup slightly more
438 21Oct02=======================================================================
439 1. Fix msg aging.
440 2. make the default pinginterval and obscount variable (set/var 
441 $DXProt::pingint and $DXProt::obscount) 
442 20Oct02=======================================================================
443 1. remove dupe check on local sysop announces
444 2. fix format errors on sh/muf for 5.8.0
445 3. add new version of the administration manual that includes WinCVS with
446 thanks to K1XX (g0vgs).
447 17Oct02=======================================================================
448 1. added new Spanish files for help and Messages from Angel, EA7WA.
449 16Oct02=======================================================================
450 1. decrease the default max length of PC16/19 to around 180 characters to be
451 slightly friendlier to ARC, which seems to have a difficulty reconstructing
452 lines from multiple packets. Also make the value settable via set/var.
453 2. strip off blank spaces from the ends of lines of  command output.
454 15Oct02=======================================================================
455 1. made some detail changes to the raw USDB data and the routines that 
456 generate and operate on them. There were some bugs involving a few 'missing'
457 callsigns which been fixed. Also there were some, for our purposes, invalid
458 callsigns in the database which have been removed (down to about 820,000 
459 entries now). You should really update your database. 
460
461 The latest code now (conditionally; ie if you have it loaded it will use it)
462 support Compress::Zlib on both *nux and Windows. The suggested procedure 
463 is this:-
464
465 1. Download the corrected database from
466    http://www.dxcluster.org/download/usdbraw.gz to somewhere like /tmp.
467 2. update from CVS.
468 3. Restart (on linux, just stop the node and *don't* restart on Windows).
469 4. remove /spider/data/usdb.v1
470 5. cd /spider/perl
471 6. (perl) create_usdb.pl /tmp/usdbraw.gz (or wherever you put it)
472 6a. If you don't have Compress::Zlib loaded then you will need to gunzip
473     it manually and do: create_usdb.pl /tmp/usdbraw (not Windows :-)
474 7. on linux, in a console window do: load/usdb, on windows: restart the node. 
475 --
476 2. Added set/usdb command to add adding or changing of a callsign in the USDB
477 3. Stop dupe spots from the same spotter (with or without comment corruption)
478 14Oct02=======================================================================
479 1. added show/usdb command as a simple, direct interface to the information
480 available in the USDB stuff.
481 13Oct02=======================================================================
482 1. A large change has occurred. There is now some (optional) US state recog-
483 nition. This is in its early stages but appears to work for me. You will need
484 to :-
485
486 1. download the database at http://www.dxcluster.org/download/usdbraw.gz 
487 2. save it somewhere (/tmp, anywhere).
488 3. Decompress it using your favorite program (gunzip / winzip) [call it
489    usdbraw if winzip]{BE WARNED, some browsers may decompress it on the
490    fly for you, you can tell; if it is 5Mb it is compressed - 16Mb not}.
491 4. remove any /spider/data/user.v1 files lying around (at least for this
492    first time.
493 5. cd /spider/perl
494 6. perl create_usdb.pl /tmp/usdbraw  (ie the UNCOMPRESSED file)
495 7. Wait, I suggest some cups of tea are in order.
496 8. Wait a bit more.
497
498 You don't need Compress::Zlib anymore, I assumed it was universal.
499
500 You will be able do this while the node is running somewhen. There is a 
501 planned method of keeping the US DB up to date with smaller (ie < 15Mb) patch
502 files once a week but you will have to wait a bit for the code to bed down 
503 first. You can filter on routes, spots and announces using 'call_state' or
504 'by_state' and a comma separated list of state codes. The HELP has been 
505 updated (which may help...). 
506
507 Once you have run the create_usdb.pl you will need to restart.
508
509 If you don't need this, then don't run create_usdb.pl it will simply be
510 a waste of time. The run-time version is 30Mb and has 840,000 odd entries
511 in it. This does not replace or supplant sh/qrz (sorry Charlie [who put me
512 up to this]). 
513
514 2. There are a number of other niff-naff changes which I hope will improve
515 rather than hinder your user experience (including check forward as well as
516 back for those speedy clocked dupes mentioned below).  
517 12Oct02=======================================================================
518 1. attempt to improve the "check back for 5 minutes to see if this spot is 
519 the same as a previous one but for the time spotted" dupe check.
520 2. improve the sh/vhftable and sh/hftable commands to allow you to enquire
521 by dxcc country (using the relevant prefixes or dxcc country numbers).
522 [note to translators, I have changed the help text and Messages tags for
523 stat*].
524 07Oct02=======================================================================
525 1. fix problem with (invalid) callsigns starting with '0' (zero) eg 0f6ira.
526 03Oct02=======================================================================
527 1. only sysop (priv=5+) can now send to distro SYSOP, ordinary users will have 
528 their message routed to the $main::myalias callsign as a private message. 
529 29Sep02=======================================================================
530 1. Added LRU caching to DXUsers and Prefix.
531 2. make Timer::handler only search its chain once a second seeing as that
532 is the minimum granularity available.
533 3. add some separation between cfg file making, data generation and mrtg 
534 running. See /spider/cmd/mrtg.pl for some instructions...
535 4. Added data in and out to the MRTG stats, you need to do an indexmaker
536 to get them onto the index page, I have also added some colour to the
537 legend to make what is being displayed a bit more obvious.
538
539 See http://gb7djk.dxcluster.org/mrtg/stats.html for an example of the
540 default screen.
541
542 28Sep02=======================================================================
543 1. Put some transparent caching into Prefix.pm to see if this has a 
544 performance impact.
545 2. Fix doing a new log open for every log file write.
546 26Sep02=======================================================================
547 1. added WWV and WCY to the Mrtg stats. Don't forget to do an indexmaker!
548 25Sep02=======================================================================
549 1. added mrtg stuff to the system as a template. In order to use this you
550 must install mrtg onto your system and copy all the mrtg files (or at least
551 all the images) to new directory /spider/html/mrtg. The system generates the
552 config file for you as part of its workings. To get it to update add a line
553 to your spider crontab like: 
554
555 00,05,10,15,20,25,30,35,40,45,50,55 * * * * run_cmd('mrtg all')
556
557 You will also need to do an indexmaker once in the html directory. I put the 
558 index page into /spider/html/mrtg/stats.html YMMV. I do:
559
560 indexmaker --output stats.html --columns=1 --title "MRTG statistics for 
561 GB7DJK" ../../mrtg/mrtg.cfg
562
563 But all on one line.
564 2. I have made a technical change to the way ax25 connects outward on unix 
565 boxes are done. I currently have no way of testing this. I think it still 
566 works.
567 22Sep02=======================================================================
568 1. Add changes to the installation manual for Windows users from K1XX
569 21Sep02=======================================================================
570 1. make some detail changes for connects out in Msg.pm
571 17Sep02=======================================================================
572 1. Added shu command for Charlie's (K1XX) benefit (together with the rest of
573 our butterfingered sysops) who miss the '/' out of sh/u frequently enough 
574 to curse. 'shu' simply types out a message saying 'type SHUT' to shutdown the
575 node. Added 'shu' to /spider/perl/Messages. No need to restart, just 
576 load/mess and load/alias after doing a CVS.
577 21Aug02=======================================================================
578 1. added 'warc' and 'contesthf' to the regions in bands.pl (K1XX).
579 20Aug02=======================================================================
580 1. fix lines containing just the character '0' in messages (and console.pl)
581 (K1XX).
582 2. remove all newline characters from AGW data, thus treating it like a 
583 'normal' ax25 connection where the 'newline' convention is just carriage
584 return (K1XX)
585 06Aug02=======================================================================
586 1. added 5.5Mhz band as '60m'.
587 29Jul02=======================================================================
588 1. Changed max R value in wcy to 500 from 300.
589 2. Got rid of warnings on startup using 5.8.0 
590 28Jul02=======================================================================
591 1. stick the invalid key deletes in an eval loop in export_user
592 18Jul02=======================================================================
593 1. Make additions and changes to manuals. (g0vgs)
594 16Jul02=======================================================================
595 1. Add changes to the spider-web java web client.  Thanks to Rene, OZ1LQH.  It
596 should now be easier to install and run for all systems. (g0vgs)
597 11Jul02=======================================================================
598 1. NP work has now started in ernest ([ed]who he?). You will need to download
599 Digest::SHA1 and any dependant packages to run this release. HOWEVER tempted
600 you are, please don't set/newprotocol on any nodes. It won't work.
601 http://www.cpan.org/modules/by-module/Digest/Digest-SHA1-2.01.tar.gz
602 2. Make the cluster node registered on from startup (from Mark HB9DBM).
603 3. Make the 'export_users' process *MUCH* more robust. It should now accept
604 funny characters and not rely on an absolutely 'perfect' user file to work.
605 Errors are displayed (and logged if done from the cluster) and then ignored.
606 Invalid callsigns are removed. 
607 09Jul02=======================================================================
608 1. make the is_qra more accurate (from Mark HB9DBM).
609 04Jul02=======================================================================
610 1. added another fix to Prefix.pm so that it resolves Japan callsigns again
611 also you can 'set/debug prefix' to see what it is trying to do.
612 03Jul02=======================================================================
613 1. Added the DEMONSTRATE command which allows a sysop to demonstrate a 
614 command to a user (from a request by Charlie K1XX). 
615 2. added message e31 (xxxx is not a user)
616 02Jul02=======================================================================
617 1. Fixed the problem with badspotter or badnode being set to baddx if either
618 of the data files are missing. 
619 25Jun02=======================================================================
620 1. as predicted there was an error in the Prefix routine, I have improved it.
621 24Jun02=======================================================================
622 1. make set/badspotter non SSID sensitive. Set/badnode is left to be SSID
623 sensitive. 
624 2. added 3XA(=3X) and K1B(=KH1) also changed the logic of sh/prefix. This
625 may break things, please test it. 
626 19Jun02=======================================================================
627 1. make set/badspotter and set/badnode apply to announces and talks as well
628 as spots. 
629 12Jun02=======================================================================
630 1. fixed (un)set/wwv and (un)set/wcy so they don't issue spurious messages.
631 Thanks Rene (oz1lqh)
632 07Jun02=======================================================================
633 1. fix messages in DXDb.pm to point to the correct ones. Thanks Rene (oz1lqh)
634 2. add missing wcys and wcyu messages to Messages. Thanks Rene (again)
635 3. upissue version number to 1.50 (finally)
636 16Apr02=======================================================================
637 1. allow the rest of PC19 to continue if it contains a reference to a locally
638 connected node. Thank you Tommy SM3OSM.
639 19Mar02=======================================================================
640 1. fix problems with ephemeral dup checking on PC16,17,19,21
641 2. perturb the problem with national character sets.
642 15Mar02=======================================================================
643 1. add help for 'accept' and 'reject'. (g0vgs)
644 2. adjustments to the manuals (g0vgs)
645 3. make changes to reflect the correct output of sh/sun and sh/moon based
646 on information from Steve, K9AN. (g0vgs)
647 23Feb02=======================================================================
648 1. remove old satellites from keps.
649 2. Add information on setting up the ax25 utils to the installation manual
650 (g0vgs)
651 19Feb02=======================================================================
652 1. move the PC11 dup check after the input filter
653 06Feb02=======================================================================
654 1. changes to manuals to (hopefully) improve documentation and alter my email
655 address (g0vgs)
656 02Feb02=======================================================================
657 1. changed sh/qrz to the latest incarnation of the command at qrz.com.
658 29Jan02=======================================================================
659 1. add VP8GEO to South Georgia
660 27Jan02=======================================================================
661 1. make save work in cron context
662 2. try to get the C client to handle closes on its standard input better
663 3. put some validation in cluster.pl to check that people have set it up 
664 handled.
665 4. fix the long callsign checking
666 22Jan02=======================================================================
667 1. limit spot dupe checking to first 12 characters
668 13Jan02=======================================================================
669 1. changed the backstop termination alarm routing in the C client so that
670 it flushes the input and output buffer and then commits suicide.
671 12Jan02=======================================================================
672 1. put setsockopts into eval block to allow some of them to fail
673 11Jan02=======================================================================
674 1. Make M$ TCP connx blocking again, sigh...
675 2. backed out ALL the M$ speedup and make nicer changes :-(
676 3. cope with data coming in during the disconnection process. Don't worry
677 Earth people, this will take no longer than 15 of your Earth seconds...
678 10Jan02=======================================================================
679 1. set SO_LINGER = 0 to try to prevent the system sending data on a closing
680 socket. This MAY help some of the hanging problems (but I am now beginning
681 to doubt this).
682 2. do the same on the C client (which means DON'T FORGET to make it).
683 3. set no nagling on the output from the node.
684 4. set KEEPALIVE on TCP connections for both the node and C Client (you will
685 have to make the C client again) and you will need to restart.
686 5. It appears that it IS possible to set non blocking on M$ you just need to
687 know how.
688 6. Fix problem with load/cmd_cache core dumping the system
689 08Jan02=======================================================================
690 1. altered sh/qrz to point to the new server
691 2. alter the character set handling a bit to make it better for spanish
692 06Jan02=======================================================================
693 1. fix leading space removal from messages input from the keyboard
694 2. make some mods to allow perl 5.7.2 to run
695 3. create $DXProt::eph_restime to allow variable slugging of ephemeral dups
696 4. create $DXProt::eph_info_restime to allow a long dupe time for these
697 5. create $DXProt::eph_pc34 to allow a short anti dupe slug for rcmd loops
698 6. Add a new sysop cmd 'save' which will save the output of any command (or
699 list of commands in "<cmd>") to a file.
700 7. Add a new command "echo" which echos its argument to the screen (useful
701 for titling in the save command above.
702 8. Increase interval between logins causing for/opernam to 60 days (from 30)
703 + a random factor between 0 and 9.
704 9. Added Italian translation of Messages from Luca IT9ROT (thank you 
705 very much).
706 10. Added the /<cmd> feature (as in talk) to execute a cmd whilst typing a 
707 message, then enhanced it so that if you do //sh/dx (for instance) it will
708 put the result into the message (as well as show it to you).
709 11. Added the // feature to talk as well. 
710 02Jan02=======================================================================
711 1. updated the copyright dates
712 2. modernised and extended the Windows instructions a bit.
713 3. added a TODO file which is the list of things that I need to do. Please
714 badger me to put YOUR enhancement on this list. It will then get done.
715 31Dec01=======================================================================
716 1. Make a couple of changes to the Installation Manual and add a FAQ on msg
717 deletion. (g0vgs)
718 2. Fix unset/register so it works (g0vgs)
719 30Dec01=======================================================================
720 1. make PC21 coming from the channel's node call then treat it as a PC39 and
721 disconnect it.
722 2. Send the client a 'Z' command (shutdown) to see if this has any effect on
723 the hangs.
724 26Dec01=======================================================================
725 1. make some detail changes to help texts
726 2. Added 'all' to the Band's region table to allow 'acc/spot on all/cw'
727 23Dec01=======================================================================
728 1. allow sh/dx on 1000/4000 (or 1000-4000).
729 2. merge sh/dx and sh/dxcc commands (Alias sh/dxcc to sh/dx dxcc). You can
730 now do things like 'sh/dxcc oq2 by w dxcc'. 
731 20Dec01=======================================================================
732 1. Fix 'not' in filtering
733 2. alter default max spots to 100 and the no of WWV to 5
734 17Dec01=======================================================================
735 1. added new satellite stuff from Steve K9AN. Fixed upper/lower problem
736 in convkeps.pl.
737 2. enhanced load/keps to accept a message no. This will create a new keps
738 file from a msg (hopefully containing 2 Line Nasa keps) and then load - all
739 in one step. Added load/keps to the help files
740 3. Updated spanish Messages
741 4. Improve wcy command from Stephan DK8LV's input
742 5. Added set/prompt (and unset/prompt) command so that Stephan can fool some
743 external programs into thinking it is talking to clx.
744 15Dec01=======================================================================
745 1. added superfluous spaces back into PC73 for the benefit of clx
746 14Dec01=======================================================================
747 1. make Spanish in set/lang & Messages 'es' instead of 'sp'
748 2. added prototype WCY and WWV commands (for qualified users only)
749 3. Added Commands_es.hlp contributed by Angel EA7WA
750 12Dec01=======================================================================
751 1. added Commands_de.hlp contributed (in record time) by Stephan DK8LV.
752 2. fixed help command so it uses it!
753 11Dec01=======================================================================
754 1. make PC17 generation more unconditional
755 08Dec01=======================================================================
756 1. added unset/hops command
757 02Dec01=======================================================================
758 1. Fix spurious 'new message for you' messages if things are deleted but 
759 unread.
760 2. stop remote passive nodes (those with version numbers of 0000) from
761 poluting the nodes table. Maybe this will make things slightly more stable.
762 3. Take off rspf checks on announces and spots and allow the dupe filters
763 to take the strain.
764 4. Move the dupe checking AFTER the input filtering for announces and spots.
765 5. Changed the checking of PC19/21 that it doesn't alter the wrong node
766 6. Alter the storage of messages so that illegal characters are stored as '.' 
767 in an attempt to stop such messages from hanging.
768 26Nov01=======================================================================
769 1. Make changes to the installation manual to show making the client before
770 actually trying to use it!  Thanks to oz1lqh.  Also add a line for SuSE
771 distros on useradd.
772 22Nov01=======================================================================
773 1. finally fix DELETE = ^H = Backspace in console.pl
774 21Nov01=======================================================================
775 1. altered the PC16/17 generation slightly to see whether this cures Roland's
776 problem.
777 19Nov01=======================================================================
778 1. added Ducie Island to prefixes
779 17Nov01=======================================================================
780 1. updated the Java Web Interface from Ian, m0azm to allow passwords.  If
781 a user with no password enters anything, including null, it is happily
782 accepted and ignored.
783 2. added the German language to the Messages file from Stephan, dk8lv
784 14Nov01=======================================================================
785 1. make the number of characters of the dx comment dependant on the type of
786 connection. This should mean that 'legacy' user programs can cope.
787 2. move the handling of unprintable characters out of IntMsg
788 07Nov01=======================================================================
789 1. fix is_pctext so that it actually catches corrupt spots and announces.
790 2. fix console.pl so that you can type in '0' again
791 3. Fix problem with reply disappearing up its own bottom.
792 4. Added Steve's latest sh/moon stuff
793 06Nov01=======================================================================
794 1. fix read so that sysop reading doesn't increment the read counter for 
795 private mail not addressed to them.
796 2. fix console.pl to show blank lines more reliably.
797 3. fix msgs so that 2 R: lines are only stored on initial entry (not just
798 after forwarding).
799 04Nov01=======================================================================
800 1. Allow the user to equal the node in RSPF checks (this allows spots and 
801 stuff with the origin and spotter to be the same (although it is STRONGLY 
802 recommended that they are NOT!!! [hint hint]).
803 2. make the send command rather more sensitive to what is allowed. Basically
804 it will only allow TO addresses that are bull addresses (if not private) or
805 vaild callsigns (if private). Bull addresses are the ones in 
806 /spider/msg/forward.pl with a 'T' flag on them. If there is no forward 
807 file it will only allow 'ALL' and 'DX' as valid Bull TO addresses. You may
808 use commas as callsign separators if you like.  
809 02Nov01=======================================================================
810 1. fixed some Aliasing problems, but this whole area will have to be addressed
811 more comprehensively.
812 2. Changed talk logging so that it hopefully is more consistant and maybe even
813 useful.
814 3. Altered the mechanism of the personal emailing so that it uses lower level
815 components and should be therefore available on M$ platforms. You will need
816 to install a version of libnet (perl -MCPAN -eshell, then install Net::SMTP).
817 I believe all 5.6.x perls have this built in (ie M$ should have this). If you
818 are on M$ or you want to use an MTA via SMTP in linux then you need to declare
819 the dns name of the MTA by: set/var $DXMsg::email_server = 'post.fred.net' 
820 (or whatever the MTA is called). You can also use local programs other than
821 sendmail by: set/var $DXMsg::email_prog = '/usr/bin/postfix ..' or whatever.
822 Finally you can alter the 'from' address using: set/var $DXMsg::email_from
823 = 'FBloggs@msn.com' (\@ if you use " and ") - bewarned that you may be 
824 prevented from using just any old address. You can place these commands in
825 /spider/scripts/startup for permanent use.
826 01Nov01=======================================================================
827 1. added information on registration, login scripts and passwords to the
828 26Oct01=======================================================================
829 1. If $main::reqreg = 1 then set/register will allow 'registered' users 
830 full access, if $main::reqreg = 2 then registered users will be 'read-only'
831 (ie the opposite). If $main::reqreg = 0 then registration and its effects
832 are disabled.
833 25Oct01=======================================================================
834 1. added unset/password command to allow sysops (only) to completely delete
835 and remove a user's password.
836 2. make 'read' increment the 'no of times read' for all messages.
837 3. give a read receipt for everybody that reads a message so marked.
838 4. enhance set/email so that if you set email address(es) with this command
839 it will send any messages to your callsign as they come in. unset/email
840 will disable forwarding. 
841 24Oct01=======================================================================
842 1. added (un)set/register, show/registered commands which when a 'set/var
843 $main::reqreg = 1' is done in the startup script will require users to 
844 be 'registered' in order for them to have 'write' access to the node. Non-
845 registered users will only be allowed to TALK or SEND PRIVATE to the cluster
846 sysop callsign.
847 2. Added password interrogation to the ExtMsg connections. If a user comes
848 in via telnet and this is being done with the internal listener and a pass-
849 word has been set for that user - he will be asked for it. You can force 
850 a password interrogation (for ALL users) with a 'set/var $main::passwdreq = 1'
851 in the node's startup script. It is anticipated that if you are using
852 registration you will also issue passwords to those registered users.
853 3. set/password has been changed so that users already with passwords can 
854 change them.   
855 4. A non-registered user will get the /spider/data/motd_nor file instead of
856 the motd on login.
857 5. made the BadWord regexes slightly less aggressive WARNING this may let
858 some constructions thru, but hopefully will also allow more legitimate 
859 foreign (mainly) things thru as well. 
860 19Oct01=======================================================================
861 1. Allow DELETE (0x7f) for backspace in console.pl
862 2. redo prefix table using latest cty.dat
863 14Oct01=======================================================================
864 1. Add the shortform SH/ST like display to sh/user <call> to make it more
865 AK1A compatible (G0RDI+G4PDQ pace).
866 12Oct01=======================================================================
867 1. make del nnn delete messages again (fix system Aliases file)
868 2. substr the subject so that the dup works for stuff coming back via AK1A
869 09Oct01=======================================================================
870 1. change Aliases to allow shutdown as a command again. If you have changed
871 /spider/cmd/Aliases and you update from CVS you may find it better to remove
872 this file and then do another 'cvs update'. Otherwise you may get conflicts
873 and the Aliase file will not load properly. The cvs update will recreate 
874 the (now) missing file.
875 2. Remove the 'please don't use XXXX on here' messages to prevent people
876 from exploring the 'bad words space'. Three bad words will still disconnect
877 without warning. 
878 3. Sending dx spots/announces with bad words will succeed - but only back to
879 the sender. These two mods are designed to annoy the perpitrators of the
880 sort of filth as much as possible whilst not inconveniencing 'normal' users.
881 4. Add expunge feature to kill. Deleting messages now marks a msg for 
882 deletion two days hence. To have the old behaviour, do a 'kill exp' or use
883 the standard alias "expunge". This will cause the message to be deleted at
884 the next queue message cycle.
885 5. Put in prototype echo handling for direct connections using ExtMsg and
886 Listeners.pm.
887 6. fix msgs to g1tlh-2 (as opposed to g1tlh)
888 04Oct01=======================================================================
889 1. allow a residence time of (default) 2 days before actually deleting a msg.
890 2. reduce the number R: lines on a bull from a bbs to 2 (the origin and the
891 last port of call).
892 3. ignore deleted messages for queuing purposes
893 4. store deleted status across restarts!
894 5. make callsign checking more rigorous
895 6. dup check PC49 (kill full)
896 7. improved the regex matching of badwords (more efficient, better coverage)
897 8. added default badword and badw_regex tables (as .issue files) which will
898 activate unless there is one there already. It will NOT overwrite an existing
899 file - so if you change it your changes will remain intact.
900 03Oct01=======================================================================
901 1. don't allow @WWW to become a 'TO' field...
902 2. handle @gb7tlh.#35.eu type addresses as well
903 02Oct01=======================================================================
904 1. fixed the 'ever lengthening msg' syndrome and probably made the whole
905 thing more reliable at the same time.
906 2. do some restructuring of the msg system and upissue the version no.
907 3. fix @xxxx syntax for bbs input
908 01Oct01=======================================================================
909 1. made login info not the default
910 2. change the looping protoection for PC16/17/19/21 and also be more rigorous
911 in who we accept which PC16/17/21's from.
912 3. fix MAJOR disconnect bug introduced accidentally in the NP work.
913 4. Try each badword with an S on the end as well and also check for 'f.u   c'
914 type things as well (this only works for a few wellknown english ones).
915 5. Go back to the old way of caching commands (but without the silly warnings
916 because I know better what I am doing now). This allows symbolic debugging
917 of commands again without coredumps. Hurrah!
918 6. Add badword handling for messages. Users will get rude messages back if
919 they try to send naughty words in msgs. Incoming messages with badwords will
920 be dropped on receipt and their contents logged.
921 7. and if you swear 3 or more times you are unceremoniously logged out.
922 30Sep01=======================================================================
923 1. made some small bug fixes in rspf checking and also messages. 
924 23Sep01=======================================================================
925 1. I have incorporated Steve's (K9AN) lastest sh/sun and sh/moon stuff which
926 copes much better with some of the end effects that occur in these calc-
927 ulations. You can now also see up to a year into the past or future. The 
928 results compare favourably with the US Naval Obs (unlike certain other
929 software's output which "I would not want to use their results to aim my 
930 moon rocket..."). It also fixes some ambiguity about which day the results
931 are actually for.
932 21Sep01=======================================================================
933 1. fix set/lockout so that it is possible to lock out all SSIDs except those
934 specifically unlocked and so that you don't need to lock the non-SSID call in
935 order to lock an SSID call. So set/lock g1tlh will lock out all instances of
936 g1tlh, g1tlh-1, g1tlh-15 etc except (for instance) unset/lock g1tlh-9.
937 2. show/lock allows partial callsign matching so sh/lock gb7 will only show
938 GB7* calls that are locked.
939 3. Had a grand shift around for the start of NP.
940 19Sep01=======================================================================
941 1. put in some rudimentory rsfp checking for various things
942 2. tried to do some fixes on console.pl - YOU WILL REQUIRE Curses 1.06 from
943 CPAN (perl -MCPAN -eshell, then at cpan> install Curses). 
944 17Sep01=======================================================================
945 1. Fixed help and apropos commands so that they default to english if
946 the language is not english and help in the 'not english' language isn't
947 available.
948 2. added some help text for sh/newc.
949 15Sep01=======================================================================
950 1. released 1.48
951 2. found 1st bug, fixed unset/logininfo reseting itself after logout 
952 14Sep01=======================================================================
953 1. added the start of script files on login/startup. You can now add 
954 commands (for example to set variables) to a file called 
955 /spider/scripts/startup. You can also put in scripts for a callsign which
956 will be executed when that callsign logs on. A sample script is in the
957 directory (you did remember to do cvs update -d?). User settable versions
958 of this will happen when the general mechanism for doing that is available.
959 2. Added set/unset/anntalk commands. If you unset/anntalk then you will
960 no longer see many of the of talk like announces. Unfortunately you may
961 miss the odd useful one as well (but since everything is repeated many times
962 you probably won't :-)
963 3. centralise the invalid callsign check so that g1tlh1 and similar calls
964 will not be allowed to login anymore.
965 4. Fiddle with the lockout mechanism so that set/login g1tlh also locks out
966 g1tlh-1 -> g1tlh-15 UNLESS one of these is specifically unlocked.
967 5. Make sh/log only show stuff that sh/ann, sh/talk, sh/rcmd doesn't.
968 6. Make the scripts look for user and node_default files if there isn't a 
969 more specific one.
970 7. add the blank command which prints nn blank lines (default 1), this cmd
971 can also print lines of characters: see help for examples.
972 13Sep01=======================================================================
973 1. did some work on making talk more intelligent and fixed a>b problem.
974 2. fixed a nasty problem on input when being hit with full buffers of 
975 data (eg at init time with large lists of node/users on fast links).
976 3. fixed realtime input filter changing.
977 4. added announce->talk conversion for routable calls when announces of the
978 form 'to g1tlh hello', 't g1tlh hello'  or 'g1tlh hello' appear. 
979 This also suppresses similar announces for users whose callsign is not the 
980 one in the announce.
981 5. Change the badwords interface to be the same as baddx, badspotter et al.
982 added set/badword, unset/badword and show/badword. This routine will auto
983 convert (and delete afterwards) the old badwords file. 
984 6. fix intermittant bullitin mail forwarding?
985 11Sep01=======================================================================
986 1. added IP address logging of connections
987 10Sep01=======================================================================
988 1. clear/* node_default and user_default now work.
989 2. in acc or rej/* you can now use (comma separated) prefixes as well as lists
990 of numbers for things like *_dxcc, *_itu and *_cq (eg: by_dxcc ve,w); just
991 remember that countries like ve and w have lots of zones and itus!
992 3. Added all the clear/* commands to help and added some comments about 2.
993 4. All filters (including *_default ones) are now reinstalled on channels in
994 realtime, so changing a filter does NOT require a disconnect and reconnect
995 cycle anymore. 
996 09Sep01=======================================================================
997 1. Add show/dxstats command
998 2. Add show/hfstats command
999 3. Add show/vhfstats command
1000 4. Add show/hftable command
1001 5. Add show/vhftable command (BE WARNED, the first time you run one of these
1002 commands it will take some considerable time to complete, thereafter it will
1003 be a lot faster).
1004 08Sep01=======================================================================
1005 1. Update the sgml docs on filtering a bit.
1006 06Sep01=======================================================================
1007 1. prevent nodes appearing as users from incoming PC16s
1008 2. Change ping averaging to be like TCP and become a smoothed RTT.
1009 3. Make all the Prompts in stat/* like output appear in alphebetical order
1010 4. Fix problem with 17m spots not appearing in sh/dx
1011 5. pump up eph dups everytime they re-occur and increase life to 180 secs
1012 04Sep01=======================================================================
1013 1. add delete/user command
1014 03Sep01=======================================================================
1015 1. make spot dups look back 5 mins.
1016 2. strip the top off each character in any text field of a Spot for duping.
1017 3. Try to make the routing tables more accurate for users that login to
1018 more than one node.
1019 4. Make PC50s come out in one heap on all channels every 14 mins, instead of
1020 on the 14th minute in the connection time for each channel. This should 
1021 reduce (slightly) the dups that are dumped.
1022 5. Speed up input queue processing (a lot).
1023 6. make set/isolate and acc/route mutually exclusive (and issue appropriate
1024 error messages) and fix set/iso on PC18 input.
1025 7. Improve stat/route_node and stat/route_user for diagnostics.
1026 8. strip top bit of comments in ann/spots.
1027 9. fix the announce filtering problem.
1028 10. Fix the double announcement of node disconnections?
1029 01Sep01=======================================================================
1030 1. Change build number calc (hopefully for the last time)
1031 27Aug01=======================================================================
1032 1. make rej/wwv and rej/wcy work
1033 26Aug01=======================================================================
1034 1. make all newly learned nodes locked out by default.
1035 2. add lock_nodes.pl which locks out all the nodes in the user file whose
1036 privilege is 1 or less and which isn't mentioned as an argument to the 
1037 command on the command line.
1038 3. make set/node, set/spider and their friends unlock a node as well as make
1039 them one. 
1040 4. Make sh/log et al more efficient / less memory hungry (and the display
1041 the correct way round!)
1042 24Aug01=======================================================================
1043 1. Allow badmsg to reject on interface callsign ('I')
1044 20Aug01=======================================================================
1045 1. protect against PC41s with field[3] == field[2]
1046 2. Redo Julian stuff as proper objects
1047 3. Make the various Log display come out forwards instead of backwards
1048 4. Add the dbgclean routine to system cron to clear out all debug files 
1049 more then 10 days old.
1050 19Aug01=======================================================================
1051 1. Fix rcmds
1052 2. make isolation when there are no filters present work again?
1053 3. dup check PC16/17/19/21 !
1054 17Aug01=======================================================================
1055 1. Sort out PC41 handling to include type 5 records for QRA locators and also
1056 remove all filtering (but retain ephemeral dup checking).
1057 2. Improve format checking in latlong and qra locators.
1058 3. Sort sh/st so that sh/st by itself displays only the local call not the
1059 whole lot (all 17000+ users records in my case). SH/ST ALL does this.
1060 16Aug01=======================================================================
1061 1. send a forward/opernam for a logged in user once a month (when they next
1062 login).
1063 2. rearrange rcmd stuff to be more maintainable and also be certain that 
1064 they are translated in both directions correctly for clx and ak1a style.
1065 3. Allow PC41s to be propagated and hope that the ephemeral dup filters 
1066 do their job!
1067 15Aug01=======================================================================
1068 1. fix problem with talks not coming out anymore
1069 13Aug01=======================================================================
1070 1. fixed problem of dxspots not being echoed back to spotter (announces too)
1071 02Aug01=======================================================================
1072 1. correct manual and help references on accept/route and reject/route. Thanks
1073 to ea1dav for pointing out the errors
1074 2. make sure that the actual line is printed in grepdbg & watchdbg esp. with
1075 ALL the '^' and leading space characters as they really are
1076 30Jul01=======================================================================
1077 1. changes to manuals to add links etc. (g0vgs)
1078 23Jul01=======================================================================
1079 1. made ann,dx spots,wwv,wcy,wx more 'object oriented'.
1080 2. allow for 'enhanced clients' and tell them what sort of thing is being 
1081 sent.
1082 3. Allow debug info to be sent via interface to an enhanced client.
1083 21Jul01=======================================================================
1084 1. started a gtkconsole program. It appears to sort of work. Requires Gtk-
1085 Perl-0.7007.
1086 2. start doing some spot statistical stuff. 
1087 19Jul01=======================================================================
1088 1. changes to Admin Manual to reflect route filtering.  Some alterations to
1089 the help files (g0vgs)
1090 09Jul01=======================================================================
1091 1. fix cron so that it allows stuff to be executed on the hour (ie min=0)
1092 06Jul01=======================================================================
1093 1. fix talk and routing problems to mycall
1094 2. add unset/privilege command to relinquish any sysop privileges you might 
1095 have for the current session.
1096 05Jul01=======================================================================
1097 1. disconnect channels whose route node has disappeared
1098 29Jun01=======================================================================
1099 1. fix merge command
1100 28Jun01=======================================================================
1101 1. fix problems with users on more than one node
1102 27Jun01=======================================================================
1103 1. try adding an ARC mail hack
1104 2. slug the not here messages so they can't loopback
1105 25Jun01=======================================================================
1106 1. added automatic 'not here' message
1107 21Jun01=======================================================================
1108 1. fix (some) problems with 'init'
1109 2. fix stat/msg a bit more
1110 3. small change to PC28 generation to make sure that the subject always 
1111 contains at least a blank
1112 16Jun01=======================================================================
1113 1. fix talk
1114 2. fix stat/msg 
1115 14Jun01=======================================================================
1116 1. changed debug api to (potentially) use less cpu time
1117 2. changed the spider.cgi in Arnold's borrowed java client to Ian's perl 
1118 script
1119 3. Added input route filtering
1120 4. put back the set/isolate logic into routing which is now overridable with
1121 filters whcih means a default filter is no longer generated. If you want the
1122 OLD behaviour, do rm /spider/filter/route/*.pl*, restart and try again. 
1123 5. Add http_proxy to Internet.pm and allow sh/qrz to use an HTTP Proxy
1124 13Jun01=======================================================================
1125 1. fix init cnd rinit cmds
1126 2. add missing clear/route cmd
1127 10Jun01=======================================================================
1128 1. fix set/here and unset/here
1129 2. fix indirect routing to users two hops away
1130 09Jun01=======================================================================
1131 1. more fixes
1132 2. add set/debug filter so that you can see why your filters aren't working
1133 (for sysops only)
1134 3. add ephemera deduping for all those PC41,24,50 etc etc broadcasts 
1135 4. Fix a problem with the connect text being sent on outgoing connections
1136 (this confuses db0fhf amongst other things)
1137 5. catch deep recursion bugs before you run out of memory.
1138 6. Make sure that PC16|17|19|21 update as well as add and delete
1139 7. local announces by the sysop will always be displayed
1140 08Jun01=======================================================================
1141 1. first cut with new routing code. Created NEW_ROUTE branch
1142 2. added acc/route and rej/route commands
1143 3. added stat/route_node and stat/route_user commands to look at the routing
1144 table entities
1145 07Jun01=======================================================================
1146 1. move userconfig.pl and nodeconfig.pl to stat/
1147 2. fix problem with locally connected users not being removed from the 
1148 routing tables
1149 3. Fix the build calc to take into account subdirectories
1150 06Jun01=======================================================================
1151 1. add stat/route_node and stat/route_user commands
1152 2. add sh/userconfig command (to show backward links to nodes)
1153 3. add sh/nodeconfig command
1154 05Jun01=======================================================================
1155 1. add set/bbs command
1156 2. more work on Routing code.
1157 3. status/msg on its own will print the status of the msg system.
1158 4. add sh/newconfig command
1159 03Jun01=======================================================================
1160 1. Fix the problem with ExtMsg and unresolvable IP addresses, hopefully
1161 properly this time.
1162 15May01=======================================================================
1163 1. set/lockout now prevents any outgoing connection taking place.
1164 2. Started the new routing stuff which will run in parallel for a while.
1165 3. changed the msg timeout arrangements so that it might not get stuck so
1166 easily.
1167 4. add $DXMsg::bulltopriv global to make msgs to known callsigns private 
1168 14May01=======================================================================
1169 1. fix problem with re-reading in db definitions for remote databases.
1170 2. try to prevent situations where two can (semi) successfully login, probably
1171 under load, and get a 'tried to connect whilst already connected' abort.
1172 3. change the max number of days to search for spots to 100
1173 11May01=======================================================================
1174 1. allow stat/msg on priv 1
1175 07May01=======================================================================
1176 1. set/page 0 switches off paging
1177 03May01=======================================================================
1178 1. It appears that for ages now, not enough PC19 and PC16s are being sent
1179 if you have more than one of them. Sigh..
1180 02May01=======================================================================
1181 1. put an upper limit on the number of concurrent errors allowed in command
1182 mode (20). This should disconnect runaway spot suckers....
1183 28Apr01=======================================================================
1184 1. fix an occasional problem with 'sorry connected to' messages
1185 23Apr01=======================================================================
1186 1. fix very long standing bug in storing and transmitting spots. The decimal
1187 point was left off :-(
1188 22Apr01=======================================================================
1189 1. Sysops can now have full privileges if there is a ExtMsg listener on 
1190 localhost (or everything) and they telnet to localhost and login with their
1191 callsign. This means that they don't need a client anymore (for local access)
1192 2. added input spot filtering. 
1193 3. Added run_cmd to DXCron which allows you to run any command on the system
1194 from the crontab. (Dunno why I didn't do this before). 
1195 18Apr01=======================================================================
1196 1. added Ian M0AZM's Java Client (SpiderConsole)
1197 17Apr01=======================================================================
1198 1. made a slight speedup on write in Msg.pm (about doubled it)
1199 16Apr01=======================================================================
1200 1. make the correct error messages come out on reject/accept when people
1201 leave out keywords like 'on'.
1202 2. Fairly major changes to the documentation tree.  Split the admin manual
1203 into 2 sections, Installation and Admin and merge the Windows stuff.
1204 15Apr01=======================================================================
1205 1. made some mods to the sgml documentation for 1.47
1206 2. added show/connect command
1207 11Apr01=======================================================================
1208 1. fixed more of the "xxx disappeared from yyy" messages
1209 2. altered the build no logic so that it always checksums the same files
1210 regardless of whatever else you might have in the directory.
1211 3. made shortcut at shutdown so that you don't get a storm of PC21s on busy
1212 nodes as each connection goes down. Just send a pc39 to each interface and
1213 nothing else.
1214 4. changed action of SIG{INT} and SIG{TERM} so that they now work on MSWin32
1215 10Apr01=======================================================================
1216 1. altered PC21 logic somewhat to eliminate dup PC21s
1217 2. disconnect should remove dangling local users in the routing table.
1218 3. fixed nasty recursive timer bug
1219 4. added some extra info to make connect tracking a bit easier.
1220 5. improved docs on connect scripts a bit (to include agw connects)
1221 09Apr01=======================================================================
1222 1. changed lockfile name to cluster.lck (from .lock) for MSWin's benefit
1223 08Apr01=======================================================================
1224 1. added a quick installation guide to the admin manual and removed references
1225 to client.pl (g0vgs)
1226 01Apr01=======================================================================
1227 1. changed agwrestart semantics. You need to use main::agwrestart() in your
1228 crontabs rather than AGWMsg::init();
1229 2. try to thread winclient.pl for MSWin32.
1230 31Mar01=======================================================================
1231 1. added agwrestart command
1232 2. add Iains Windoze installation manual (g0vgs)
1233 3. various alterations to adminmanual and initial version of the CVS changes
1234 file (g0vgs)
1235 30Mar01=======================================================================
1236 1. fix errors on accept in ExtMsg and in Msg
1237 2. fix the non-blocking problems of connects (and other things in general).
1238 non-blocking only works for unix implementations at the moment.
1239 3. add rinit command (sends a PC20)
1240 4. improve debuging so that stuff is always escaped and a new 'raw' debug 
1241 mode that shows everything sent and received in glorious hex and characters
1242 29Mar01=======================================================================
1243 1. add better tracking of AGW circuits (possibly)
1244 2. add set and unset/agwmonitor (ing) [for all the notice it seems to take]
1245 28Mar01=======================================================================
1246 1. AGW engine stuff now accepts incoming calls and at least attempts to do
1247 outgoing ones. YMMV.
1248 2. fixed 'always' telnet on a client line in a connect script
1249 27Mar01=======================================================================
1250 1. add first cut at an AGW Engine. Copy /spider/perl/AGWConnect.pm to 
1251 /spider/local and edit it appropriately. You shouldn't need a login and passwd
1252 if you are using the default setup. It may allow incoming connects (and then
1253 again it may not - I don't have a reliable infrostructure to test with at the
1254 moment). The AGW Engine is a M$ thingy, but that don't preclude you connecting
1255 to it from a unix box. 
1256 22Mar01=======================================================================
1257 1. edit the helpfile for set/debug and add help for show/debug
1258 2. Allow ^Z again on messages
1259 3. Added back onboard support for ax25 OUTBOUND connections. You will need
1260 exactly the same facilities as before (ie netrom_call, ax25_call suid root 
1261 etc) but it is called direct from the cluster.pl - client.pl is DEAD!
1262 19Mar01=======================================================================
1263 1. Add 'not allowed' messages into sh/filter with callsign and reduce priv
1264 2. decode %xx characters in winclient.pl
1265 necessary to 1.
1266 18Mar01=======================================================================
1267 1. minor changes to user and admin manuals.  Added revsion numbers
1268 17Mar01=======================================================================
1269 1. put block check back in, try a work around for EWOULDBLOCK/EINPROGRESS
1270 for M$. 
1271 16Mar01=======================================================================
1272 1. integrate build number into main cluster and change the PC18 to show 
1273 version and build in the text portion
1274 14Mar01=======================================================================
1275 1. first cut at outgoing ax25 /external program connects
1276 2. slight change of interface to connect
1277 3. added a build number to sh/version
1278 13Mar01=======================================================================
1279 1. implemented first cut at non blocking connect
1280 2. removed memory leakage in connects
1281 3. add link IP address if available on who
1282 4. made the \r\n work correctly on External connections
1283 5. removed client.pl
1284 6. fixed memory leakages in DXMsg
1285 7. fixed pc39/21 handling
1286 8. fixed routing table issues and general disconnection tidy up
1287 10Mar01=======================================================================
1288 1. minor changes to the admin manual to reflect differences in distibutions
1289 thanks to pa3ezl (g0vgs)
1290 2. add (finally) the first draft of the usermanual (g0vgs)
1291 05Mar01=======================================================================
1292 1. do some major surgery on the connect logic to shorten the possibility of 
1293 duplicate connects happening
1294 2. fix stupid error on sh/qrz queries that don't work
1295 04Mar01=======================================================================
1296 1. allow fallback to english for help
1297 03Mar01=======================================================================
1298 1. allow incoming and outgoing IP connects direct to cluster.pl
1299 2. fixed (long standing)a hole in PC17 handling
1300 3. added winclient.pl (actually just a very basic client) from Iain G0RDI
1301 4. Added Spanish as a language (thanks ea1dav) (g0vgs) 
1302 5. ignore BUST(ED) spots
1303 28Feb01=======================================================================
1304 1. allow sh/c gb7 (ie show the config of all gb7 nodes)(for example)
1305 2. get rid of spurious DXHash 'uninitialised' messages if no corresponding 
1306 file is present.
1307 3. changed policy of $censorpc in DXProt.pm so that badwords are looked for
1308 in all text announces etc.
1309 4. Unpad (remove excess spaces from) spotted callsigns in PC11. 
1310 5. test for opertaing system in various places and do different if M$
1311 27Feb01=======================================================================
1312 1. allow partial node callsigns on sh/c (eg sh/c gb7)
1313 2. Changed Msg.pm to allow a more generalised interface with more than one
1314 listener.
1315 3. Added IntMsg.pm to implement the internal connection management that is
1316 currently scattered about the cluster code.
1317 25Feb01=======================================================================
1318 1. Fixed watchdbg so that simple arguments work again
1319 22Feb01=======================================================================
1320 1. Added platform name to sh/version
1321 2. changed client.pl so that it send \r\n instead of \n on telnet connects
1322 3. added lineend '\r\n' command to connect scripts so you can override 
1323 defaults
1324 03Feb01=======================================================================
1325 1. Changes and additions to the manual and added a help file for sh/log (g0vgs)
1326 13Jan01=======================================================================
1327 1. Documentation alterations to match new commands etc (g0vgs)
1328 08Jan01=======================================================================
1329 1. Changed the way that badnodes, baddx etc work. There is a new general way
1330 implemented (dunno why I didn't do this before - hey ho...) as a consequence
1331 there are set/unset/show baddx (for bad dx callsigns) badnode (for dx from
1332 bad nodes) badspotter (for bad spotters of dx eg VE2STN). Expect more of 
1333 this sort of thing...
1334 2. Added one to the copyright dates...
1335 06Jan01=======================================================================
1336 1. Fix set/obscount so it actually works.
1337 2. Allow different number formats for set/pingint eg: 5m for 5 minutes and
1338 120s for 120 seconds (and 1h for 1 hour).
1339 03Jan01=======================================================================
1340 1. Added a txt directory for txt versions of manuals (g0vgs)
1341 2. Various documentation changes
1342 02Jan01=======================================================================
1343 1. added a help file for forward/latlong and updated the admin manual to
1344 match. (g0vgs)
1345 2. Add spot2csv.pl to convert spot files into tab delimited .csv format.
1346 3. Add show/route to see which interface a station is connected on.
1347 31Dec00=======================================================================
1348 1. add lat/long info to show/prefix
1349 30Dec00=======================================================================
1350 1. added latest version of the admin manual from Ian G0VGS.
1351 23Dec00=======================================================================
1352 1. don't route anything back down the channel it came from.
1353 2. and, in the process, fix some silly errors in routing converted rcmd PCs
1354 3. changed all occurrances of 'freq' in filter help to 'on' and corrected
1355 some errors (eg freq/ssb).
1356 4. added latest admin manual.
1357 18Dec00=======================================================================
1358 1. fix double printing of DB results
1359 2. add new style filtering for WWV and WCY to complete the set
1360 3. got the field nos right (hopefully) on Announces for filters
1361 05Dec00=======================================================================
1362 1. fix frequency hinting routine so it correctly handles things like 'on 23cm'
1363 where digits are the 'wrong' way round.
1364 2. made default max days to search for spots 3 months.
1365 3. added hex decodes for those pesky 'national' characters that aren't really
1366 in grepdbg and watchdbg.
1367 4. decide that we are using Latin-1 and therefore characters 0x80-0x9f are
1368 not allowed.
1369 5. fix the announces so that they are all UPPER CASE for poor old DXTelnet.
1370 03Dec00=======================================================================
1371 1. change grepdbg and watchdbg so that you can see a number of lines before
1372 the condx that you are looking for so:-
1373   grepdbg 3 LOOP
1374   watchdbg 3 LOOP 
1375 will show both the LOOP line and the preceeding 2 lines.
1376 2. add PCPROT to all error condx lines in DXProt.pm so that you can watch
1377 for them more easily.
1378 30Nov00=======================================================================
1379 1. remove %nn strings from dups of announces and spots
1380 2. remove check for ssids on PC41s 
1381 29Nov00=======================================================================
1382 1. make some small changes to DXmsg to try to track delete problems?
1383 2. fix ann/full so it doesn't dup
1384 27Nov00=======================================================================
1385 1. alter sh/wcy output slightly
1386 26Nov00=======================================================================
1387 1. made it possible for sysop calls to be used on other nodes and still have
1388 anti loop checking on PC16/17.
1389 25Nov00=======================================================================
1390 1. -l <nnn> now works on C client
1391 2. -e toggles echo cancelling (normally on) on C client
1392 20Nov00=======================================================================
1393 1. added even more checking to PC16,17 and 39
1394 19Nov00=======================================================================
1395 1. improve reaping code a bit more.
1396 2. put some extra checking in the PC16,17,19,21 code.
1397 3. fix problem with the aliased user disappearing and loads of 'unitialised'
1398 messages coming out.
1399 16Nov00=======================================================================
1400 1. Alter the process reaping code in cluster.pl to use waitpid
1401 12Nov00=======================================================================
1402 1. Fix lack 't' action in Filter.pm
1403 08Nov00=======================================================================
1404 1. fix cosmetic errors in for/oper for 'users'.
1405 07Nov00=======================================================================
1406 1. removed sh/call because the owner isn't happy about us using it. 
1407 2. change sh/qrz to the new interface. MUCH QUICKER! you will need a user id
1408 and password from qrz.com to use it and you will have to copy the 
1409 /spider/perl/Internet.pm to /spider/local and alter it accordingly. Do 
1410 remember to set $allow=1 as well! The new interface comes courtesy of Fred
1411 LLoyd, the proprietor of http://www.qrz.com
1412 06Nov00=======================================================================
1413 1. Added sh/qrz to the list of callbook services
1414 05Nov00=======================================================================
1415 1. 75% speed up on sh/dx !, lower memory usage as well!
1416 2. Fixed problem with clear/spot 0 (how did this one last so long!!!)
1417 3. add 'on' in accept/reject spots as synonym for 'freq'
1418 4. add the same speed up to general log printing
1419 5. fixed help \ 
1420 04Nov00=======================================================================
1421 1. fix sh/filter so ity now works for any callsign (and not just connected
1422 ones).
1423 2. Have only one is_callsign and not an iscallsign as well.
1424 3. Add set/hops and show/hops commands.
1425 4. Add unset/badnode command and put some help in for these commands
1426 03Nov00=======================================================================
1427 1. allow - in filter strings
1428 2. store only the filter expression NOTE BENE: you will need to clear all 
1429 your existing filters and re-enter them!!!!!!
1430 3. Added announce filtering
1431 4. Fixed problem with announce filtering on output to the node
1432 02Nov00=======================================================================
1433 1. updated filtering logic. You will need to RECREATE your filters (clear/spot
1434 all, then start again) for testing.
1435 2. allow PC73 for DXNet
1436 3. added some help text for filtering and filtering spots in particular.
1437 01Nov00=======================================================================
1438 1. put PC11 field 2 check back to m for pc text.
1439 2. improve 'simple' callsign checking
1440 3. Added the first cut of the new user/sysop filtering code. This cut works 
1441 for spots and the syntax is:-
1442
1443 accept/spots [<call>] [input] [<filterno>] things ..
1444 reject/spots [<call>] [input] [<filterno>] things ..
1445
1446 where things are: 
1447   freq 0/30000 | hf | hf/cw | 6m,4m,2m
1448   call G,PA,HB9
1449   info iota
1450   by G,PA,HB9
1451   call_dxcc 61,62
1452   call_itu 31
1453   call_zone 14,15,16
1454   by_dxcc 61,62
1455   by_itu 31
1456   by_zone 14,15,16
1457   origin GB7,MB7
1458   channel GB7DJK,GB7BAA
1459       
1460 You can simply string these together on one line one after the other and 
1461 there is an implied 'and', you can also string together with 'or' 'not' (or
1462 '!') and '(' and ')' - in otherwords an arbitrary expression.
1463               
1464 You can see what you have done with:
1465
1466 show/filter [<call>]
1467
1468 You can clear your work with:
1469
1470 clear/spots [<call>] [input] [<filterno>|all]
1471
1472 Have fun and someone please write the documentation.
1473 4. Added show/msg_status.pl sysop command (shows some info on what is busy in 
1474 the message system)
1475 31Oct00=======================================================================
1476 1. add 0x8e to the list of characters we clobber (make xterm go into graphics
1477 mode).
1478 30Oct00=======================================================================
1479 1. put in new Filter::it code and tested it. Now all we have to do is write
1480 the user access routines (oh and the help files!).
1481 29Oct00=======================================================================
1482 1. put in echo cancelling measures into the clients. This doesn't mean you
1483 shouldn't take steps to prevent echoing on node links, but it may help where
1484 (whatever you do) it still bloody echos! This is experimental.
1485 2. store dxchan and mynode as callsigns (and not references) in the routing 
1486 tables and do some checking in accessors to see if we can capture some errors.
1487 3. tart up the stat/chan etc display to give more useful debugging info 
1488 28Oct00=======================================================================
1489 1. updated show/sun and show/moon from stuff sent by Steve Franke K9AN
1490 2. added show/call which queries jeifer.pineknot.com for any call in the 
1491 world (as opposed to UALR which only does US calls). Inspired by a bit of 
1492 perl sent to me by Steve Franke (again!) and also Angel EA7WA who gave me the
1493 pineknot ip address.
1494 3. fixed clients so that they accept -0 as a valid SSID and then strip it off
1495 as though they had come in without (why has this taken so long to appear? How
1496 long have we been running this code ??????). 
1497 27Oct00=======================================================================
1498 1. alter the code in clean_old of DXMsg system to see if we get some different
1499 behaviour with random crashing
1500 26Oct00=======================================================================
1501 1. if there is a 'connected' file in /spider/data then the client will send
1502 it out to the user after connection.
1503 25Oct00=======================================================================
1504 1. fix catchup and uncatchup commands so that they accept ranges
1505 24Oct00=======================================================================
1506 1. added cty.dat from http://www.k1ea.com/cty/index.htm to the prefix_data.pl
1507 data file and modified create_prefix.pl accordingly.
1508 2. the 'no text line' messages should now propagate correctly
1509 3. added the dxcc, itu and cq zone numbers for announcer and origining node 
1510 on announce filters - see the /spider/filter/ann/*.issue files for more info.
1511 4. you can now specify a 'user_default.pl', 'node_default.pl' and 
1512 'in_node_default.pl' in each of the filter directories
1513 23Oct00=======================================================================
1514 1. Added K5K as Kingman Reef
1515 1. Added K7K as Kure
1516 17Oct00=======================================================================
1517 1. force frames to go down the local interface when doing a route. This is 
1518 particularly important for pings!
1519 16Oct00=======================================================================
1520 1. add a ':' after 'G7BRN de G1TLH' in a talk message.
1521 2. added /J to the list of things to ignore (as in G1TLH/J) in prefix 
1522 processing (ie /J mean Jota not /JA [Japan]).
1523 3. change all INCOMING 00-08 0A-1F and 9B characters that make it past the
1524 intermediate client->server protocol to '.'.
1525 04Sep00=======================================================================
1526 1. made PC10,11,12 badword checking dependant on a flag variable ($censorpc)
1527 default = 0 (off).
1528 02Sep00=======================================================================
1529 1. fix a long standing talk bug to do with routing to specific nodes (t xxx >
1530 yyy .....)
1531 2. Add badwords checking in various places. You put a list of words into
1532 /spider/data/badwords one or several per line. Lines starting with # are
1533 ignored. PC10, PC11, PC12 with words contained in this file will not be
1534 sent on. Also ann, talk and dx commands have badword checking added. Words
1535 are NOT case sensitive, but you will need to put all the endings in (eg 
1536 ...k, ...ker, ...king).
1537 3. Added new version of admin manual from G0VGS.
1538 01Sep00=======================================================================
1539 1. allow blank on field 4 of PC10 (even though it's "illegal").
1540 28Aug00=======================================================================
1541 1. changes DXChannel::get_all_ak1a to get_all_nodes.
1542 2. ignore PC21s coming in on the interface with that callsign (ie nodes 
1543 trying to disconnect themselves).
1544 3. output correct PC29 on blank lines and escape ^ characters differently 
1545 (and transparently for spider nodes).
1546 26Aug00=======================================================================
1547 1. make blank origins on messages the node call.
1548 2. added new version of FAQ from Ian G0VGS
1549 3. added a dummy PC75 command (WCY merge?)
1550 4. Don't allow mail routing for clx nodes
1551 5. Log isolates
1552 25Aug00=======================================================================
1553 1. moan about and then delete empty message files
1554 24Aug00=======================================================================
1555 1. Removed WWV command so that users can't interfere (read mess up) the
1556 automatic feeds which come from various places on the net.
1557 23Aug00=======================================================================
1558 1. Added persistant dupe file so that all dupes are stored here (including
1559 announces) - announces are now kept for 5 days (as default).
1560 2. limit the characters stored in a dupe for spots and announces
1561 20Aug00=======================================================================
1562 1. Added system Alias for set/nodxgrid => unset/dxgrid
1563 2. Add full individual checking for all PC protocol fields in all messages
1564 and removed any language dependant stuff (hopefully).
1565 3. console.pl is now a bit more international (client.c/pl already are)
1566 19Aug00=======================================================================
1567 1. Added an efficiency thing for AUTOLOADed accessors from OO Perl by Conway.
1568 2. Fiddled with the rtty and digital bandplan frequencies.
1569 18Aug00=======================================================================
1570 1. added a couple of changes for perl 5.6.0
1571 2. removed del_dup from DXUser for earlier versions of DB '1.85' (ie real ones
1572 not 2.x versions in 1.85 compatibility mode).
1573 3. Started the OOing of the PC protocol stuff.
1574 15Aug00=======================================================================
1575 1. added 1.25 of the admin manual html
1576 14Aug00=======================================================================
1577 1. Added regex support to sh/dup_*.pl commands
1578 2. fixed rcmd in crontab so that will work again
1579 13Aug00=======================================================================
1580 1. removed extra /60 in AnnTalk to make deduping of announces work a bit
1581 better for longer...
1582 05Aug00=======================================================================
1583 1. Fixed hex character problem put in somewhen in the C Client
1584 03Aug00=======================================================================
1585 1. caught some more signals (are any of these causing the random stopping
1586 of the code?
1587 2. the Console now requires 1.05 of the Curses module ^R REFRESHES THE SCREEN
1588 (as does ^L) AT LAST!!!!!
1589 02Aug00=======================================================================
1590 1. put back hex check exception for PC29
1591 01Aug00=======================================================================
1592 1. made the export and import ascii system work finally. The user_asc file
1593 generated (automatically and 0000Z Sunday morning) is autoloading. Just 
1594 execute it and it will automatically reload your user database.
1595 2. remove import_users.pl no longer necessary
1596 31Jul00=======================================================================
1597 1. try to fix paging problem.
1598 2. added help for spoof and set/forward
1599 3. fixed bogus callsign check for field 2 of a PC12
1600 4. Add DB_File to DXCommandmode to make it available for commands
1601 30Jul00=======================================================================
1602 1. Added talk mode so that I don't have to keep typing T <call> all the time.
1603 2. fiddled around with storing of Debug messages a bit more.
1604 3. bomb proofed the type command.
1605 4. started the objectifying for talk, dx and announcements.
1606 5. fix talkmode so that it only does 'via' PC10s when it really needs to.
1607 6. SEND now displays a message if you try to do it in not prompt mode.
1608 7. stopped a few more things being done by rcmd (eg send, talk, ann, dx)
1609 8. tidied up the talking a bit more.
1610 9. Increase default hop counts all round.
1611 10. Adjust hex encoding so that 8 bit characters should now go thru
1612 11. check more of the essential protocol fields for 8 bit characters.
1613 29Jul00=======================================================================
1614 1. added forward/latlong which will forward ALL the users that have a latitude
1615 and longitude set on them to one or more locally connected nodes - with a hop
1616 count of 1.
1617 2. speeded up the show/node command by using the DB_File interface and 
1618 sequentially reading the data directly and only 'get'ting the ones that are
1619 nodes.
1620 3. did the same for show/isolate and show/lockout.
1621 28Jul00=======================================================================
1622 1. fixed watchdbg midnight rollover loop and removed the date part of the 
1623 date/time translation to leave just the time.
1624 27Jul00=======================================================================
1625 1. made sure that 'en' is the default language on new users.
1626 2. issue error message if shutdown is attempted by a low privileged user.
1627 3. Make sure a privilege is defined for all users (even if it is 0).
1628 4. Try to fix some more dups (and the time on them).
1629 5. make the time stored on dups generated locally on spots an integer no of 
1630 minutes * 60 
1631 6. send unsolicited PC[38]5s to the sysop if online.
1632 7. merged current html from www.dxcluster.org with Ian's stuff
1633 8. Added sgml files into the source tree
1634 9. changed default paclen in client.c to 236
1635 26Jul00=======================================================================
1636 1. added wantgrid (to control display of grid square info on DX Broadcasts)
1637 2. added lastoper for controlling periodic demands for user info from other
1638 nodes.
1639 3. added spiderFAQ stuff from Ian G0VGS and latest update of the admin manual
1640 4. changed updating and deleting from user file in an attempt to keep down
1641 duplicates and possibly corruptions.
1642 5. added a DXUser::export routine to allow the cluster to automatically 
1643 export the user data in ascii from cron.
1644 6. added a line in the ISSUED crontab to do the export once a week
1645 7. delete annok and dxok if set to 1 in user records.
1646 8. added export_users command to allow arbitary exporting of user files
1647 9. added set and unset/dxgrid command to allow control over the grid squares 
1648 on DX announcements
1649 10. Removed export_user.pl (no longer needed)
1650 11. made import_users.pl accept a non related input filename and always
1651 update the current user file.
1652 12. added an 'auto rcmd <node> for/oper <call>' for people I can see on the
1653 cluster that issue spots and for whom I have no qra info (no more than once
1654 a month). This isn't the default - set $send_opernam in
1655 /spider/local/DXProtVars.pm (copied from /spider/perl). Good for gateways.
1656 13. Despace spot texts properly again for deduping purposes.
1657 14. Corrected Pc84/85 handling a bit.
1658 15. Sync the user database every 15 secs to see whether we can reduce the 
1659 corruptions and duplicates.
1660 25Jul00=======================================================================
1661 1. ignore \n in ax25 mode for C client.
1662 2. remove extra space at the end of a DX spot announce when no grid square
1663 is output.
1664 3. added new admin manual from Ian G0VGS
1665 20Jul00=======================================================================
1666 1. Finally managed to update my source with the sourceforge one
1667 2. added user->qra cleaning in various places
1668 3. added four digit locator strings to broadcast DX spots (for users).
1669 4. PC11 with blank callsigns should now be ignored.
1670 5. put back the unpadding to the PC11 dup checking to catch spots with added
1671 blanks at the end of lines.
1672 25Jun00=======================================================================
1673 1. added 0 to the regex that checks for valid data on the cluster.pl->client
1674 channel - this will allow G0VGS and G0RDI to connect....
1675 2. removed technically unnecessary /= 60 from the dup routines to see if 
1676 Arnold's Sparcs don't then crash.
1677 19Jun00=======================================================================
1678 1. move ann_dup, spot_dup etc to dup_ann, dup_spots etc
1679 2. made mode 3 the default line ending convention for all out going connects
1680 via telnet in client.pl
1681 18Jun00=======================================================================
1682 1. fixed line ending ambiguities (I think) for telnet connections. Well 
1683 actually only really band aided it. It works but isn't how I want it. 
1684 Client.pl has got to go....
1685 2. Added 1.21 of Ian G0VGS's admin manual
1686 17Jun00=======================================================================
1687 1. I believe I have fixed all the login/logout 'broken pipe' errors
1688 2. Added G0RDI's 'links' command.
1689 3. added update_sysop.pl which cleans out all previous versions of the sysops
1690 information from the user database and recreates it with that in DXVars.pm
1691 4. Added node type to links and who
1692 5. Hardened up the cluster->client link in the cluster software so that 
1693 rubbish on port 27754 doesn't (usually) crash the cluster.
1694 14Jun00=======================================================================
1695 1. fixed sh/node crash
1696 2. fixed RTT in who.pl
1697 13Jun00=======================================================================
1698 1. fixed looping bug in C client on ending.
1699 12Jun00=======================================================================
1700 1. Added RCMD for clx
1701 2. Added WCY processing
1702 3. Added new node types (clx, spider, dxnet, arcluster)
1703 4. Store echo settings
1704 5. Store pagelth settings
1705 6. sort out source of DXVars for callbot.pl
1706 7. added sh/isolate
1707 8. added sh/lockout 
1708 11Jun00=======================================================================
1709 1. removed extraneous DXDebug from DXUtil
1710 2. added help for set/echo
1711 3. Centralised all spot, wwv and ann dup handling into respective packages.
1712 4. Created new AnnTalk package (for above and OOing announce and talk 
1713 handling).
1714 5. Fixed problem with outputting lines with | in them to console.pl.
1715 10Jun00=======================================================================
1716 1. got rid of some more nasty bugs in sh/qra.
1717 2. fixed 9A3xx to always be Croatia (and not Haiti!).
1718 09Jun00=======================================================================
1719 1. change some print commands in DXMsg to dbg('err'...
1720 2. overloaded confess, croak et al into DXDebug and removed Carp from 
1721 everywhere and checked that the necessary debugging really does go into
1722 the debug files now.
1723 3. changed print statements in cluster.pl to dbg('err',... so they go into
1724 the debug files as well.
1725 4. Altered the logic around duplicate spots, reduced the length of comment
1726 checked to 20 characters (this should solve some problems including those
1727 people sucking ar-cluster spots with prefixes in the extreme rh end). 
1728 08Jun00=======================================================================
1729 1. fixed problem with binary characters from cluster->client
1730 2. added set/echo and unset/echo commands
1731 3. echo login characters on login: prompt for C client
1732 4. Send \r\n on telnet connections for C Client
1733 5. Make echoing the default option (for M$ telnet clients :-()
1734 11May00=======================================================================
1735 1. fixed looping in Msg.pm (at last)
1736 10May00=======================================================================
1737 1. wrote a cross between 'tail -f' and grepdbg so that you can watch the
1738 debug files for particular strings and only have them print out. 
1739 05May00=======================================================================
1740 1. rewrote parts of Msg.pm and client.c so that the messages no longer use
1741 a length word at the front of each one. They are simply strings of characters
1742 separated by a \n. No binary characters are allowed (they are encoded as %nn)
1743 a la HTTP. This hopefully cures Arnold's problem and also make it more
1744 secure anyway. It also paves the way for the ax25/ip multicast client.
1745 30Apr00=======================================================================
1746 1. put some extra checks and balances in to message send routine in Msg.pm to
1747 see if I can prevent the error seen by Arnold (which I think is only likely to
1748 appear in heavily loaded sites).
1749 25Apr00=======================================================================
1750 1. Changed reply so that you can reply to more than one address privately
1751 31Mar00=======================================================================
1752 1. fixed nnn-mmm in kill (erase/delete) msgs so that mmm is also deleted and
1753 not just nnn -> mmm-1.
1754 2. Added an autosplit to message importing so that messages are split
1755 automagically into bits if the filename used in the import directory starts
1756 with "split". This will add a [1/5] type string on the the end of the subject. 
1757 3. dedupe more aggressively on the text of Spots so that only the 1st 27 chars
1758 of text are considered (as opposed to the whole lot).
1759 30Mar00=======================================================================
1760 1. altered client.pl connect code so that it doesn't falsely recognise 
1761 /spider/src/client as a 'client' instruction.
1762 28Mar00=======================================================================
1763 1. Added buffering to client 
1764 2. Fixed LOGIN so that you can login with an arbitrary callsign
1765 27Mar00=======================================================================
1766 1. updated wpxloc.raw and rsgb.cty for 4W and TX0.
1767 2. display 'start time' rather than 'last start time in' in who.
1768 3. Allow local users to see their own sh/talk or sh/log stuff.
1769 4. A more robust version of the C client.
1770 5. Added a message exporting command 'export'.
1771 6. allow swopping on all messages, including imported and manually sent ones
1772 7. S A < B @ C $BID now works from the command line and thus bbses ought to
1773 be able to send messages into the cluster. Bids are (currently) ignored.
1774 26Mar00=======================================================================
1775 1. first cut of C client
1776 18Mar00=======================================================================
1777 1. fixed convkeps.pl so that it accepts more formats for floating point.
1778 08Mar00=======================================================================
1779 1. tidied up Sun.pm and sh/sat
1780 2. fixed sh/qra so that the correct lat/long is displayed if only one locator
1781 is given.
1782 10Jan00=======================================================================
1783 1. added Steve Franke's new Sun.pm and show/satellite command
1784 08Jan00=======================================================================
1785 1. really removed the restriction on 0 length messages.
1786 2. added a periodic msg file import system a la FBB. Stick one or more files
1787 into /spider/msg/import with a suitable SEND line, subject and the text and 
1788 it will import it. The importer will accept some BBS syntax (eg < GB7TLH) to
1789 allow you to customise the 'from' callsign.
1790 03Jan00=======================================================================
1791 1. changed the copyright statement in sh/version!
1792 2. added sh/date with special "be compatible with ak1a" syntax for the output
1793 of sh/date with no arguments, otherwise the same as sh/time. A special favour
1794 to G4PDQ...
1795 3. and another one, added show/node especially for G4PDQ.
1796 01Jan00=======================================================================
1797 1. Fixed Julian routines to get rid of the millenium bug! (do as I say, not
1798 as I do!).
1799 2. updated gdx.pl so that external programs can do a sh/dx just as a normal
1800 user can. On reflection this could be used as a model for all sorts of 
1801 "external" interface routines.
1802 3. renamed gdx.pl as showdx.
1803 11Dec99=======================================================================
1804 1. added missing pc48 so that it calls the DXDb::process routine 
1805 10Dec99=======================================================================
1806 1. allow msgs to marked as read or unread
1807 02Dec99=======================================================================
1808 1. DX command doesn't recognise '6M' as '6m' in SH/DX ON 6M.
1809 2. set/node now sets the homenode as the callsign.
1810 3. changed the label for the 18Mhz band from '18m' to '17m' in the bands 
1811 table. 
1812 01Dec99=======================================================================
1813 1. started the callbot which lives at n2tly.dxcluster.net 9000.
1814 2. added www.qrz.com
1815 3. added www.buck.com
1816 4. added k4ute at no4j.com
1817 28Nov99=======================================================================
1818 1. fixed all the stupid errors introduced in 1.36 confusing DXUser->get with
1819 DXCluster->get_exact.
1820 24Nov99=======================================================================
1821 1. extended badmsg.pl stuff so that it works like the forward file and allows
1822 one to reject on to, from, origin and subject fields.
1823 2. added a swop.pl again in a forward.pl like format that allows simple swop
1824 for a field or test on a field and set another.
1825 3. Fixed the problem that read private mail follows you around as well as
1826 unread private mail does.
1827 4. Change the logic of connections so that the node will accept callsigns with
1828 SSIDs to -8 as different entities from each other. SSIDs > 8 are subtracted 
1829 from 15 and are assumed to be coming in via netrom diddled connections. This
1830 affects lots of the commands as well. I may not have got them all.
1831 5. Hangup clients on HUP signals. I originally ignored them, for reasons that
1832 are now lost in the mists of time. HUP signals now cause clients to die 
1833 (cleanly) and disconnect everything correctly.
1834 6. Added show/time command
1835 21Nov99=======================================================================
1836 1. lose extraneous rubbish after the callsign as sent by BBSes.
1837 2. Change end label on sh/moon to RGain dB rather than Loss dB.
1838 3. Remove spurious call to DXCluster->get_exact in pc50.
1839 4. Allow rcmd to locally connected nodes that are not (for some reason) in the
1840 nodes table.
1841 5. Try and send a PC39 in more cases to a cluster that I want to disconnect
1842 from in the hope that it notices and disconnects its end.
1843 20Nov99=======================================================================
1844 1. Added set/unset logininfo which will tell anybody that has this set when
1845 someone has either logged in or out of this node.
1846 2. Added set/pinginterval command which alters the length of time between
1847 pings sent to nodes, the value is minutes < 120 and seconds above that, 0
1848 means disable pinging (not recommended).
1849 3. If someone does a sysop whilst connected via ax25, don't show privilege
1850 level or passwd in stat/user.
1851 4. Fixed the problem with the dx command where if the callsign ended in a ?
1852 then the call and the freq would be replicated in the remarks.
1853 5. Set/unset ann, dx, talk, beep, wx, wwv all are now permanent (ie stored in
1854 the user file)
1855 19Nov99=======================================================================
1856 1. Added new version of sh/sun and also sh/moon from Steve K9AN
1857 2. Added rtt to who.
1858 3. added Aliase for show/tnc_sta to who.
1859 4. added Alias for show/uptime to sh/cl 
1860 18Nov99=======================================================================
1861 1. Added ping obs counter together with Time::HiRes timers. This will dis-
1862 connect nodes that fail to respond to 3 ping requests (on the 4th attempt). 
1863 The default time is a ping every 3 mins, therefore a link will be struck out
1864 after 12 minutes of nil response.
1865 2. Maintain a table of outstanding connects to other nodes and prevent over-
1866 laps (special favour to G0RDI).
1867 17Nov99=======================================================================
1868 1. Started using Data::Dumper for things again
1869 2. 'Fixed' DXUser file corruption?
1870 3. Allow multiline (ie lines with \n in them) output in $DXChannel::send 
1871 4. Added Andrew K9CW's updated wpxloc.raw, regenerated prefix_data.pl
1872 5. Put in callsign matching and stuff into sh/sun.
1873 14Nov99=======================================================================
1874 1. added BBS.pm to start BBS input of mail
1875 2. fixed eval in DXUser to log errors rather than banging out
1876 12Nov99=======================================================================
1877 1. added sh/sun command kindly supplied by Steve K9AN.
1878 2. allow ^Z on its own on a line to terminate a message
1879 08Nov99=======================================================================
1880 1. added spoofing (mk1 version) for sysops, useful for those little jobs like
1881 reseting a user's qra locator and such like "spoof g7brn set/qra jo02lq".
1882 2. fixed set/location so it stores the qra locator in the qra locator slot, 
1883 NOT the lat/long (who wrote this stuff...?).
1884 07Nov99=======================================================================
1885 1. reduced the amount of stuff compared against for dup announces.
1886 2. Check the regex for DK0WCY announces produces results before storing it as
1887 a WWV.
1888 3. Added some logging for set/priv (un)set/lockout.
1889 4. Added test long path calc to sh/muf
1890 5. Only wonder down the msg queue every minute
1891 6. Put in the initial DB code (at last), you can create and remove local and
1892 standard remote dbs, you can import AK1A style .FUL ascii databases, you can
1893 enquire on a local or remote database.
1894 7. A return ping to a node will clear down all outstanding pings to
1895 that node (which might cause some confusion if more then one ping is
1896 outstanding for a node, but then - shit happens).
1897 04Nov99=======================================================================
1898 1. Removed ~ from the end of the PC18.
1899 2. Removed a hangover from duff character checking in cluster.pl
1900 3. Stop PC frames that are to be routed, being routed back to themselves.
1901 03Nov99=======================================================================
1902 1. Simplified command caching so it uses anonymous subroutines, you should
1903 also get error messages back on the console now when developing.
1904 2. Allow locally connected AK1A clusters that for some obscure reason don't
1905 issue PC19s to still appear as connected and allow them to acquire users.
1906 31Oct99=======================================================================
1907 1. updated Minimuf.pm and show/muf.pl to the fixed versions sent to me by
1908 Steve Franke K9AN. 
1909 2. Made set/badnodes work, added show/badnodes. This is an interim fix until
1910 input spot filtering works.
1911 24Oct99=======================================================================
1912 1. fixed announces so that nodes only get one of them (not two).
1913 2. Altered the select timeouts to prevent apparent excessive CPU usage on
1914 multiprocessor machines (or at least that is what seems to be the trouble
1915 here). 
1916 22Oct99=======================================================================
1917 1. allow filter CALLSIGNS to be in upper or lower case.
1918 2. create the concept of input and output filters, input filters are of the 
1919 form "in_$call.pl" eg: "in_g1tlh.pl" (or "in_G1TLH.pl"), output filters are 
1920 "g1tlh.pl" (or "G1TLH.pl").
1921 3. all users can now filter on spots, ann and wwv (assuming the sysop has set
1922 the filters up - still no user creatable filters. Nodes can filter on both
1923 input for announces and output for all of these. I would recommend setting 
1924 up a few filters that are likely to be wanted and then symlinking callsigns
1925 to them as you get requests.
1926 4. added callsign and length of history/position of screen stats to console.
1927 If you want to change the colour of the callsign you will need to copy the
1928 Console.pm to your /spider/local directory and change the $mycallcolor equate.
1929 21Oct99=======================================================================
1930 1. fixed reply so that reply b or reply nop generate a bulletin with the 
1931 correct address.
1932 2. implemented sh/muf command.
1933 3. reduced privilege of catchup and uncatchup to 5. This so that, suitably
1934 privileged, nodes that occasionally link can rcmd a "catchup <nodecall> all"
1935 to the node they are connecting to and thus prevent a large tranche of, 
1936 potentially duplicate, mail. This isn't an issue for DXSpider, but may be
1937 an issue for any AK1A clusters you are connected to.
1938 20Oct99=======================================================================
1939 1. Translated all the subroutines of minimuf into perl as Minimuf.pm
1940 2. Limited the length of an ANN that is saved for de-duping to $pc12_dup_lth
1941 (def 72)
1942 3. help command should now return stuff that you expect.
1943 4. reduced necessary privilege to use 'MSG' command to 6.
1944 5. Correct the count of spots and wwv for a merge.
1945 6. Allow decodes of DK0WCY-3 WWV data beacon announces
1946 7. rewrote send so that an SB doesn't send a buckshee bull to NOPRIVATE!
1947 8. Changed default colouration on console so that all spots >= 50Mhz are red
1948 9. Fixed init command so that PC21s are sent down non-initted channels
1949 10. Allow forwarding of unknown private mail. This means that you can set up
1950 forwarding of 'foreign' mail across to and by gateways using the same 
1951 mechanism as bulletins (/spider/msg/forward.pl).
1952 11. Allow line wrapping on the console (G0RDI, G0VGS et al).
1953 18Oct99=======================================================================
1954 1. changed help command so that it works correctly with multiple title lines.
1955 2. added to address to the list of things a message checks to see whether it
1956 is a duplicate (how on earth did it take _this_ long to find this one?).
1957 3. Changes S CC so that the callsign it says it has sent to is the real one
1958 (request from G8TIC)
1959 21Sep99=======================================================================
1960 1. allow zero messages to be stored (request from G4PDQ)
1961 2. make DX more flexible and change spotter syntax to be consistant with
1962 sh/dx (request from K9AN)
1963 30Aug99=======================================================================
1964 1. remove -@ as well as \d from SSIDs for spots
1965 2. remove WEB and/or NET from the front or rear of callsigns in Prefix.pm
1966 29Aug99=======================================================================
1967 1. Added msg command to allow the changing of To, From, Subject and so on the
1968 messages. This seems particularly important just now as a whole raft of G3's
1969 seem to be putting out non private bulls to callsigns.
1970 2. While I am at set messages to TO fields that appear to be users to private
1971 if they have been sent as bulls.
1972 3. Add DISTROs, if a callsign field appears in /spider/msg/distro in upper
1973 use that as a list of callsigns to send further. Note this is potentially
1974 recursive as callsigns in a distro can be distros.
1975 25Aug99=======================================================================
1976 1. check the date of a WWV much more carefully.
1977 24Aug99=======================================================================
1978 1. Prevented spots with lowercase callsigns being forwarded. This opens a
1979 much bigger can of worms which I shall have to address later.
1980 17Aug99=======================================================================
1981 1. all protocol except PC29 containing %XX characters will be dumped.
1982 2. Changed console.pl so that if you start typing it moves the top window
1983 back to the bottom.
1984 19Jul99=======================================================================
1985 1. Added iota and qra clauses to sh/dx as well, these take optional arguments
1986 and will look for the appropriate strings.
1987 17Jul99=======================================================================
1988 1. Started database integration.
1989 2. added qsl clause to sh/dx that searches for qsl or via in the dx info
1990 16Jul99=======================================================================
1991 1. drop frames with 'illegal' characters in them (but pass frames with 
1992 embedded %XX characters).
1993 15Jul99=======================================================================
1994 1. Changed grepdbg to accept a regexp. More useful (to me anyway).
1995 2. Altered init command so that it doesn't send PC21s down the initted 
1996 channel.
1997 10Jul99=======================================================================
1998 1. added an explicit disconnect from my side for already connected calls. This
1999 appears to have fixed a problem where if two consoles connect at the same time
2000 with the same (sysop?) callsign the cluster would stop.
2001 2. added some debugging in the Message handler to allow more state to be seen.
2002 3. Message handler now seems to work better for longer and doesn't spew out
2003 PC42 aborts with quite such gay abandon.
2004 05Jul99=======================================================================
2005 1. added stat/msg and stat/cluster commands to allow me to poke about inside
2006 the msg and cluster node tables.
2007 04Jul99=======================================================================
2008 1. removed silly 'new message has arrived' to connected nodes 
2009 2. added a ! command to the console.pl program; works like the bash shell.
2010 01Jul99=======================================================================
2011 1. Altered priv to 5 for connect.pl to match disconnect for nodes
2012 29Jun99=======================================================================
2013 1. fixed merge command that I broke.
2014 2. added some randomness in waittimes for aborted outgoing messages 
2015 3. Message Queuing now only occurs every 5 minutes (configurable if anyone 
2016 wants to write the command for doing it) and on receipt of a PC16. This is
2017 a further attempt at sorting the crossing of messages!
2018 4. a PC33 will cause another attempt at queuing. If you are on a roll, keep
2019 going!
2020 28Jun99=======================================================================
2021 1. console.pl now works with history and editting.
2022 2. added scrolling to stuff sent by the cluster.
2023 3. added colours to things.
2024 27Jun99=======================================================================
2025 1. added WWV filtering
2026 2. added timeouts to for forwarding Messages, also added a waiting time for
2027 failed (stalled) outgoing messages.
2028 3. Incoming messages will now have priority over outgoing messages to the
2029 same node.
2030 4. Added 'catchup' command which will 'catchup' messages to date for a node. 
2031 This means that when you start forwarding to a node, it doesn't get all the
2032 messages queued up that are probably old.
2033 5. added 'uncatchup' which does the opposite of the above.
2034 6. fixed kill full and PC49 handling so that it actually works.
2035 7. Fixed local aliases so they add to the front of the standard ones. This
2036 means you only need to add your specials or override the system ones you need
2037 to.
2038 21Jun99=======================================================================
2039 1. changed regex for cluster->client msgs so that strings like |---| are no
2040 longer ignored.
2041 20Jun99=======================================================================
2042 1. prevented a merge to myself (causes a loop)
2043 18Jun99=======================================================================
2044 1. fixed a problem with DXLogPrint repeating log entries.
2045 2. altered the permissions on disconnnect so that priv 5 users can disconnect
2046 clusters, but still require priv 8 to disconnect users.
2047 3. made sure that an incoming PC18 clears out all the cluster info for
2048 that channel before re-initialising.
2049 4. add init command.
2050 5. disconnect users before nodess on shutdown
2051 15Jun99=======================================================================
2052 1. added grepdbg program (so you can search your debug files and get times
2053 and dates of incidents).
2054 2. Moved DXVars.pm to DXVars.pm.issue to force new users to cp it to their
2055 local directory.
2056 3. added $allowzero to DXProt to allow thru PC19s with zero protocol versions.
2057 14Jun99=======================================================================
2058 1. changed IO::File in help and apropos to IO::File
2059 2. added a check for isa('DXNode') for PC50s
2060 08Jun99=======================================================================
2061 1. Started work on the curses based operator console.
2062 03Jun99=======================================================================
2063 1. cluster seems to have a memory leak, put DESTROY functions in where 
2064 appropriate.
2065 2. try to make sure that PC21 commands are not issued inappropriately and
2066 also reformat PC19 for onward broadcast so that nodes coming in on loops are
2067 dropped from those broadcasts.
2068 3. make sure PC16,17,19,21 doen't affect locally connected nodes.
2069 4. Changed all instances of FileHandle to IO::File.
2070 01Jun99=======================================================================
2071 1. removed a output of an unwanted pc21 for isolated nodes
2072 31May99=======================================================================
2073 1. Added checking for PC16,17,19 and 21 to make sure that they come in from
2074 the channels that they are supposed to.
2075 2. Pass the RCMDing node's priv level to the command (rather than the 
2076 connecting node's privilege level).
2077 3. Pass thru merge requests for other nodes.
2078 4. Removed a warning from client.pl
2079 5. routed external DB commands and drop them (for now) locally
2080 6. routed external mail commands (ie those addressed elsewhere)
2081 7. routed external PC26/27 lines 
2082 25May99=======================================================================
2083 1. try to make the lastin value correct even for local users
2084 2. got rid of the stupid bug that failed to print out the offline message
2085 but put a "*main::STDOUTmain" for every line of that message instead.
2086 3. Ported to 5.00503 (well actually just installed it and it just runs). 
2087 4. Added who command
2088 23May99=======================================================================
2089 1. Got rid of some of the useless error messages on global destruction when
2090 quiting a program.
2091 2. Stuck -w back on client.pl
2092 23May99=======================================================================
2093 1. tried to change connection to raw mode for cluster connections
2094 2. sh/c and sh/u are now sorted in alphabetical order
2095 3. Limited the number of queued dx spots when composing messages to 20 (the 
2096 oldest one is lost for every one added above 20).
2097 4. Added generalised shell globbing everywhere I think it is useful, including
2098 sh/dx, dir, sh/files etc
2099 5. Made dir more compatible with ak1a and added 'to' and 'from' call searching
2100 it should now do everything that ak1a does except counts.
2101 6. added similar functionality to kill command so that you can kill ranges, to
2102 and from callsigns etc.
2103 22May99=======================================================================
2104 1. added check for -1 from Date::Parse and return undef for out of range dates
2105 2. added show/files and type commands
2106 21May99=======================================================================
2107 1. made set/nodx work again.
2108 2. made dx stuff queue nicely again when sending messages.
2109 18May99=======================================================================
2110 1. Added announce dup checking.
2111 2. Added system announce filtering.
2112 08May99=======================================================================
2113 1. Added a bit more checking to the rcmd thing to make more sure that this
2114 rcmd isn't coming from an imposter. Not possible to prevent everything 
2115 ofcourse, just make it a bit harder.
2116 2. altered set/lockout and set/privilege so that they can't executed remotely.
2117 3. Added some code to reject rubbish (with invalid binary characters) protocol
2118 or user lines as input.
2119 4. prevented PC command being executed remotely :-)
2120 05May99=======================================================================
2121 1. change the connection overlap from an abort to a disconnect.
2122 02May99=======================================================================
2123 1. Added the mechanism for doing user spot filtering for spots in the cluster 
2124 (no user control just yet - but sysops can do it).
2125 2. Fixed problem with nodes sending out the node lists of isolated nodes.
2126 30Apr99=======================================================================
2127 1. Try to make it even more AK1A friendly by putting the node list out in the
2128 'correct' order.
2129 2. added code so that local users and commands go to all connected nodes 
2130 INCLUDING the isolated ones.
2131 26Apr99=======================================================================
2132 1. added set/user command as a hack, please use this with care, there is
2133 very little checking.
2134 2. added export_opernam.pl which is a basic reader of AK1A opernam.dat files
2135 to stdout
2136 25Apr99=======================================================================
2137 1. Fixed problem with filtered spots not coming out.
2138 2. Added the possibility of filtering on channel callsign
2139 20Apr99=======================================================================
2140 1. altered order of undefing and closing of user file in an attempt to make 
2141 corruptions/missing users less likely.
2142 2. made messages that are addressed to the node call appear to the alias call
2143 3. check dates much more rigourously.
2144 4. ignore SIGTERM and SIGINT during shutdown of the cluster
2145 15Mar99=======================================================================
2146 1. added $actiondata to filter line to allow per action data such as no of hops
2147 2. fixed a silly problem in talk for non-existant callsigns
2148 3. Added sysop command
2149 02Mar99========================================================================
2150 1. Changed DXUser so that it uses a homemade import/export hash routine 
2151 2. DXUser now uses a DB_BTREE file
2152 3. Added export_users.pl, import_users.pl and convert_users.pl
2153 25Feb99========================================================================
2154 1. added NL language stuff.
2155 2. added set/language
2156 21Feb99========================================================================
2157 1. Allowed multiple 'on <freq>' for show/dx
2158 2. Made sure the 'on 20m/ssb' thing worked (also 'on hf/cw').
2159 3. first cut of the Filtering code, no user commands yet but the file
2160 format is defined and manually added filters should work for spots
2161 17Feb99========================================================================
2162 1. added export_user.pl to export user files (for interest and safety)
2163 2. changed DXUser::init to allow O_RDONLY access which may limit the number
2164 of coredumps G0RDI seems to get.
2165 15Feb99========================================================================
2166 1. Added msg forwarding code which uses $main::root/msg/forward.pl.
2167 14Feb99========================================================================
2168 1. Changed A & K in WWV to be the other way around (I am told by G3IOR that
2169 this will mean that we won't have pole to pole aurora nor all the power lines
2170 overloading everywhere as well as a result of having values of K > 10).
2171 2. allow the '~' character in message bodies.
2172 3. Moved $main::data/badmsg.pl to $main::root/msg/badmsg.pl.
2173 11Feb99========================================================================
2174 1. Fixed a problem with isolated nodes' configurations being sent on sending 
2175 local configs to new connections.
2176 08Feb99========================================================================
2177 1. added a $SIG{ALRM} in the client to actually catch the alarm when it goes 
2178 off which means that the netrom/ax25 call programs terminate properly (and not
2179 loop as fast as their little legs can paddle, soaking up CPU time).
2180 2. Implemented read receipts as an especial request from G4PDQ.
2181 3. Fiddled with DXUser a bit to see whether I can stop it core dumping on new
2182 users in PC16s on G0RDI's machine.
2183 4. Added E4 (Palestine) to Prefix data.
2184 30Jan99========================================================================
2185 1. Some of the dates we get can cause crashes, tried to make it more robust (oh
2186 and Y2K compliant)
2187 2. PC16 seem to come in with missing callsigns from somewhere
2188 3. added $main::data/baddx.pl which prevents callsigns that are in the list being
2189 a) forwarded b) stored and c) (except for the originator, if local) being
2190 displayed locally.
2191 4. added $main::data/badmsg.pl which deletes any messages whose TO address is
2192 in this list (this is largely for european sensibilities). 
2193 18Jan99========================================================================
2194 1. added present(),presentish() and disconnect() to DXCron so that you can see 
2195 (easily) if a station is on the cluster anywhere and also disconnect them
2196 locally. 
2197 2. added rcmd() to DXCron so you can send an rcmd to someone else from crontab.
2198 3. <embarrassment>Fixed create_sysop.pl so that longitude is spelt correctly
2199 there as well</embarrassment> made the update work properly. NOTE create_sysop
2200 will only do what you expect if all cluster.pl and client.pl programs are 
2201 stopped.
2202 4. DXCron wasn't reading in reliably on startup, this is now (hopefully) fixed.
2203 the -M semantics are rather strange!
2204 5. The -w switch is now standard on cluster.pl
2205 6. Added last_connect() which gives the last connect time of a user (or now
2206 if connected).
2207 7. Added present_on(call, node) and presentish_on(ditto) which returns true if 
2208 the call is connected to the node.
2209 8. incoming messages for users will now send a 'new message' message (instead
2210 of merely generating the message)[who wrote this rubbish?].
2211 9. Hooked $SIG{__WARN__} and $SIG{__DIE__} so we store these nasty error 
2212 messages.
2213 10. Print the no of users on restricted protocol links if we have had PC50
2214 11. Had a go at making the sh/cl stats more accurate.
2215 12. PC11 was trying to call Local::spot1 instead of Local::spot, no warning 
2216 previously.
2217 13. Added a simple lockfile to prevent more than one cluster running at a time
2218 17Jan99========================================================================
2219 1. fixed some permission problems on DXLog.
2220 2. There is a circumstance in DXMsg which caused the cluster to stop on an 
2221 null ref pointer which I can't get to the bottom of but have bandaided out 
2222 for now.
2223 3. Started filter and Database code.
2224 4. Upper cased all the TO callsigns for sending to more than one station in
2225 messages.
2226 07Jan99========================================================================
2227 1. Fixed Geomag after emacs reformatted it wrong so sh/wwv works again.
2228 2. Added more range checking in WWV spots (they really are a heap of ...)
2229 3. Changed create_sysop.pl so that you can update as well as create the user 
2230 file
2231 4. Remove spotter's SSID from WWV spots
2232 06Jan99========================================================================
2233 1. Do some range checking for spots and WWV in the future (got a WWV for Oct 
2234 2034 whhich caused a bit of confusion!)
2235 2. Make WWV spots broadcast them to the users! (as opposed to merely storing 
2236 them)(thank you G0RDI).
2237 3. Allow users to do show/announce (thank you JE1SGH).
2238 4. Delay broadcasts to users if they are not in a 'prompt' state (means you can
2239 add messages and see what you are doing on a busy system)
2240 5. Made set/unset dx,ann,wx,talk,wwv do what is expected
2241 6. added set/sys_location and set/set_qra to set the cluster lat/long and qra
2242 7. New messages will now be announced on logon (if there are any)
2243 03Jan99========================================================================
2244 1. Upped the version no !!!!
2245 2. made the DXProtocol routines much less sensitive to '~' characters (JE1SGH)
2246 3. added '^' -> ':' conversions on ann, talk and dx commands
2247 4. You can now send messages containing blank lines.
2248 5. Fixed merge command problem reported by G0RDI
2249 28Dec98========================================================================
2250 1. Crossed fingers, got rid of the instabilities caused by execing programs
2251 at vast speed (reduced it significantly anyway).
2252 2. Personals will now move if homenode is known.
2253 3. Added Local.pm for doing local specials
2254 27Dec98========================================================================
2255 1. Various detail changes to remove some more warning with -w on
2256 2. Added DXCron handling - you can do crontabs now.
2257 3. Added show/program command so you can see where it is loading your .pm files
2258 from.
2259 4. Added pc26/27 replies to locally connected cluster's merge (pc25) requests
2260 5. Added spotters DXCC and original cluster to Spot data files.
2261 23Dec98========================================================================
2262 1. Reindented various things
2263 2. Added missing $main::mycall on the end of outgoing PC11s (!)
2264 3. Check that PC16/17 node calls really are nodes (AFAIAC).
2265 22Dec98========================================================================
2266 1. Added brackets round callsign if not here for prompt
2267 2. Added Iain's set/password routine
2268 3. Fixed sh/dx problems (the xemacs indent region messed Spot.pm up!)
2269 4. Issued 1.15
2270 21Dec98============= late! ====================================================
2271 1. fixed problem with missing DXDebug in DXProt.
2272 2. Fixed DXDebug so that it actually works as advertised with and without 
2273 trailing \n. 
2274 3. Added deduping of WWV spots as well (at for date,time,sfi,k and i) dups
2275 4. Replaced the 0 in "02-Dec-1998" with ' ' so it reads " 2-Dec-1998", it seems
2276 hard to credit it but some 'programs' out there that connect to clusters have
2277 problems with the leading '0'!
2278 5. In the same vain, included a strictly AK1A compatible sh/heading, apparently
2279 this is necessary for the same reason as 4.
2280 6. Started contrib tree stored the old show/heading in contrib/g0rdi/show.
2281 7. Because I now correctly dedupe spots and wwv (there's a hostage to fortune..)
2282 I have added a merge command. 
2283 21Dec98========================================================================
2284 1. Added "issue" to the client program for 'login' connections
2285 2. Added more docs for client program.
2286 3. Fixed problem introduced in 1.12 where a connect locally with a callsign of
2287 someone connected remotely would stop the cluster.
2288 4. issue release 1.13
2289 20Dec98========================================================================
2290 1. Removed all the warnings I get with perl -w (at least for just starting the
2291 cluster and running a few commands).
2292 2. Added per node hop control.
2293 3. Added some docs on how to use it and isolation
2294 4. Made talk command more intelligent in that if the user isn't seen and the
2295 user's last node is visible it tries the talk anyway.
2296 19Dec98========================================================================
2297 1. Fixed problems with sh/rcmd (talk/ann/log) with a callsign as argument and
2298 also made what G0RDI wanted work as well!
2299 2. Added isolate flag to allow isolation of different networks at a gateway.
2300 3. Changed make Makefile.PL to perl Makefile.PL in instructions
2301 4. Copied latest instructions to html directory
2302 5. Had another attempt at making clients disconnect without hanging everytime.
2303 6. Changed msg queuing semantics so that the system routes on exact callsign.
2304 7. Changed the protocol version so that it increments with the DXSpider version.
2305 14Dec98========================================================================
2306 1. Made the telnet thing work a bit better. It still will not work reliably to
2307 a real telnetd on port 23.
2308 2. Allowed network logins on client by specifying login instead of call.
2309 3. made msg handling more robust (PC30 with unknown streams cause PC42), queueing
2310 is only done on channels that are in state 'normal'.
2311 4. Added pc command which takes a callsign and some text and sends it without
2312 mods to the callsign, useful for sending manual PC protocol to unstick things.
2313 Also for sending anonymous messages to online users.
2314 5. Stopped duplicate messages being stored (it receives them and then bins them)
2315 6. Implemented PC49 delete/full from outside (kill full on the inside)
2316 7. Implemented the client command in connect scripts so that you can have 
2317 different scripts for the same callsign.
2318 8. Added sh/wwv command
2319 13Dec98========================================================================
2320 1. Fixed VS6 lat/long in prefix_data and wpxloc.raw
2321 2. Sorted out last in times for remote users
2322 3. editted and substitued G0RDI's version of the install instructions over
2323 mine in spider/html
2324 4. fixed telnet connections
2325 5. added connect instructions to html tree.
2326 6. Added some more help
2327 7. Upissued version
2328 12Dec98========================================================================
2329 1. Incorporated sh/st, (un)set/lockout, forward/opername from Iain G0RDI
2330 2. Added group handling with (un)set/group, show/group. This allows arbitrary
2331 groups to be formed (for ann/<group> for example) and is also used to 'filter' 
2332 spots, announces, wwvs etc into groups of cluster nodes (useful for creating 
2333 disjoint cluster networks)
2334 3. **** CHANGE mylongtitude to mylongitude in DXVars.pm ****
2335 4. Altered QRA locator routines so they work correctly!
2336 5. Fixed all commands that had the wrong mylat(itude) and mylong(itude) names
2337 in.
2338 07Dec98========================================================================
2339 1. Added set/name, set/qra, set/location, set/qth, set/homenode, set/bbs, 
2340 set/email
2341 2. changed the Msg socket close to a shutdown (hopefully more reliable), this 
2342 should stop clients hanging on exit.
2343 3. Added Alias support for help
2344 4. Added lltos and stoll routines to DXBearing
2345 5. Added auto prompting for name, qth, location and homenode if any of these
2346 aren't known.
2347 06Dec98========================================================================
2348 1. Fixed DXBearing::is_qra so that it correctly detects full QRA locators
2349 2. Added sh/qra for doing locator distances and bearings
2350 3. Added some stuff to Notes.txt on hints for command writers
2351 4. Changed help system to use just one file per language
2352 5. Started adding more help
2353 6. Fixed 24Mhz band limits
2354 7. Added apropos command and lots of new help text
2355 05Dec98========================================================================
2356 1. Added sh/heading and QRA locator calculation stuff
2357 04Dec98========================================================================
2358 1. Started Changes file
2359 2. Added load/cmd_cache.pl to clear cmd cache shortcuts (use this if cluster.pl
2360 get confused about where it is getting its commands from eg if you have
2361 removed a file from local_cmd 'cos you want to go back to standard one)
2362 3. Fixed bull handling at least to the extent that it stores them and
2363 doesn't mess up the normal directory handling.
2364 4. Fixed the unset/debug command so that it actually does the job!
2365 5. Removed the middle line 'written in perl for unix' from show/version.pl