]> jfr.im git - irc/quakenet/newserv.git/blobdiff - newsearch/newsearch.c
NEWSEARCH: check for NULL subset pointer in parseopts.
[irc/quakenet/newserv.git] / newsearch / newsearch.c
index f5bb203a7f409e2b34c958e0c8a77d773473dbc6..100ddf94bd9dbaea7f2a874f5d9bed97571cdf31 100644 (file)
@@ -1,6 +1,6 @@
 #include <stdio.h>
 #include <stdarg.h>
-#include "newsearch.h"
+#include <string.h>
 
 #include "../irc/irc_config.h"
 #include "../lib/irc_string.h"
 #include "../control/control.h"
 #include "../lib/splitline.h"
 #include "../lib/version.h"
+#include "../lib/stringbuf.h"
+#include "../lib/strlfunc.h"
+#include "../lib/array.h"
+#include "newsearch.h"
+#include "parser.h"
 
 MODULE_VERSION("");
 
-CommandTree *searchTree;
-CommandTree *chanOutputTree;
-CommandTree *nickOutputTree;
+CommandTree *searchCmdTree;
+searchList *globalterms = NULL;
 
 int do_nicksearch(void *source, int cargc, char **cargv);
 int do_chansearch(void *source, int cargc, char **cargv);
+int do_usersearch(void *source, int cargc, char **cargv);
 
 void printnick_channels(searchCtx *, nick *, nick *);
 void printchannel(searchCtx *, nick *, chanindex *);
 void printchannel_topic(searchCtx *, nick *, chanindex *);
 void printchannel_services(searchCtx *, nick *, chanindex *);
 
-void registersearchterm(char *term, parseFunc parsefunc);
-void deregistersearchterm(char *term, parseFunc parsefunc);
+UserDisplayFunc defaultuserfn = printuser;
+NickDisplayFunc defaultnickfn = printnick;
+ChanDisplayFunc defaultchanfn = printchannel;
+
+searchCmd *reg_nicksearch, *reg_chansearch, *reg_usersearch;
+void displaycommandhelp(nick *, Command *);
+void displaystrerror(replyFunc, nick *, const char *);
+
+searchCmd *registersearchcommand(char *name, int level, CommandHandler cmd, void *defaultdisplayfunc) {
+  searchCmd *acmd;
+  searchList *sl;
+
+  registercontrolhelpfunccmd(name, NO_OPER,4, cmd, &displaycommandhelp);  
+  acmd=(struct searchCmd *)malloc(sizeof(struct searchCmd));
+  if (!acmd) {
+    Error("newsearch", ERR_ERROR, "malloc failed: registersearchcommand");
+    return NULL;
+  }
+  acmd->handler = cmd;
+
+  acmd->name = getsstring( name, NSMAX_COMMAND_LEN); 
+  acmd->outputtree = newcommandtree();
+  acmd->searchtree = newcommandtree();
+
+  addcommandtotree(searchCmdTree, name, 0, 0, (CommandHandler)acmd);
 
-void regchandisp(const char *name, ChanDisplayFunc handler) {
-  addcommandtotree(chanOutputTree, name, 0, 0, (CommandHandler)handler);
+  for (sl=globalterms; sl; sl=sl->next) {
+    addcommandexttotree(acmd->searchtree, sl->name->content, 0, 1, (CommandHandler)sl->cmd, sl->help);
+  }
+
+  return acmd;
 }
 
-void unregchandisp(const char *name, ChanDisplayFunc handler) {
-  deletecommandfromtree(chanOutputTree, name, (CommandHandler)handler);
+void deregistersearchcommand(searchCmd *scmd) {
+  deregistercontrolcmd(scmd->name->content, (CommandHandler)scmd->handler);
+  destroycommandtree(scmd->outputtree);
+  destroycommandtree(scmd->searchtree);
+  deletecommandfromtree(searchCmdTree, scmd->name->content, (CommandHandler) scmd);
+  freesstring(scmd->name);
+  free(scmd);
 }
 
-void regnickdisp(const char *name, NickDisplayFunc handler) {
-  addcommandtotree(nickOutputTree, name, 0, 0, (CommandHandler)handler);
+void displaycommandhelp(nick *np, Command *cmd) {
+  int i,n,j,m;
+  Command *cmdlist[100], *acmdlist[100];
+  searchCmd *acmd;
+
+  n=getcommandlist(searchCmdTree,cmdlist,100);
+  for(i=0;i<n;i++) {
+    /* note: we may want to only deregister a command if we've already registered it, for now, try de-registering new commands anyway */
+    if ( ((searchCmd *)cmdlist[i]->handler)->handler != cmd->handler )
+      continue;
+    acmd = ((searchCmd *)(cmdlist[i]->handler)); 
+
+    controlreply(np, "Usage: [flags] <criteria>\n");
+    controlreply(np, "Flags:\n");
+    controlreply(np, " -l int    : Limit number of rows of results\n");
+    controlreply(np, " -d string : a valid output format for the results\n"); 
+    controlreply(np, " -s subset : ipmask subset of network to search (only for node search)\n");
+    controlreply(np, " \n");
+    controlreply(np, "Available Output Formats:\n");
+  
+    m=getcommandlist(acmd->outputtree,acmdlist,100);
+    for(j=0;j<m;j++) {
+      if ( controlpermitted( acmdlist[j]->level, np) ) {
+        char *help=(char *)acmdlist[j]->ext;
+        if ( help && help[0] != '\0')
+          controlreply(np, "%-10s: %s\n", acmdlist[j]->command->content, help);
+        else 
+          controlreply(np, "%s\n", acmdlist[j]->command->content ); 
+      }
+    }
+
+    controlreply(np, " \n");
+    controlreply(np, "Available Global Commands and Operators:\n" );
+    m=getcommandlist(acmd->searchtree,acmdlist,100);
+    for(j=0;j<m;j++) {
+      if ( acmdlist[j]->maxparams) {
+        char *help=(char *)acmdlist[j]->ext;
+        if ( help && help[0] != '\0')
+          controlreply(np, "%-10s: %s\n", acmdlist[j]->command->content, help );
+        else
+          controlreply(np, "%s\n", acmdlist[j]->command->content );
+      }
+    }
+
+    controlreply(np, " \n");
+    controlreply(np, "Available Commands and Operators for %s:\n", acmd->name->content);
+
+    m=getcommandlist(acmd->searchtree,acmdlist,100);
+    for(j=0;j<m;j++) {
+      if ( !acmdlist[j]->maxparams && controlpermitted( acmdlist[j]->level, np) ) {
+        char *help=(char *)acmdlist[j]->ext;
+        if ( help && help[0] != '\0')
+          controlreply(np, "%-10s: %s\n", acmdlist[j]->command->content, help );
+        else
+          controlreply(np, "%s\n", acmdlist[j]->command->content );
+      }
+    }
+  }
 }
 
-void unregnickdisp(const char *name, NickDisplayFunc handler) {
-  deletecommandfromtree(nickOutputTree, name, (CommandHandler)handler);
+void regdisp( searchCmd *cmd, const char *name, void *handler, int level, char *help) {
+  addcommandexttotree(cmd->outputtree, name, level, 0, (CommandHandler) handler, (char *)help);
+} 
+
+void unregdisp( searchCmd *cmd, const char *name, void *handler ) {
+  deletecommandfromtree(cmd->outputtree, name, (CommandHandler) handler);
 }
 
+void *findcommandinlist( searchList *sl, char *name){
+  while (sl) {
+    if(strcmp(sl->name->content,name) == 0 ) {
+      return sl;
+    }
+    sl=sl->next;
+  }
+  return NULL;
+} 
+
 const char *parseError;
 /* used for *_free functions that need to warn users of certain things
    i.e. hitting too many users in a (kill) or (gline) */
 nick *senderNSExtern;
 
 void _init() {
-  searchTree=newcommandtree();
-  chanOutputTree=newcommandtree();
-  nickOutputTree=newcommandtree();
+  searchCmdTree=newcommandtree();
+
+  reg_nicksearch = (searchCmd *)registersearchcommand("nicksearch",NO_OPER,&do_nicksearch, printnick);
+  reg_chansearch = (searchCmd *)registersearchcommand("chansearch",NO_OPER,&do_chansearch, printchannel);
+  reg_usersearch = (searchCmd *)registersearchcommand("usersearch",NO_OPER,&do_usersearch, printuser);
 
   /* Boolean operations */
-  registersearchterm("and",and_parse);
-  registersearchterm("not",not_parse);
-  registersearchterm("or",or_parse);
+  registerglobalsearchterm("and",and_parse, "usage: (and (X) (X))" );
+  registerglobalsearchterm("not",not_parse, "usage: (not (X))");
+  registerglobalsearchterm("or",or_parse, "usage: (or (X) (X))" );
 
-  registersearchterm("eq",eq_parse);
+  registerglobalsearchterm("eq",eq_parse, "usage: (eq (X) Y)");
 
-  registersearchterm("lt",lt_parse);
-  registersearchterm("gt",gt_parse);
+  registerglobalsearchterm("lt",lt_parse, "usage: (lt (X) int)");
+  registerglobalsearchterm("gt",gt_parse, "usage: (gt (X) int)");
  
   /* String operations */
-  registersearchterm("match",match_parse);
-  registersearchterm("regex",regex_parse);
-  registersearchterm("length",length_parse);
+  registerglobalsearchterm("match",match_parse, "usage: (match (X) string)");
+  registerglobalsearchterm("regex",regex_parse, "usage: (regex (X) string)");
+  registerglobalsearchterm("length",length_parse, "usage: (length string)");
   
   /* Nickname operations */
-  registersearchterm("hostmask",hostmask_parse);
-  registersearchterm("realname",realname_parse);
-  registersearchterm("authname",authname_parse);
-  registersearchterm("authts",authts_parse);
-  registersearchterm("ident",ident_parse);
-  registersearchterm("host",host_parse);
-  registersearchterm("channel",channel_parse);
-  registersearchterm("timestamp",timestamp_parse);
-  registersearchterm("country",country_parse);
-  registersearchterm("ip",ip_parse);
-  registersearchterm("channels",channels_parse);
-  registersearchterm("server",server_parse);
-  registersearchterm("authid",authid_parse);
+  registersearchterm(reg_nicksearch, "hostmask",hostmask_parse, 0, "The user's nick!user@host; \"hostmask real\" returns nick!user@host\rreal");     /* nick only */
+  registersearchterm(reg_nicksearch, "realname",realname_parse, 0, "User's current realname");     /* nick only */
+  registersearchterm(reg_nicksearch, "authname",authname_parse, 0, "User's current authname or false");     /* nick only */
+  registersearchterm(reg_nicksearch, "authts",authts_parse, 0, "User's Auth timestamp");         /* nick only */
+  registersearchterm(reg_nicksearch, "ident",ident_parse, 0, "User's current ident");           /* nick only */
+  registersearchterm(reg_nicksearch, "host",host_parse, 0, "User's host, allow \"host real\" to match real host");             /* nick only */
+  registersearchterm(reg_nicksearch, "channel",channel_parse, 0, "Valid Channel Name to match users against");       /* nick only */
+  registersearchterm(reg_nicksearch, "timestamp",timestamp_parse, 0, "User's Timestamp");   /* nick only */
+  registersearchterm(reg_nicksearch, "country",country_parse, 0, "2 letter country code (data source is geoip)");       /* nick only */
+  registersearchterm(reg_nicksearch, "ip",ip_parse, 0, "User's IP - ipv4 or ipv6 format as appropriate. Note: not 6to4");                 /* nick only */
+  registersearchterm(reg_nicksearch, "channels",channels_parse, 0, "Channel Count");     /* nick only */
+  registersearchterm(reg_nicksearch, "server",server_parse, 0, "Server Name. Either (server string) or (match (server) string)");         /* nick only */
+  registersearchterm(reg_nicksearch, "authid",authid_parse, 0, "User's Auth ID");         /* nick only */
+  registersearchterm(reg_nicksearch, "cidr",cidr_parse, 0, "CIDR matching");         /* nick only */
+  registersearchterm(reg_nicksearch, "ipvsix",ipv6_parse, 0, "IPv6 user");         /* nick only */
 
   /* Channel operations */
-  registersearchterm("exists",exists_parse);
-  registersearchterm("services",services_parse);
-  registersearchterm("size",size_parse);
-  registersearchterm("name",name_parse);
-  registersearchterm("topic",topic_parse);
-  registersearchterm("oppct",oppct_parse);
-  registersearchterm("uniquehostpct",hostpct_parse);
-  registersearchterm("authedpct",authedpct_parse);
-  registersearchterm("kick",kick_parse);
+  registersearchterm(reg_chansearch, "exists",exists_parse, 0, "Returns if channel exists on network. Note: newserv may store data on empty channels");         /* channel only */
+  registersearchterm(reg_chansearch, "services",services_parse, 0, "");     /* channel only */
+  registersearchterm(reg_chansearch, "size",size_parse, 0, "Channel user count");             /* channel only */
+  registersearchterm(reg_chansearch, "name",name_parse, 0, "Channel Name");             /* channel only */
+  registersearchterm(reg_chansearch, "topic",topic_parse, 0, "Channel topic");           /* channel only */
+  registersearchterm(reg_chansearch, "oppct",oppct_parse, 0, "Percentage Opped");           /* channel only */
+  registersearchterm(reg_chansearch, "cumodecount",cumodecount_parse, 0, "Count of users with given channel modes");           /* channel only */
+  registersearchterm(reg_chansearch, "cumodepct",cumodepct_parse, 0, "Percentage of users with given channel modes");           /* channel only */
+  registersearchterm(reg_chansearch, "uniquehostpct",hostpct_parse, 0, "uniquehost percent"); /* channel only */
+  registersearchterm(reg_chansearch, "authedpct",authedpct_parse, 0, "Percentage of authed users");   /* channel only */
+  registersearchterm(reg_chansearch, "kick",kick_parse, 0, "KICK users channels in newsearch result. Note: evaluation order");             /* channel only */
 
   /* Nickname / channel operations */
-  registersearchterm("modes",modes_parse);
-  registersearchterm("nick",nick_parse);
+  registersearchterm(reg_chansearch, "modes",modes_parse, 0, "User Modes");
+  registersearchterm(reg_nicksearch, "modes",modes_parse, 0, "Channel Modes");
+  registersearchterm(reg_chansearch, "nick",nick_parse, 0, "Nickname");
+  registersearchterm(reg_nicksearch, "nick",nick_parse, 0, "Nickname");
 
   /* Kill / gline parameters */
-  registersearchterm("kill",kill_parse);
-  registersearchterm("gline",gline_parse);
+  registersearchterm(reg_chansearch,"kill",kill_parse, 0, "KILL users in newsearch result. Note: evaluation order");
+  registersearchterm(reg_chansearch,"gline",gline_parse, 0, "GLINE users in newsearch result. Note: evaluation order");
+  registersearchterm(reg_nicksearch,"kill",kill_parse, 0, "KILL users in newsearch result. Note: evaluation order");
+  registersearchterm(reg_nicksearch,"gline",gline_parse, 0, "GLINE users in newsearch result. Note: evaluation order");
+
+  /* Iteration functionality */
+  registerglobalsearchterm("any",any_parse, "usage: any (generatorfn x) (fn ... (var x) ...)");
+  registerglobalsearchterm("all",all_parse, "usage: all (generatorfn x) (fn ... (var x) ...)");
+  registerglobalsearchterm("var",var_parse, "usage: var variable");
+  
+  /* Iterable functions */
+  registersearchterm(reg_nicksearch, "channeliter",channeliter_parse, 0, "Channel Iterable function - usage: (any (channeliter x) (match (var x) #twilight*))");         /* nick only */
+  registersearchterm(reg_chansearch, "nickiter",nickiter_parse, 0, "Nick Iterable function - usage: (any (nickiter x) (match (var x) nickname*))");         /* channel only */
 
+  /* Functions that work on strings?! */
+  registersearchterm(reg_nicksearch, "cumodes", cumodes_parse, 0, "usage: (cumodes (var x) <modes>)");
+  registersearchterm(reg_chansearch, "cumodes", cumodes_parse, 0, "usage: (cumodes (var x) <modes>)");
+    
   /* Notice functionality */
-  registersearchterm("notice",notice_parse);
-  
+  registersearchterm(reg_chansearch,"notice",notice_parse, 0, "NOTICE users in newsearch result. Note: evaluation order");
+  registersearchterm(reg_nicksearch,"notice",notice_parse, 0, "NOTICE users in newsearch result. Note: evaluation order");
   /* Nick output filters */
-  regnickdisp("default",printnick);
-  regnickdisp("channels",printnick_channels);
+  regdisp(reg_nicksearch,"default",printnick, 0, "");
+  regdisp(reg_nicksearch,"channels",printnick_channels, 0, "include channels in output");
     
   /* Channel output filters */
-  regchandisp("default",printchannel);
-  regchandisp("topic",printchannel_topic);
-  regchandisp("services",printchannel_services);
+  regdisp(reg_chansearch,"default",printchannel, 0, "");
+  regdisp(reg_chansearch,"topic",printchannel_topic, 0, "display channel topics");
+  regdisp(reg_chansearch,"services",printchannel_services, 0, "display services on channels");
 
-  registercontrolhelpcmd("nicksearch",NO_OPER,4,do_nicksearch, "Usage: nicksearch <criteria>\nSearches for nicknames with the given criteria.");
-  registercontrolhelpcmd("chansearch",NO_OPER,4,do_chansearch, "Usage: chansearch <criteria>\nSearches for channels with the given criteria.");
+  /* Nick output filters */
+  regdisp(reg_usersearch,"default",printuser, 0, "");
 }
 
 void _fini() {
-  destroycommandtree(searchTree);
-  destroycommandtree(chanOutputTree);
-  destroycommandtree(nickOutputTree);
-  deregistercontrolcmd("nicksearch", do_nicksearch);
-  deregistercontrolcmd("chansearch", do_chansearch);
+  searchList *sl, *psl;
+  int i,n;
+  Command *cmdlist[100];
+
+  sl=globalterms;
+  while (sl) {
+    psl = sl;
+    sl=sl->next;
+
+    n=getcommandlist(searchCmdTree,cmdlist,100);
+    for(i=0;i<n;i++) {
+      deregistersearchterm( (searchCmd *)cmdlist[i]->handler, psl->name->content, psl->cmd);
+    }
+
+    freesstring(psl->name);
+    if (psl->help) 
+      free (psl->help);
+    free(psl);
+  }
+
+  deregistersearchcommand( reg_nicksearch );
+  deregistersearchcommand( reg_chansearch );
+  deregistersearchcommand( reg_usersearch );
+  destroycommandtree( searchCmdTree );
 }
 
-void registersearchterm(char *term, parseFunc parsefunc) {
-  addcommandtotree(searchTree, term, 0, 0, (CommandHandler) parsefunc);
+void registerglobalsearchterm(char *term, parseFunc parsefunc, char *help) {
+  int i,n;
+  Command *cmdlist[100];
+  searchList *sl = malloc(sizeof(searchList));
+  if (!sl) {
+    Error("newsearch", ERR_ERROR, "malloc failed: registerglobalsearchterm");
+    return;
+  }
+
+  sl->cmd = parsefunc;
+  sl->name = getsstring(term, NSMAX_COMMAND_LEN);
+  sl->next = NULL;
+  if (help) {
+    int len=strlen(help);
+    sl->help=(char *)malloc(len+1);
+    if(!sl->help) {
+      Error("newsearch", ERR_ERROR, "malloc failed: registerglobalsearchterm");
+      return;
+    }
+      strncpy(sl->help, help, len);
+      sl->help[len] = '\0';
+  } else {
+    sl->help=NULL;
+  }
+
+
+  if ( globalterms != NULL ) {
+    sl->next = globalterms;
+  }
+  globalterms = sl;
+
+  n=getcommandlist(searchCmdTree,cmdlist,100);
+  for(i=0;i<n;i++) {
+    /* maxparams is set to 1 to indicate a global term */
+    /* access level is set to 0 for all global terms */
+    addcommandexttotree( ((searchCmd *)cmdlist[i]->handler)->searchtree,term, 0, 1, (CommandHandler) parsefunc, help);
+  }
 }
 
-void deregistersearchterm(char *term, parseFunc parsefunc) {
-  deletecommandfromtree(searchTree, term, (CommandHandler) parsefunc);
+void deregisterglobalsearchterm(char *term, parseFunc parsefunc) {
+  int i,n;
+  Command *cmdlist[100];
+  searchList *sl, *psl=NULL;
+
+  for (sl=globalterms; sl; sl=sl->next) {
+    if ( strcmp( sl->name->content, term) == 0 ) {
+      break;
+    }
+    psl = sl;
+  }
+
+  if (sl) {
+    if( psl ) {
+      psl->next = sl->next;
+    } 
+
+    n=getcommandlist(searchCmdTree,cmdlist,100);
+    for(i=0;i<n;i++) {
+      deletecommandfromtree( ((searchCmd *)cmdlist[i]->handler)->searchtree, term, (CommandHandler) parsefunc);
+    }
+    freesstring(sl->name);
+    free(sl);
+  }
+}
+
+void registersearchterm(searchCmd *cmd, char *term, parseFunc parsefunc, int level, char *help) {
+  /* NOTE: global terms are added to the tree elsewhere as we set maxparams to 1 to indicate global */
+  addcommandexttotree(cmd->searchtree, term, level, 0, (CommandHandler) parsefunc, help);
 }
 
+void deregistersearchterm(searchCmd *cmd, char *term, parseFunc parsefunc) {
+  /* NOTE: global terms are removed from the tree within deregisterglobalsearchterm */
+  deletecommandfromtree(cmd->searchtree, term, (CommandHandler) parsefunc);
+}
+
+static void controlwallwrapper(int level, char *format, ...) __attribute__ ((format (printf, 2,         3)));
 static void controlwallwrapper(int level, char *format, ...) {
   char buf[1024];
   va_list ap;
@@ -143,53 +361,106 @@ static void controlwallwrapper(int level, char *format, ...) {
   va_end(ap);
 }
 
-int do_nicksearch_real(replyFunc reply, wallFunc wall, void *source, int cargc, char **cargv) {
-  nick *sender = senderNSExtern = source;
-  struct searchNode *search;
-  int limit=500;
+int parseopts(int cargc, char **cargv, int *arg, int *limit, void **subset, void *display, CommandTree *sl, replyFunc reply, void *sender) {
   char *ch;
-  int arg=0;
-  struct Command *cmd;
-  NickDisplayFunc display=printnick;
-  searchCtx ctx;
-
-  if (cargc<1)
-    return CMD_USAGE;
-  
+  Command *cmd;
+  struct irc_in_addr sin; unsigned char bits;
   if (*cargv[0] == '-') {
     /* options */
-    arg++;
+    (*arg)++;
     
     for (ch=cargv[0]+1;*ch;ch++) {
       switch(*ch) {
       case 'l':
-       if (cargc<arg) {
-         reply(sender,"Error: -l switch requires an argument");
-         return CMD_USAGE;
+       if (cargc<*arg) {
+         reply(sender,"Error: -l switch requires an argument (for help, see help <searchcmd>)");
+         return CMD_ERROR;
        }
-       limit=strtoul(cargv[arg++],NULL,10);
+       *limit=strtoul(cargv[(*arg)++],NULL,10);
        break;
        
       case 'd':
-        if (cargc<arg) {
-          reply(sender,"Error: -d switch requires an argument");
-          return CMD_USAGE;
+        if (cargc<*arg) {
+          reply(sender,"Error: -d switch requires an argument (for help, see help <searchcmd>)");
+          return CMD_ERROR;
         }
-        cmd=findcommandintree(nickOutputTree, cargv[arg], 1);
+        cmd=findcommandintree(sl, cargv[*arg],1);
         if (!cmd) {
-          reply(sender,"Error: unknown output format %s",cargv[arg]);
-          return CMD_USAGE;
+          reply(sender,"Error: unknown output format %s (for help, see help <searchcmd>)",cargv[*arg]);
+          return CMD_ERROR;
+        }
+        if ( !controlpermitted( cmd->level, sender) ) {
+          reply(sender,"Error: Access Denied for output format %s (for help, see help <searchcmd>)", cargv[*arg]);
+          return CMD_ERROR;
         }
-        display=(NickDisplayFunc)cmd->handler;
-        arg++;
+        *((void **)display)=(void *)cmd->handler;
+        (*arg)++;
+        break;
+
+      case 's':
+        if (subset == NULL) {
+          reply(sender,"Error: -s switch not supported for this search.");
+          return CMD_ERROR;
+        }
+        if (cargc<*arg) {
+          reply(sender,"Error: -s switch requires an argument (for help, see help <searchcmd>)");
+          return CMD_ERROR;
+        }
+        if (ipmask_parse(cargv[*arg], &sin, &bits) == 0) {
+          reply(sender, "Error: Invalid CIDR mask supplied (for help, see help <searchcmd>)");
+          return CMD_ERROR;
+        }
+        *subset = (void *)refnode(iptree, &sin, bits);
+        (*arg)++;
         break;
         
       default:
-       reply(sender,"Unrecognised flag -%c.",*ch);
+       reply(sender,"Unrecognised flag -%c. (for help, see help <searchcmd>)",*ch);
+        return CMD_ERROR;
       }
     }
   }
 
+  return CMD_OK;
+}
+
+void newsearch_ctxinit(searchCtx *ctx, searchParseFunc searchfn, replyFunc replyfn, wallFunc wallfn, void *arg, searchCmd *cmd, nick *np, void *displayfn, int limit) {
+  memset(ctx, 0, sizeof(searchCtx));
+  
+  ctx->reply = replyfn;
+  ctx->wall = wallfn;
+  ctx->parser = searchfn;
+  ctx->arg = arg;
+  ctx->searchcmd = cmd;
+  ctx->sender = np;
+  ctx->limit = limit;
+  ctx->displayfn = displayfn;
+}
+
+int do_nicksearch_real(replyFunc reply, wallFunc wall, void *source, int cargc, char **cargv) {
+  nick *sender = source;
+  int limit=500;
+  int arg=0;
+  NickDisplayFunc display=defaultnickfn;
+  int ret;
+#ifndef NEWSEARCH_NEWPARSER
+  searchCtx ctx;
+  struct searchNode *search;
+#else
+  parsertree *tree;
+#endif
+
+  if (cargc<1) {
+    reply( sender, "Usage: [flags] <criteria>");
+    reply( sender, "For help, see help nicksearch");
+    return CMD_OK;
+  }
+  ret = parseopts(cargc, cargv, &arg, &limit, NULL, (void *)&display, reg_nicksearch->outputtree, reply, sender);
+  if(ret != CMD_OK)
+    return ret;
+
   if (arg>=cargc) {
     reply(sender,"No search terms - aborting.");
     return CMD_ERROR;
@@ -199,18 +470,27 @@ int do_nicksearch_real(replyFunc reply, wallFunc wall, void *source, int cargc,
     rejoinline(cargv[arg],cargc-arg);
   }
 
-  ctx.parser = search_parse;
-  ctx.reply = reply;
-  ctx.wall = wall;
-
-  if (!(search = ctx.parser(&ctx, SEARCHTYPE_NICK, cargv[arg]))) {
+#ifndef NEWSEARCH_NEWPARSER
+  newsearch_ctxinit(&ctx, search_parse, reply, wall, NULL, reg_nicksearch, sender, display, limit);
+  if (!(search = ctx.parser(&ctx, cargv[arg]))) {
     reply(sender,"Parse error: %s",parseError);
     return CMD_ERROR;
   }
 
-  nicksearch_exe(search, &ctx, sender, display, limit);
+  nicksearch_exe(search, &ctx);
 
   (search->free)(&ctx, search);
+#else
+  tree = parse_string(reg_nicksearch, cargv[arg]);
+  if(!tree) {
+    displaystrerror(reply, sender, cargv[arg]);
+    return CMD_ERROR;
+  }
+
+  ast_nicksearch(tree->root, reply, sender, wall, display, NULL, NULL, limit);
+
+  parse_free(tree);
+#endif
 
   return CMD_OK;
 }
@@ -219,13 +499,16 @@ int do_nicksearch(void *source, int cargc, char **cargv) {
   return do_nicksearch_real(controlreply, controlwallwrapper, source, cargc, cargv);
 }
 
-void nicksearch_exe(struct searchNode *search, searchCtx *ctx, nick *sender, NickDisplayFunc display, int limit) {
+void nicksearch_exe(struct searchNode *search, searchCtx *ctx) {
   int i, j;
   int matches = 0;
   unsigned int cmarker;
   unsigned int tchans=0,uchans=0;
   struct channel **cs;
-  nick *np;
+  nick *np, *sender = ctx->sender;
+  senderNSExtern = sender;
+  NickDisplayFunc display = ctx->displayfn;
+  int limit = ctx->limit;
 
   /* Get a marker value to mark "seen" channels for unique count */
   cmarker=nextchanmarker();
@@ -263,51 +546,27 @@ void nicksearch_exe(struct searchNode *search, searchCtx *ctx, nick *sender, Nic
 }  
 
 int do_chansearch_real(replyFunc reply, wallFunc wall, void *source, int cargc, char **cargv) {
-  nick *sender = senderNSExtern = source;
-  struct searchNode *search;
+  nick *sender = source;
   int limit=500;
-  char *ch;
   int arg=0;
-  struct Command *cmd;
-  ChanDisplayFunc display=printchannel;
+  ChanDisplayFunc display=defaultchanfn;
+  int ret;
+#ifndef NEWSEARCH_NEWPARSER
+  struct searchNode *search;
   searchCtx ctx;
-
-  if (cargc<1)
-    return CMD_USAGE;
-  
-  if (*cargv[0] == '-') {
-    /* options */
-    arg++;
-    
-    for (ch=cargv[0]+1;*ch;ch++) {
-      switch(*ch) {
-      case 'l':
-       if (cargc<arg) {
-         reply(sender,"Error: -l switch requires an argument");
-         return CMD_USAGE;
-       }
-       limit=strtoul(cargv[arg++],NULL,10);
-       break;
-
-      case 'd':
-        if (cargc<arg) {
-          reply(sender,"Error: -d switch requires an argument");
-          return CMD_USAGE;
-        }
-        cmd=findcommandintree(chanOutputTree, cargv[arg], 1);
-        if (!cmd) {
-          reply(sender,"Error: unknown output format %s",cargv[arg]);
-          return CMD_USAGE;
-        }
-        display=(ChanDisplayFunc)cmd->handler;
-        arg++;
-        break;
-       
-      default:
-       reply(sender,"Unrecognised flag -%c.",*ch);
-      }
-    }
+#else
+  parsertree *tree;
+#endif
+
+  if (cargc<1) {
+    reply( sender, "Usage: [flags] <criteria>");
+    reply( sender, "For help, see help chansearch");
+    return CMD_OK;
   }
+  
+  ret = parseopts(cargc, cargv, &arg, &limit, NULL, (void *)&display, reg_chansearch->outputtree, reply, sender);
+  if(ret != CMD_OK)
+    return ret;
 
   if (arg>=cargc) {
     reply(sender,"No search terms - aborting.");
@@ -318,18 +577,27 @@ int do_chansearch_real(replyFunc reply, wallFunc wall, void *source, int cargc,
     rejoinline(cargv[arg],cargc-arg);
   }
 
-  ctx.parser = search_parse;
-  ctx.reply = reply;
-  ctx.wall = wall;
-
-  if (!(search = ctx.parser(&ctx, SEARCHTYPE_CHANNEL, cargv[arg]))) {
+#ifndef NEWSEARCH_NEWPARSER
+  newsearch_ctxinit(&ctx, search_parse, reply, wall, NULL, reg_chansearch, sender, display, limit);
+  if (!(search = ctx.parser(&ctx, cargv[arg]))) {
     reply(sender,"Parse error: %s",parseError);
     return CMD_ERROR;
   }
 
-  chansearch_exe(search, &ctx, sender, display, limit);
+  chansearch_exe(search, &ctx);
 
   (search->free)(&ctx, search);
+#else
+  tree = parse_string(reg_chansearch, cargv[arg]);
+  if(!tree) {
+    displaystrerror(reply, sender, cargv[arg]);
+    return CMD_ERROR;
+  }
+
+  ast_chansearch(tree->root, reply, sender, wall, display, NULL, NULL, limit);
+
+  parse_free(tree);
+#endif
 
   return CMD_OK;
 }
@@ -338,10 +606,14 @@ int do_chansearch(void *source, int cargc, char **cargv) {
   return do_chansearch_real(controlreply, controlwallwrapper, source, cargc, cargv);
 }
 
-void chansearch_exe(struct searchNode *search, searchCtx *ctx, nick *sender, ChanDisplayFunc display, int limit) {  
+void chansearch_exe(struct searchNode *search, searchCtx *ctx) {  
   int i;
   chanindex *cip;
   int matches = 0;
+  nick *sender = ctx->sender;
+  senderNSExtern = sender;
+  ChanDisplayFunc display = ctx->displayfn;
+  int limit = ctx->limit;
   
   search=coerceNode(ctx, search, RETURNTYPE_BOOL);
   
@@ -360,13 +632,93 @@ void chansearch_exe(struct searchNode *search, searchCtx *ctx, nick *sender, Cha
   ctx->reply(sender,"--- End of list: %d matches", matches);
 }
 
-struct coercedata {
-  struct searchNode *child;
-  union {
-    char *stringbuf;
-    unsigned long val;
-  } u;
-};
+int do_usersearch_real(replyFunc reply, wallFunc wall, void *source, int cargc, char **cargv) {
+  nick *sender = source;
+  int limit=500;
+  int arg=0;
+  UserDisplayFunc display=defaultuserfn;
+  int ret;
+#ifndef NEWSEARCH_NEWPARSER
+  struct searchNode *search;
+  searchCtx ctx;
+#else
+  parsertree *tree;
+#endif
+
+  if (cargc<1) {
+    reply( sender, "Usage: [flags] <criteria>");
+    reply( sender, "For help, see help usersearch");
+    return CMD_OK;
+  }
+  ret = parseopts(cargc, cargv, &arg, &limit, NULL, (void *)&display, reg_usersearch->outputtree, reply, sender);
+  if(ret != CMD_OK)
+    return ret;
+
+  if (arg>=cargc) {
+    reply(sender,"No search terms - aborting.");
+    return CMD_ERROR;
+  }
+
+  if (arg<(cargc-1)) {
+    rejoinline(cargv[arg],cargc-arg);
+  }
+
+#ifndef NEWSEARCH_NEWPARSER
+  newsearch_ctxinit(&ctx, search_parse, reply, wall, NULL, reg_usersearch, sender, display, limit);
+
+  if (!(search = ctx.parser(&ctx, cargv[arg]))) {
+    reply(sender,"Parse error: %s",parseError);
+    return CMD_ERROR;
+  }
+
+  usersearch_exe(search, &ctx);
+
+  (search->free)(&ctx, search);
+#else
+  tree = parse_string(reg_usersearch, cargv[arg]);
+  if(!tree) {
+    displaystrerror(reply, sender, cargv[arg]);
+    return CMD_ERROR;
+  }
+
+  ast_usersearch(tree->root, reply, sender, wall, display, NULL, NULL, limit);
+
+  parse_free(tree);
+#endif
+
+  return CMD_OK;
+}
+
+int do_usersearch(void *source, int cargc, char **cargv) {
+  return do_usersearch_real(controlreply, controlwallwrapper, source, cargc, cargv);
+}
+
+void usersearch_exe(struct searchNode *search, searchCtx *ctx) {  
+  int i;
+  authname *aup;
+  int matches = 0;
+  nick *sender = ctx->sender;
+  int limit = ctx->limit;
+  UserDisplayFunc display = ctx->displayfn;
+  senderNSExtern = sender;
+
+  search=coerceNode(ctx, search, RETURNTYPE_BOOL);
+  
+  for (i=0;i<AUTHNAMEHASHSIZE;i++) {
+    for (aup=authnametable[i];aup;aup=aup->next) {
+      if ((search->exe)(ctx, search, aup)) {
+       if (matches<limit)
+         display(ctx, sender, aup);
+       if (matches==limit)
+         ctx->reply(sender, "--- More than %d matches, skipping the rest",limit);
+       matches++;
+      }
+    }
+  }
+
+  ctx->reply(sender,"--- End of list: %d matches", matches);
+}
 
 /* Free a coerce node */
 void free_coerce(searchCtx *ctx, struct searchNode *thenode) {
@@ -593,19 +945,62 @@ void literal_free(searchCtx *ctx, struct searchNode *thenode) {
   free(thenode);
 }
 
-/* search_parse:
- *  Given an input string, return a searchNode.
- */
+static int unescape(char *input, char *output, size_t buflen) {
+  char *ch, *ch2;
+  int e=0;
+  
+  if (*input=='\"') {
+    for (ch=input;*ch;ch++) {
+      if(ch - input >= buflen) {
+        parseError="Buffer overflow";
+        return 0;
+      }
+    }
+      
+    if (*(ch-1) != '\"') {
+      parseError="Quote mismatch";
+      return 0;
+    }
+
+    *(ch-1)='\0';
+    input++;
+  }
+    
+  ch2=output;
+  for (ch=input;*ch;ch++) {
+    if(ch - input >= buflen) {
+      parseError="Buffer overflow";
+      return 0;
+    }
+    
+    if (e) {
+      e=0;
+      *ch2++=*ch;
+    } else if (*ch=='\\') {
+      e=1;
+    } else {
+      *ch2++=*ch;
+    }
+  }
+  *ch2='\0';
+  
+  return 1;
+}
 
-struct searchNode *search_parse(searchCtx *ctx, int type, char *input) {
+struct searchNode *search_parse(searchCtx *ctx, char *cinput) {
   /* OK, we need to split the input into chunks on spaces and brackets.. */
   char *argvector[100];
+  char inputb[1024];
+  char *input;
   char thestring[500];
   int i,j,q=0,e=0;
-  char *ch,*ch2;
+  char *ch;
   struct Command *cmd;
   struct searchNode *thenode;
 
+  strlcpy(inputb, cinput, sizeof(inputb));
+  input = inputb;
+  
   /* If it starts with a bracket, it's a function call.. */
   if (*input=='(') {
     /* Skip past string */
@@ -624,6 +1019,7 @@ struct searchNode *search_parse(searchCtx *ctx, int type, char *input) {
     q=0;
     argvector[0]="";
     for (ch=input;*ch;ch++) {
+      /*printf("i: %d j: %d e: %d q: %d ch: '%c'\n", i, j, e, q, *ch);*/
       if (i==-1) {
         argvector[j]=ch;
         if (*ch=='(') {
@@ -639,8 +1035,11 @@ struct searchNode *search_parse(searchCtx *ctx, int type, char *input) {
       } else if (e==1) {
         e=0;
       } else if (q==1) {
-        if (*ch=='\"') 
-        q=0;
+        if (*ch=='\\')  {
+          e=1;
+        } else if (*ch=='\"')  {
+          q=0;
+        }
       } else if (i==0) {
         if (*ch=='\\') {
           e=1;
@@ -676,39 +1075,28 @@ struct searchNode *search_parse(searchCtx *ctx, int type, char *input) {
     if (*(ch-1) == 0) /* if the last character was a space */
       j--; /* remove an argument */
     
-    if (!(cmd=findcommandintree(searchTree,argvector[0],1))) {
-      parseError = "Unknown command";
+/*    for(k=1;k<=j;k++)
+      if(!unescape(argvector[k], argvector[k], sizeof(inputb)))
+        return NULL;
+*/
+
+    if (!(cmd=findcommandintree(ctx->searchcmd->searchtree,argvector[0],1))) {
+      parseError = "Unknown command (for valid command list, see help <searchcmd>)";
       return NULL;
     } else {
-      return ((parseFunc)cmd->handler)(ctx, type, j, argvector+1);
-    }
-  } else {
-    /* Literal */
-    if (*input=='\"') {
-      for (ch=input;*ch;ch++);
-      
-      if (*(ch-1) != '\"') {
-        parseError="Quote mismatch";
+      if (!controlpermitted(cmd->level, ctx->sender)) { 
+        parseError = "Access denied (for valid command list, see help <searchcmd>)";
         return NULL;
       }
-
-      *(ch-1)='\0';
-      input++;
+      return ((parseFunc)cmd->handler)(ctx, j, argvector+1);
     }
+  } else {
+    /* Literal */
     
-    ch2=thestring;
-    for (ch=input;*ch;ch++) {
-      if (e) {
-        e=0;
-        *ch2++=*ch;
-      } else if (*ch=='\\') {
-        e=1;
-      } else {
-        *ch2++=*ch;
-      }
-    }
-    *ch2='\0';
-        
+    /* slug: disabled now we unescape during the main parse stage */
+    if(!unescape(input, thestring, sizeof(thestring)))
+      return NULL;
+
     if (!(thenode=(struct searchNode *)malloc(sizeof(struct searchNode)))) {
       parseError = "malloc: could not allocate memory for this search.";
       return NULL;
@@ -723,37 +1111,8 @@ struct searchNode *search_parse(searchCtx *ctx, int type, char *input) {
   }    
 }
 
-struct bufs {
-  char *buf;
-  int capacity;
-  int len;
-};
-
-static int addchar(struct bufs *buf, char c) {
-  if(buf->len >= buf->capacity - 1)
-    return 0;
-
-  buf->buf[buf->len++] = c;
-
-  return 1;
-}
-
-static int addstr(struct bufs *buf, char *c) {
-  int remaining = buf->capacity - buf->len - 1;
-  char *p;
-
-  for(p=c;*p;p++) {
-    if(remaining-- <= 0)
-      return 0;
-
-    buf->buf[buf->len++] = *p;
-  }
-
-  return 1;
-}
-
 void nssnprintf(char *buf, size_t size, const char *format, nick *np) {
-  struct bufs b;
+  StringBuf b;
   const char *p;
   char *c;
   char hostbuf[512];
@@ -767,7 +1126,7 @@ void nssnprintf(char *buf, size_t size, const char *format, nick *np) {
 
   for(p=format;*p;p++) {
     if(*p != '%') {
-      if(!addchar(&b, *p))
+      if(!sbaddchar(&b, *p))
         break;
       continue;
     }
@@ -775,7 +1134,7 @@ void nssnprintf(char *buf, size_t size, const char *format, nick *np) {
     if(*p == '\0')
       break;
     if(*p == '%') {
-      if(!addchar(&b, *p))
+      if(!sbaddchar(&b, *p))
         break;
       continue;
     }
@@ -800,11 +1159,11 @@ void nssnprintf(char *buf, size_t size, const char *format, nick *np) {
         c = "(bad format specifier)";
     }
     if(c)
-      if(!addstr(&b, c))
+      if(!sbaddstr(&b, c))
         break;
   }
 
-  buf[b.len] = '\0';
+  sbterminate(&b);
 
   /* not required */
   /*
@@ -812,3 +1171,125 @@ void nssnprintf(char *buf, size_t size, const char *format, nick *np) {
   */
 }
 
+static char *var_tochar(searchCtx *ctx, char *arg, searchNode **variable) {
+  *variable = ctx->parser(ctx, arg);
+  if (!(*variable = coerceNode(ctx, *variable, RETURNTYPE_STRING)))
+    return NULL;
+
+  if(!((*variable)->returntype & RETURNTYPE_CONST)) {
+    parseError = "only constant variables allowed";
+    ((*variable)->free)(ctx, *variable);
+    return NULL;
+  }
+  
+  return (char *)((*variable)->exe)(ctx, *variable, NULL);
+}
+
+void free_val_null(searchCtx *ctx, struct searchNode *thenode) {
+}
+
+struct searchVariable *var_register(searchCtx *ctx, char *arg, int type) {
+  searchNode *variable;
+  struct searchVariable *us;
+  char *var;
+  int i;
+  
+  if(ctx->lastvar >= MAX_VARIABLES) {
+    parseError = "Maximum number of variables reached";
+    return NULL;
+  }
+  
+  us = &ctx->vars[ctx->lastvar];
+  
+  var = var_tochar(ctx, arg, &variable);
+  if(!var)
+    return NULL;
+  
+  strlcpy(us->name, var, sizeof(us->name));
+  (variable->free)(ctx, variable);
+  
+  for(i=0;i<ctx->lastvar;i++) {
+    if(!strcmp(us->name, ctx->vars[i].name)) {
+      parseError = "variable name already in use";
+      return NULL;
+    }
+  }
+  
+  ctx->lastvar++;
+  us->data.returntype = type;
+  us->data.localdata = &us->cdata;
+  us->data.exe = exe_val_null;
+  us->data.free = free_val_null;
+  
+  us->cdata.child = NULL;
+  return us;
+}
+
+searchNode *var_get(searchCtx *ctx, char *arg) {
+  searchNode *variable, *found = NULL;
+  int i;
+  char *var = var_tochar(ctx, arg, &variable);
+  if(!var)
+    return NULL;
+
+  for(i=0;i<ctx->lastvar;i++) {
+    if(!strcmp(var, ctx->vars[i].name)) {
+      found = &ctx->vars[i].data;
+      break;
+    }
+  }
+  (variable->free)(ctx, variable);
+  
+  if(!found)
+    parseError = "variable not found";
+  return found;
+}
+
+void var_setstr(struct searchVariable *v, char *data) {
+  v->cdata.u.stringbuf = data;
+}
+
+#ifdef NEWSEARCH_NEWPARSER
+void displaystrerror(replyFunc reply, nick *np, const char *input) {
+  char buf[515];
+
+  if((parseStrErrorPos >= 0) && (parseStrErrorPos < sizeof(buf) - 3)) {
+    int i;
+
+    for(i=0;i<parseStrErrorPos;i++)
+      buf[i] = ' ';
+
+    buf[i++] = '^';
+    buf[i] = '\0';
+
+    reply(np, "%s", input);
+    reply(np, "%s", buf);
+  }
+
+  reply(np, "Parse error: %s", parseStrError);
+}
+#endif
+
+struct searchNode *argtoconststr(char *command, searchCtx *ctx, char *arg, char **p) {
+  struct searchNode *c;
+  static char errorbuf[512];
+  
+  c = ctx->parser(ctx, arg);
+  if (!(c = coerceNode(ctx, c, RETURNTYPE_STRING))) {
+    snprintf(errorbuf, sizeof(errorbuf), "%s: unable to coerce argument to string", command);
+    parseError = errorbuf;
+    return NULL;
+  }
+  
+  if (!(c->returntype & RETURNTYPE_CONST)) {
+    snprintf(errorbuf, sizeof(errorbuf), "%s: constant argument required", command);
+    parseError = errorbuf;
+    (c->free)(ctx, c);
+    return NULL;
+  }
+  
+  if(p)
+    *p = (char *)(c->exe)(ctx, c, NULL);
+    
+  return c;
+}