网络编程 
首页 > 网络编程 > 浏览文章

Jsp敏感词过滤的示例代码

(编辑:jimmy 日期: 2024/11/26 浏览:3 次 )

大部分论坛、网站等,为了方便管理,都进行了关于敏感词的设定。

在多数网站,敏感词一般是指带有敏感政治倾向(或反执政党倾向)、暴力倾向、不健康色彩的词或不文明语,也有一些网站根据自身实际情况,设定一些只适用于本网站的特殊敏感词。

比如,当你发贴的时候带有某些事先设定的词时,这个贴是不能发出的。或者这个词被自动替换为星号(*)或叉号(X)等,或者说是被和谐掉了。

在我看来敏感词过滤最重要的是在写过滤词汇的算法,如何过滤出大批量的敏感词,我感觉DFA的思想不错

DFA简介

在实现文字过滤的算法中,DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton,也就是确定有穷自动机,它是是通过event和当前的state得到下一个state,即event+state=nextstate。下图展示了其状态的转换

Jsp敏感词过滤的示例代码

在这幅图中大写字母(S、U、V、Q)都是状态,小写字母a、b为动作。通过上图我们可以看到如下关系

a b b
S -----> U S -----> V U -----> V

在实现敏感词过滤的算法中,我们必须要减少运算,而DFA在DFA算法中几乎没有什么计算,有的只是状态的转换。

Java实现DFA算法实现敏感词过滤

在Java中实现敏感词过滤的关键就是DFA算法的实现。首先我们对上图进行剖析。在这过程中我们认为下面这种结构会更加清晰明了。

Jsp敏感词过滤的示例代码

同时这里没有状态转换,没有动作,有的只是Query(查找)。我们可以认为,通过S query U、V,通过U query V、P,通过V query U P。通过这样的转变我们可以将状态的转换转变为使用Java集合的查找。

诚然,加入在我们的敏感词库中存在如下几个敏感词:日本人、日本鬼子、毛.泽.东。那么我需要构建成一个什么样的结构呢?

首先:query 日 ---> {本}、query 本 --->{人、鬼子}、query 人 --->{null}、query 鬼 ---> {子}。形如下结构:

Jsp敏感词过滤的示例代码

下面我们在对这图进行扩展:

Jsp敏感词过滤的示例代码

 这样我们就将我们的敏感词库构建成了一个类似与一颗一颗的树,这样我们判断一个词是否为敏感词时就大大减少了检索的匹配范围。比如我们要判断日本人,根据第一个字我们就可以确认需要检索的是那棵树,然后再在这棵树中进行检索。

这个思想留着以后用,我先写一个过滤词汇的一些简单方法,没有涉及到算法

Java代码实现

基本思路:重写HttpServletRequestWrapper中的getParameter方法,让用户输入的字通过这个过滤,写一个类继承他,重写方法,在写一个过滤词汇的词典,来与输入的对比

先写一个jsp页面,js是用Ajax去刷新的,最近学的想用用试试看,感觉不错,Ajax是需要引js文件的 

<body>
  <input type="text" name="word" onblur="filter(this.value);" id="filter"/>
  <input type="submit" value="敏感词过滤" />
<script type="text/javascript" src="/UploadFiles/2021-04-02/jquery.js">

再继承HttpServletRequestWrapper在重写getParameter方法,

//主要思路是继承HttpServletRequestWrapper,去改写他的getParameter方法,让其有过滤的业务
public class WordFilter extends HttpServletRequestWrapper{

  public WordFilter(HttpServletRequest request) {
    super(request);
    // TODO Auto-generated constructor stub
  }
  @Override
  public String getParameter(String name){
    //先得到父亲的方法,传入值,得到的值在跟过滤字典中的比较看是否含有,有则替换,没有放过返回
    String word=super.getParameter(name);
    //调用字典中的文字
    List<String> list=Words.getList();
    for (String string : list) {
      //判断是否含有这样字典中的文字
      if (word.contains(string)) {  
        //将字符串中含有的替换掉
        word=word.replace(string, "**");
      }
    }
    return word;
  }
  
}

再写一个Servlet,去获取用户输入的字,进行过滤操作 

@WebServlet("/FilterWordServlet")
public class FilterWordServlet extends HttpServlet {
  private static final long serialVersionUID = 1L;
  protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
    //设置请求和编码格式
    request.setCharacterEncoding("utf-8");
    response.setCharacterEncoding("utf-8");
    //自己创建的请求方法,继承与原来的,改写了getParameter方法让其有过滤的业务
    WordFilter wFilter=new WordFilter(request);
     String string=wFilter.getParameter("num");
     System.out.println("---------------");
     //out的响应方法。输出在页面上,让ajax得到这个去处理一些业务
     PrintWriter out=response.getWriter();
     out.println(string);
     
  }

  
  protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
    // TODO Auto-generated method stub
    doGet(request, response);
  }

}

我自己建了一个list集合的过滤词汇,以后修改可以从这里开始词汇的搜索算法,先建一个词汇类

public class Words {
  //过滤词汇的词典
  static List<String> list=new ArrayList<>();
  static{
    list.add("你妹的");
    list.add("sb");
    list.add("滚");
  }
  public static List<String> getList() {
    return list;
  }
  public static void setList(List<String> list) {
    Words.list = list;
  }
  
}

这只是最基础的一种。高级的需要算法的实现,可以思考一下这个DFA算法,我感觉很不错

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

上一篇:详解JSP 中Spring工作原理及其作用
下一篇:JSP 制作验证码的实例详解
一文看懂荣耀MagicBook Pro 16
荣耀猎人回归!七大亮点看懂不只是轻薄本,更是游戏本的MagicBook Pro 16.
人们对于笔记本电脑有一个固有印象:要么轻薄但性能一般,要么性能强劲但笨重臃肿。然而,今年荣耀新推出的MagicBook Pro 16刷新了人们的认知——发布会上,荣耀宣布猎人游戏本正式回归,称其继承了荣耀 HUNTER 基因,并自信地为其打出“轻薄本,更是游戏本”的口号。
众所周知,寻求轻薄本的用户普遍更看重便携性、外观造型、静谧性和打字办公等用机体验,而寻求游戏本的用户则普遍更看重硬件配置、性能释放等硬核指标。把两个看似难以相干的产品融合到一起,我们不禁对它产生了强烈的好奇:作为代表荣耀猎人游戏本的跨界新物种,它究竟做了哪些平衡以兼顾不同人群的各类需求呢?
友情链接:杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网 网站地图 SiteMap