前言

敏感词过滤应该是不用给大家过多的解释吧？讲白了就是你在项目中输入某些字（比如输入*相关的文字时）时要能检

测出来，很多项目中都会有一个敏感词管理模块，在敏感词管理模块中你可以加入敏感词，然后根据加入的敏感词去过滤输

入内容中的敏感词并进行相应的处理，要么提示，要么高亮显示，要么直接替换成其它的文字或者符号代替。

敏感词过滤的做法有很多，我简单描述我现在理解的几种：

①查询数据库当中的敏感词，循环每一个敏感词，然后去输入的文本中从头到尾搜索一遍，看是否存在此敏感词，有则做相

应的处理，这种方式讲白了就是找到一个处理一个。

优点：so easy。用java代码实现基本没什么难度。

缺点：这效率低，而且匹配的是不是有些无语，如果是英文时你会发现一个很无语的事情，比如英文

a是敏感词，那我如果是一篇英文文档，那程序它妹的得处理多少次敏感词？谁能告诉我？

②传说中的DFA算法（有穷自动机）,也正是我要给大家分享的，毕竟感觉比较通用，算法的原理希望大家能够自己去网上查查

资料，这里就不详细说明了。

优点：至少比上面那sb效率高点。

缺点：对于学过算法的应该不难，对于没学过算法的用起来也不难，就是理解起来有点gg疼，匹配效率也不高，比较耗费内存，

敏感词越多，内存占用的就越大。

③第三种在这里要特别说明一下，那就是你自己去写一个算法吧，或者在现有的算法的基础上去优化，这也是追求的至高境界之一。

那么，传说中的DFA算法是怎么实现的呢？

第一步：敏感词库初始化（将敏感词用DFA算法的原理封装到敏感词库中，敏感词库采用HashMap保存），代码如下：

package com.cfwx.rox.web.sysmgr.util;

import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;

import com.cfwx.rox.web.common.model.entity.SensitiveWord;

/**
 * 敏感词库初始化
 * 
 * @author AlanLee
 *
 */
public class SensitiveWordInit
{
  /**
   * 敏感词库
   */
  public HashMap sensitiveWordMap;

  /**
   * 初始化敏感词
   * 
   * @return
   */
  public Map initKeyWord(List<SensitiveWord> sensitiveWords)
  {
    try
    {
      // 从敏感词集合对象中取出敏感词并封装到Set集合中
      Set<String> keyWordSet = new HashSet<String>();
      for (SensitiveWord s : sensitiveWords)
      {
        keyWordSet.add(s.getContent().trim());
      }
      // 将敏感词库加入到HashMap中
      addSensitiveWordToHashMap(keyWordSet);
    }
    catch (Exception e)
    {
      e.printStackTrace();
    }
    return sensitiveWordMap;
  }

  /**
   * 封装敏感词库
   * 
   * @param keyWordSet
   */
  @SuppressWarnings("rawtypes")
  private void addSensitiveWordToHashMap(Set<String> keyWordSet)
  {
    // 初始化HashMap对象并控制容器的大小
    sensitiveWordMap = new HashMap(keyWordSet.size());
    // 敏感词
    String key = null;
    // 用来按照相应的格式保存敏感词库数据
    Map nowMap = null;
    // 用来辅助构建敏感词库
    Map<String, String> newWorMap = null;
    // 使用一个迭代器来循环敏感词集合
    Iterator<String> iterator = keyWordSet.iterator();
    while (iterator.hasNext())
    {
      key = iterator.next();
      // 等于敏感词库，HashMap对象在内存中占用的是同一个地址，所以此nowMap对象的变化，sensitiveWordMap对象也会跟着改变
      nowMap = sensitiveWordMap;
      for (int i = 0; i < key.length(); i++)
      {
        // 截取敏感词当中的字，在敏感词库中字为HashMap对象的Key键值
        char keyChar = key.charAt(i);

        // 判断这个字是否存在于敏感词库中
        Object wordMap = nowMap.get(keyChar);
        if (wordMap != null)
        {
          nowMap = (Map) wordMap;
        }
        else
        {
          newWorMap = new HashMap<String, String>();
          newWorMap.put("isEnd", "0");
          nowMap.put(keyChar, newWorMap);
          nowMap = newWorMap;
        }

        // 如果该字是当前敏感词的最后一个字，则标识为结尾字
        if (i == key.length() - 1)
        {
          nowMap.put("isEnd", "1");
        }
        System.out.println("封装敏感词库过程："+sensitiveWordMap);
      }
      System.out.println("查看敏感词库数据:" + sensitiveWordMap);
    }
  }
}

第二步：写一个敏感词过滤工具类，里面可以写上自己需要的方法，代码如下：

package com.cfwx.rox.web.sysmgr.util;

import java.util.HashSet;
import java.util.Iterator;
import java.util.Map;
import java.util.Set;

/**
 * 敏感词过滤工具类
 * 
 * @author AlanLee
 *
 */
public class SensitivewordEngine
{
  /**
   * 敏感词库
   */
  public static Map sensitiveWordMap = null;

  /**
   * 只过滤最小敏感词
   */
  public static int minMatchTYpe = 1;

  /**
   * 过滤所有敏感词
   */
  public static int maxMatchType = 2;

  /**
   * 敏感词库敏感词数量
   * 
   * @return
   */
  public static int getWordSize()
  {
    if (SensitivewordEngine.sensitiveWordMap == null)
    {
      return 0;
    }
    return SensitivewordEngine.sensitiveWordMap.size();
  }

  /**
   * 是否包含敏感词
   * 
   * @param txt
   * @param matchType
   * @return
   */
  public static boolean isContaintSensitiveWord(String txt, int matchType)
  {
    boolean flag = false;
    for (int i = 0; i < txt.length(); i++)
    {
      int matchFlag = checkSensitiveWord(txt, i, matchType);
      if (matchFlag > 0)
      {
        flag = true;
      }
    }
    return flag;
  }

  /**
   * 获取敏感词内容
   * 
   * @param txt
   * @param matchType
   * @return 敏感词内容
   */
  public static Set<String> getSensitiveWord(String txt, int matchType)
  {
    Set<String> sensitiveWordList = new HashSet<String>();

    for (int i = 0; i < txt.length(); i++)
    {
      int length = checkSensitiveWord(txt, i, matchType);
      if (length > 0)
      {
        // 将检测出的敏感词保存到集合中
        sensitiveWordList.add(txt.substring(i, i + length));
        i = i + length - 1;
      }
    }

    return sensitiveWordList;
  }

  /**
   * 替换敏感词
   * 
   * @param txt
   * @param matchType
   * @param replaceChar
   * @return
   */
  public static String replaceSensitiveWord(String txt, int matchType, String replaceChar)
  {
    String resultTxt = txt;
    Set<String> set = getSensitiveWord(txt, matchType);
    Iterator<String> iterator = set.iterator();
    String word = null;
    String replaceString = null;
    while (iterator.hasNext())
    {
      word = iterator.next();
      replaceString = getReplaceChars(replaceChar, word.length());
      resultTxt = resultTxt.replaceAll(word, replaceString);
    }

    return resultTxt;
  }

  /**
   * 替换敏感词内容
   * 
   * @param replaceChar
   * @param length
   * @return
   */
  private static String getReplaceChars(String replaceChar, int length)
  {
    String resultReplace = replaceChar;
    for (int i = 1; i < length; i++)
    {
      resultReplace += replaceChar;
    }

    return resultReplace;
  }

  /**
   * 检查敏感词数量
   * 
   * @param txt
   * @param beginIndex
   * @param matchType
   * @return
   */
  public static int checkSensitiveWord(String txt, int beginIndex, int matchType)
  {
    boolean flag = false;
    // 记录敏感词数量
    int matchFlag = 0;
    char word = 0;
    Map nowMap = SensitivewordEngine.sensitiveWordMap;
    for (int i = beginIndex; i < txt.length(); i++)
    {
      word = txt.charAt(i);
      // 判断该字是否存在于敏感词库中
      nowMap = (Map) nowMap.get(word);
      if (nowMap != null)
      {
        matchFlag++;
        // 判断是否是敏感词的结尾字，如果是结尾字则判断是否继续检测
        if ("1".equals(nowMap.get("isEnd")))
        {
          flag = true;
          // 判断过滤类型，如果是小过滤则跳出循环，否则继续循环
          if (SensitivewordEngine.minMatchTYpe == matchType)
          {
            break;
          }
        }
      }
      else
      {
        break;
      }
    }
    if (!flag)
    {
      matchFlag = 0;
    }
    return matchFlag;
  }

}

第三步：一切都准备就绪，当然是查询好数据库当中的敏感词，并且开始过滤咯，代码如下：

@SuppressWarnings("rawtypes")
  @Override
  public Set<String> sensitiveWordFiltering(String text)
  {
    // 初始化敏感词库对象
    SensitiveWordInit sensitiveWordInit = new SensitiveWordInit();
    // 从数据库中获取敏感词对象集合（调用的方法来自Dao层，此方法是service层的实现类）
    List<SensitiveWord> sensitiveWords = sensitiveWordDao.getSensitiveWordListAll();
    // 构建敏感词库
    Map sensitiveWordMap = sensitiveWordInit.initKeyWord(sensitiveWords);
    // 传入SensitivewordEngine类中的敏感词库
    SensitivewordEngine.sensitiveWordMap = sensitiveWordMap;
    // 得到敏感词有哪些，传入2表示获取所有敏感词
    Set<String> set = SensitivewordEngine.getSensitiveWord(text, 2);
    return set;
  }

最后一步：在Controller层写一个方法给前端请求，前端获取到需要的数据并进行相应的处理，代码如下：

/**
   * 敏感词过滤
   * 
   * @param text
   * @return
   */
  @RequestMapping(value = "/word/filter")
  @ResponseBody
  public RespVo sensitiveWordFiltering(String text)
  {
    RespVo respVo = new RespVo();
    try
    {
      Set<String> set = sensitiveWordService.sensitiveWordFiltering(text);
      respVo.setResult(set);
    }
    catch (Exception e)
    {
      throw new RoxException("过滤敏感词出错，请联系维护人员");
    }

    return respVo;
  }

总结

以上就是这篇文章的全部内容了，代码中写了不少的注释，大家可以动动自己的脑筋好好的理解一下。希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对的支持。

# java敏感词过滤算法  # java敏感词过滤源代码  # 敏感词过滤dfa算法  # JavaEE Filter敏感词过滤的方法实例详解  # JavaWeb中的filter过滤敏感词汇案例详解  # Java实现DFA算法对敏感词、广告词过滤功能示例  # Java实战之敏感词过滤器  # JAVA使用前缀树(Tire树)实现敏感词过滤、词典搜索  # Java使用DFA算法实现敏感词过滤的示例代码  # Java 过滤器实现敏感词汇过滤功能  # Java数据敏感词转换成符号的方法详解  # Java 敏感词检测工具的实现  # 英文  # 的是  # 是否存在  # 给大家  # 学过  # 自己的  # 判断是否  # 管理模块  # 我要  # 在这里  # 会有  # 也会  # 告诉我  # 有很多  # 就不  # 我现在  # 是怎么  # 你在  # 一切都  # 你自己 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： Win11怎么关闭专注助手 Win11关闭免打扰模式设置【操作】  Laravel如何实现邮件验证激活账户_Laravel内置MustVerifyEmail接口配置【步骤】  如何用西部建站助手快速创建专业网站？  jQuery validate插件功能与用法详解  如何在Windows 2008云服务器安全搭建网站？  rsync同步时出现rsync: failed to set times on “xxxx”: Operation not permitted  INTERNET浏览器怎样恢复关闭标签页_INTERNET浏览器标签恢复快捷键与方法【指南】  Win11关机界面怎么改_Win11自定义关机画面设置【工具】  如何在IIS中新建站点并配置端口与IP地址？  阿里云高弹*务器配置方案｜支持分布式架构与多节点部署  网站页面设计需要考虑到这些问题  Laravel怎么配置不同环境的数据库_Laravel本地测试与生产环境动态切换【方法】  焦点电影公司作品,电影焦点结局是什么？  实例解析Array和String方法  北京网站制作的公司有哪些,北京白云观官方网站？  html5如何实现懒加载图片_ intersectionobserver api用法【教程】  Python结构化数据采集_字段抽取解析【教程】  Laravel如何与Pusher实现实时通信？（WebSocket示例）  制作企业网站建设方案,怎样建设一个公司网站？  网站制作价目表怎么做,珍爱网婚介费用多少？  Laravel如何实现多语言支持_Laravel本地化与国际化(i18n)配置教程  Laravel如何使用Eloquent ORM进行数据库操作？（CRUD示例）  Laravel如何与Docker（Sail）协同开发？（环境搭建教程）  如何在阿里云购买域名并搭建网站？  javascript如何操作浏览器历史记录_怎样实现无刷新导航  Laravel如何使用Guzzle调用外部接口_Laravel发起HTTP请求与JSON数据解析【详解】  网站制作软件免费下载安装,有哪些免费下载的软件网站？  Laravel如何操作JSON类型的数据库字段？（Eloquent示例）  Laravel任务队列怎么用_Laravel Queues异步处理任务提升应用性能  Laravel Seeder填充数据教程_Laravel模型工厂Factory使用  Python函数文档自动校验_规范解析【教程】  Laravel如何处理CORS跨域问题_Laravel项目CORS配置与解决方案  如何用ChatGPT准备面试 模拟面试问答与职场话术练习教程  微信h5制作网站有哪些,免费微信H5页面制作工具？  专业商城网站制作公司有哪些,pi商城官网是哪个？  绝密ChatGPT指令：手把手教你生成HR无法拒绝的求职信  Laravel怎么使用Session存储数据_Laravel会话管理与自定义驱动配置【详解】  谷歌浏览器下载文件时中断怎么办 Google Chrome下载管理修复  怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm，可以有哪些措施降低舍内氨气水平？  Laravel怎么创建自己的包(Package)_Laravel扩展包开发入门到发布  JS中对数组元素进行增删改移的方法总结  如何在HTML表单中获取用户输入并用JavaScript动态控制复利计算循环  Laravel广播系统如何实现实时通信_Laravel Reverb与WebSockets实战教程  如何快速启动建站代理加盟业务？  如何在香港免费服务器上快速搭建网站？  1688铺货到淘宝怎么操作 1688一键铺货到自己店铺详细步骤  简历在线制作网站免费版,如何创建个人简历？  如何在万网利用已有域名快速建站？  Laravel怎么实现验证码(Captcha)功能  bing浏览器学术搜索入口_bing学术文献检索地址