Discuz!技术支持站-PHP开源论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 361|回复: 2

discuz论坛配置开启Sphinx全文搜索

[复制链接]

34

主题

274

帖子

348

积分

Moderator

Rank: 7Rank: 7Rank: 7

积分
348
QQ
发表于 2019-9-6 18:23:56 | 显示全部楼层 |阅读模式
技术简介:

Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口,如PHP,Python,Perl,Ruby等,同时为MySQL也设计了一个存储引擎插件。

Sphinx 单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级)。Sphinx创建索引的速度为:创建100万条记录的索引只需 3~4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建 如果用到sphinx,全文索引交给sphinx来做,sphinx返回含有该word的ID号,然后用该ID号直接去数据库准确定位那些数据,整个过程如下图:一次只需几十秒。

因为sphinx默认不支持中文索引及检索,而coreseek基于sphinx开发了coreseek全文检索服务器,它提供了为sphinx设计的中文分词包libmmseg包含mmseg中文分词,是目前用的最多的sphinx中文检索。在没有sphinx之前,mysql数据库要对海量的文章中的词进行全文索引,一般用的语句例如:SELECT   ***  WHERE  ***  LIKE   '%word%';这样的LIKE查询,并且再结合通配符%,是使用不到mysql本身的索引,需要全表扫描,时间超慢的!

如果用到sphinx,全文索引交给sphinx来做,sphinx返回含有该word的ID号,然后用该ID号直接去数据库准确定位那些数据.

[第一步] 先安装mmseg3
  1. cd /data/program   

  2. tar zxvf coreseek-4.1-beta.tar.gz  

  3.   cd coreseek-4.1-beta  

  4.   cd mmseg-3.2.14  

  5.   ./bootstrap  

  6. ./configure --prefix=/usr/local/mmseg3  

  7.   make && make install
复制代码
遇到的问题:  
  1. error: cannot find input file: src/Makefile.in  
复制代码
或者遇到其他类似error错误时...  
解决方案:
依次执行下面的命令
  1. yum -y install libtool   

  2. aclocal  

  3. libtoolize --force  

  4. automake --add-missing  

  5. autoconf  

  6. autoheader  

  7. make clean
复制代码

安装好'libtool'继续从'aclocal'开始执行上面提到的一串命令,执行完后再运行最开始的安装流程即可。

[第二步] 安装coreseek
  ##安装coreseek  

  $ cd csft-3.2.14 或者 cd csft-4.0.1 或者 cd csft-4.1  

  $ sh buildconf.sh                                         #输出的warning信息可以忽略,如果出现error则需要解决  

  如无法编译

  1. 在 csft-4.1/buildconf.sh 文件中,查找

  && aclocal \   后加上

  && automake --add-missing \

  2. 在 csft-4.1/configure.ac 文件中,

  查找:

AM_INIT_AUTOMAKE([-Wall -Werror foreign])改为:

AM_INIT_AUTOMAKE([-Wall foreign])

查找:

AC_PROG_RANLIB 后面加上:

AM_PROG_AR

最后,在 csft-4.1/src/sphinxexpr.cpp 文件中, 替换所有:

T val = ExprEval ( this->m_pArg, tMatch );成为:

T val = this->ExprEval ( this->m_pArg, tMatch );

无错误后继续执行下面命令:

$ ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql  

##如果提示mysql问题,可以查看MySQL数据源安装说明   http://www.coreseek.cn/product_i ... on_bsd_linux/#mysql  

$ make && make install  

$ cd ..  

##命令行测试mmseg分词,coreseek搜索(需要预先设置好字符集为zh_CN.UTF-8,确保正确显示中文)  

$ cd testpack  

$ cat var/test/test.xml    #此时应该正确显示中文  

$ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml  

$ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all  

$ /usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索

如出现这个 xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing XML libra  错误,执行以下命令:

  yum -y install expat expat-devel

依次安装后,从新编译coreseek,然后再生成索引,就可以通过了。

测试结果如下:

  Coreseek Fulltext 4.1 [ Sphinx 2.0.2-dev (r2922)]   

  Copyright (c) 2007-2011,   

  Beijing Choice Software Technologies Inc (http://www.coreseek.com)   


  using config file 'etc/csft.conf'...   

  index 'xml': query '网络搜索 ': returned 1 matches of 1 total in 0.000 sec   


  displaying matches:   

  document=1, weight=1590, published=Thu Apr  1 07:20:07 2010, author_id=1   


words:   

'网络': 1 documents, 1 hits   

'搜索': 2 documents, 5 hits  

【第三步】配置sphinx与mysql

创建配置sphinx与mysql的配置文件

# vi /usr/local/coreseek/etc/csft_mysql.conf  


  #MySQL数据源配置,详情请查看:http://www.coreseek.cn/docs/core ... html#conf-reference  


   


  #源定义  


  source threads


  {


      type                    = mysql


      sql_host                = localhost


      sql_user                = root


      sql_pass                = root


     sql_db                  = ultrax


     sql_port                = 3306


     sql_query_pre            = SET NAMES utf8     #(这里如果数据库是utf8的就修改为utf8,下面所有SET NAME设置同这里)


  #   sql_query_pre           = SET SESSION query_cache_type=OFF


     sql_query_pre           = CREATE TABLE IF NOT EXISTS pre_common_sphinxcounter ( indexid INTEGER PRIMARY KEY NOT NULL,maxid INTEGER NOT NULL)


     sql_query_pre            = REPLACE INTO pre_common_sphinxcounter SELECT 1, MAX(tid)-10 FROM pre_forum_thread


     sql_query                = SELECT t.tid AS id,t.tid,t.subject,t.digest,t.displayorder,t.authorid,t.lastpost,t.special \


                                 FROM pre_forum_thread AS t \


                                 WHERE t.tid>=$start AND t.tid<=$end


     sql_query_range            = SELECT (SELECT MIN(tid) FROM pre_forum_thread),maxid FROM pre_common_sphinxcounter WHERE indexid=1


     sql_range_step          = 4096

  

     sql_attr_uint            = tid


     sql_attr_uint            = digest


     sql_attr_uint            = displayorder


     sql_attr_uint            = authorid


     sql_attr_uint            = special



     sql_attr_timestamp        =lastpost


     sql_query_info            = SELECT * FROM pre_forum_thread WHERE tid=$id


}


#threads


index threads


{


     source           = threads


     path             = /var/data/threads #windows下最好用全路径


     docinfo          = extern


     mlock            = 0


     morphology       = none


min_word_len = 1


html_strip         = 0


     charset_dictpath = /usr/local/mmseg3/etc/    #BSD、Linux环境下设置,/符号结尾


charset_type     = zh_cn.utf-8


     #charset_debug   =   0


ngram_len          = 0


}


#threads_minute


source threads_minute : threads


{


     sql_query_pre            =


     sql_query_pre            = SET NAMES utf8


  #    sql_query_pre           = SET SESSION query_cache_type=OFF


     sql_query_range            = SELECT maxid+1,(SELECT MAX(tid) FROM pre_forum_thread) FROM pre_common_sphinxcounter WHERE indexid=1


}


#threads_minute


index threads_minute : threads


{


     source            = threads_minute


     path            = /var/data/threads_minute #windows下最好用全路径


}

  


##################################################


#posts


source posts


{


     type                    = mysql


  


     sql_host                = localhost


     sql_user                = root

     sql_pass                = root


     sql_db                    = ultrax


     sql_port                = 3306


     sql_query_pre            =


     sql_query_pre            = SET NAMES utf8


#     sql_query_pre           = SET SESSION query_cache_type=OFF


     sql_query_pre            = REPLACE INTO pre_common_sphinxcounter SELECT 2, MAX(pid)-2 FROM pre_forum_post


     sql_query                = SELECT p.pid AS id,p.tid,p.subject,p.message,t.digest,t.displayorder,t.authorid,t.lastpost,t.special \


                                 FROM pre_forum_post AS p LEFT JOIN pre_forum_thread AS t USING(tid) \


                                 WHERE p.pid>=$start AND p.pid<=$end

  

     sql_query_range            = SELECT (SELECT MIN(pid) FROM pre_forum_post),maxid FROM pre_common_sphinxcounter WHERE indexid=2


     sql_range_step          = 4096

  

     sql_attr_uint            = tid


     sql_attr_uint            = digest


     sql_attr_uint            = displayorder


     sql_attr_uint            = authorid


     sql_attr_uint            = special


     sql_attr_timestamp        =lastpost



     sql_query_info            = SELECT * FROM pre_forum_post WHERE pid=$id


}   


  #posts


  index posts


  {


      source            = posts


      path              = /var/data/posts #windows下最好用全路径


     docinfo          = extern

      mlock            = 0


      morphology       = none


      min_word_len = 1


      html_strip         = 0


      charset_dictpath = /usr/local/mmseg3/etc/    #BSD、Linux环境下设置,/符号结尾


      charset_type     = zh_cn.utf-8


      #charset_debug   =   0


      ngram_len          = 0


  }

   


  #posts_minute


  source posts_minute : posts


  {


      sql_query_pre            =


      sql_query_pre            = SET NAMES utf8


  #     sql_query_pre           = SET SESSION query_cache_type=OFF


      sql_query_range            = SELECT maxid+1,(SELECT MAX(pid) FROM pre_forum_post) FROM pre_common_sphinxcounter WHERE indexid=2

  }

   

  #posts_minute


  index posts_minute : posts


  {


      source            = posts_minute

      path              = /var/data/posts_minute #windows下最好用全路径


  }

   

  #全局indexer定义


  indexer

  {

      mem_limit            = 256M


  }


   


  #searchd服务定义


  searchd


  {


      listen              = 3312


      read_timeout        = 5


      max_children        = 30


      max_matches            = 10000


     seamless_rotate        = 0


      preopen_indexes        = 0


      unlink_old            = 1


      pid_file            = /usr/local/coreseek/var/log/searchd_discuzx.pid #windows下最好用全路径


      log                 = /usr/local/coreseek/var/log/searchd_discuzx.log #windows下最好用全路径


      query_log           = /usr/local/coreseek/var/log/query_discuzx.log #windows下最好用全路径


  }

【第四步】启动服务,创建索引
启动后台服务:(必须开启)
   # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf


执行索引:(查询、测试前必须执行一次)


   /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate  


执行增量索引: (delta替换为具体索引名)


   /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate


合并索引:(main、delta替换为具体索引名,一次只能两个索引进行合并)


   /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0  


(为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0)


后台服务测试:


   # /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf  aaa  


关闭后台服务:


   # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop  


自动化命令:(每隔一分钟执行一遍增量索引,每五分钟执行一遍合并索引,每天1:30执行整体索引。)


   crontab -e  


  */1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate  


  */5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0


  30 1 * * *  /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate


至此所有配置工作完成,只要在discuz后台配置开启sphinx即可。

然后 discuz 后台 -上传设置 配置下 Sphinx主机名和端口 就可以了

正直        进取  合作       创新
探秘说www.tanmishuo.com 178影视www.8818178.com
回复

使用道具 举报

0

主题

2

帖子

2

积分

Newbie

Rank: 1

积分
2
发表于 2020-4-20 03:19:02 | 显示全部楼层
Sphinx下载地址放一个啊
回复 支持 反对

使用道具 举报

0

主题

1

帖子

1

积分

Newbie

Rank: 1

积分
1
发表于 2020-6-24 11:27:44 | 显示全部楼层
设置好了但是还是不行啊!!!
   # /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf  交友
用这个命令测试是成功的,后台配置也配置好了,但是前台搜索选择全文搜索还是不行
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|Comsenz Inc. |star|

GMT+8, 2021-12-9 00:18 , Processed in 0.082792 second(s), 20 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表