solr导入mysql数据内存不足
在solr使用dataImport时,在测试机上由于内存太小,创建索引时不成功.
###开启batchSize
在data-config.xml文件的dataSource中加入batchSize=”-1”的配置.参考http://wiki.apache.org/solr/DataImportHandlerFaq
在solr使用dataImport时,在测试机上由于内存太小,创建索引时不成功.
###开启batchSize
在data-config.xml文件的dataSource中加入batchSize=”-1”的配置.参考http://wiki.apache.org/solr/DataImportHandlerFaq
在数据索引的时候会碰到一个field有多个值的情况,在field的属性中提供了一个multiValued="true"
的属性.可以做多值索引.
做多值索引可以使用copyField或者是直接使用dataimport.这两种情况可以解决遇到的大多数多值索引的需求.
假设已经配置好了一个单core的solr服务器.
###solr.xml配置文件
单核和多核主要在solr.xml配置不同.在solr/example中已经有一个名称为multicore的文件夹里面给我们配置好了一个两个核心的配置,分别是core1
和core2
.但是我只是想在我已经配置好的solr服务器上添加一个核心.所以需要拷贝solr.xml配置到tomcat/solr文件夹
前面我配置好了solr,并且数据库建立索引也完成了。
首先下载solrphp
1 | http://wiki.apache.org/solr/SolPHP |
在solrphp里面包括了一个/Apache/solr的文件夹。将solr这个文件夹拷贝到项目中并引用。
https://code.google.com/p/mmseg4j/
https://github.com/chenlb/mmseg4j-solr
1 | <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> |
下载安装tomcat8.0 http://tomcat.apache.org/download-80.cgi
1 | wget http://apache.dataguru.cn/tomcat/tomcat-8/v8.0.15/bin/apache-tomcat-8.0.15.tar.gz |