分类目录归档：未分类

solr快速入门

1.下载合适的solr版本。当前官网最新版本是6.4.1，但经验证，6.4.1版本在其管理后台中操作dataimport时，会显示空白页。故本人不建议使用最新版本进行学习和应用开发。经验证，其5.5.3版本的各项功能是可以正常工作的。
下载5.5.3版本，快捷路径是：https://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr
http://lucene.apache.org/solr/mirrors-solr-latest-redir.html
选择任意一个镜像，在进入镜像后，选择parent目录。


选择5.5.3的版本：https://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/5.5.3/
https://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/5.5.3/solr-5.5.3.zip
2.如下是其目录结构，初学者，应该习惯阅读Readme.txt文件，该文件记录了一些基本使用操作，很方便学习。

3.内置了几个例子，需要使用特殊命令开启，初学者应该每个例子都体验一下。

bin/solr -e  where  is one of:  
    cloud        : SolrCloud example
    dih          : Data Import Handler (rdbms, mail, rss, tika)
    schemaless   : Schema-less example (schema is inferred from data during indexing)
    techproducts : Kitchen sink example providing comprehensive examples of Solr features

4.体验dih例子。

bin/solr -e dih

5.打开管理后台页面：

在实际测试过程中，发现在window中，dataimport等一些相关操作，会失败。只有linux的才会成功，具体原因没有去分析。
http://mysql.mvware.com:8983/solr/


6.logging界面，当执行dataimport或其它操作，如果有错误或执行失败，可以检查该日志信息。

7.在CoreSelector中选择solr项,并选择dataimport项.

8.在dataimport项中，调试你的配置文件，经过该步骤，已经可以在query项和schemabrowser项中查询到相关记录了。

9.在dataimport项中，执行全量更新和增量更新，dataimport项是需要在solrconfig.xml中配置的。

solrconfig.xml中的requestHandler配置


    
      solr-data-config.xml

solr-data-config.xml中的配置

10.浏览schemabrowser中的各个schema项，在solr6.x版本中，增加了schema的增删项，更方便从零搭建core项。

11.通过documents项，增加数据记录，通过schemabrowser或manage-schema.xml配置文件中可知道当前的schema有如下：。


在DocumentType选择JSON项，然后输入内容如下，并点击submit按钮提交：

{"id":12345, "author":"author_121","text":"text_121", "title":"title_1121"}

{"id":22345, "url":"url_121"}

如果执行成功，则提示如下：

Status: success
Response:
{
  "responseHeader": {
    "status": 0,
    "QTime": 2
  }
}

如果出错呢？也会有相应的错误提示，可依据提示进行修改输入项内容。

12.通过query项，进行查找刚才的输入项。

13.也可以通schemabrowser中的记录，快速跳转搜索的内容。

Dubbo客户端的RPC构造关键过程

1.Dubbo的客户端请求配置和调用代码如下：

    
    
    

        String applicationConfig = "consumer-applicationContext.xml";
        ApplicationContext context = new ClassPathXmlApplicationContext(applicationConfig);

注：在上一文章，曾介绍xml表的命名空间间解析过程，而dubbo:service是服务端配置，而dubbo:reference是客户端配置。
2.构造beanmap列表时，每一行dubbo::refence对应一个ReferenceBean配置。Reference会创建三个对象,如下：
FailoverClusterInvoker：失败转移使用，如服务器宕机等，是从com.alibaba.dubbo.common.Node接口派生的。
MockClusterInvoker：如其名，接口集群化，同一个接口，存在多个服务器为其提供服务支持时，需要一个均衡策略地访问这些服务器。
InvokerInvocationHandler：这个接口是真正的动态代理，它是从InvocationHandler中派生出来的，Failover和MockCluster都是从Node接口派生，用于管理集群的。
3.如下调用代码

UserInfoService userInfoService = (UserInfoService) context.getBean("userInfoService");
System.out.println(userInfoService.sayHello("zhangsan"));


4.如下代码,通过元数据RpcInvocation打包函数名和函数参数，然后通过RPC通信把请求发送到服务器端。

    public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
        String methodName = method.getName();
        Class[] parameterTypes = method.getParameterTypes();
        if (method.getDeclaringClass() == Object.class) {
            return method.invoke(invoker, args);
        }
        if ("toString".equals(methodName) && parameterTypes.length == 0) {
            return invoker.toString();
        }
        if ("hashCode".equals(methodName) && parameterTypes.length == 0) {
            return invoker.hashCode();
        }
        if ("equals".equals(methodName) && parameterTypes.length == 1) {
            return invoker.equals(args[0]);
        }
        return invoker.invoke(new RpcInvocation(method, args)).recreate();
    }

spark单机版

根据以下步骤，建立单机版。
部署环境，也即主机，内存大于4G为宜，因为spark在执行一项任务时，至少会启动2个woker线程，每个节点为至少1G内存，这也就要求至少2G内存。如果再有HADOOP的话，4G内存是属于最低配置了。

1.配置单机互信，如果不配置，则在启动hadoop或spark的过程中，会要求输入密码，且“互信”是配置随机自启动的必要条件。
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

2.Spark配置，假定spark安装在/spark-2.0.1目录下。
复制配置模板：cp /spark-2.0.1/conf/spark-env.sh.template /spark-2.0.1/conf/spark-env.sh
编辑它：vi /spark-2.0.1/conf/spark-env.sh，增加以下定义。
export JAVA_HOME=/jdk1.8.0_101/ #如果没有设置该项，会在启动过程中提示该项，甚至可能失败。
export SPARK_MASTER_HOST=192.168.239.137 #如果没有设置该项，则默认以SPARK_MASTER_HOST=”hostname” -f替代，且必须配置相应的hosts文件为ip，否则无法被外网访问。
export SPARK_WORKER_MEMORY=1G     #默认就是1G，不能小于1G，例如512M，它会资源不足的错误。
3.添加环境变量，vim /etc/profile，这个并非必要，只是为了方便直接调用脚本罢了。
export SPARK_HOME=/spark-2.0.1
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

4.启动或停止Spark，为了防止与hadoop等其它脚本混淆，也可重命名它为spark-start-all
start-all.sh
stop-all.sh

5.重启（或source /etc/profile）并验证：
spark-submit –class=org.apache.spark.examples.SparkPi –master=spark://192.168.239.137:7077 /spark-2.0.1/examples/jars/spark-examples_2.11-2.0.1.jar
spark-submit –class=org.apache.spark.examples.LogQuery –master=spark://192.168.239.137:7077 /spark-2.0.1/examples/jars/spark-examples_2.11-2.0.1.jar

移动前端工具

http://frozenui.github.io/frozenjs/
内部使用了比jq性能更好的库:zepto.js,文件gzip压缩后只有5k，是专门为移动推出的SDK。
http://framework7.taobao.org/
超NB的webapp框架。