分类目录归档：未分类

spark单机版

根据以下步骤，建立单机版。
部署环境，也即主机，内存大于4G为宜，因为spark在执行一项任务时，至少会启动2个woker线程，每个节点为至少1G内存，这也就要求至少2G内存。如果再有HADOOP的话，4G内存是属于最低配置了。

1.配置单机互信，如果不配置，则在启动hadoop或spark的过程中，会要求输入密码，且“互信”是配置随机自启动的必要条件。
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

2.Spark配置，假定spark安装在/spark-2.0.1目录下。
复制配置模板：cp /spark-2.0.1/conf/spark-env.sh.template /spark-2.0.1/conf/spark-env.sh
编辑它：vi /spark-2.0.1/conf/spark-env.sh，增加以下定义。
export JAVA_HOME=/jdk1.8.0_101/ #如果没有设置该项，会在启动过程中提示该项，甚至可能失败。
export SPARK_MASTER_HOST=192.168.239.137 #如果没有设置该项，则默认以SPARK_MASTER_HOST=”hostname” -f替代，且必须配置相应的hosts文件为ip，否则无法被外网访问。
export SPARK_WORKER_MEMORY=1G #默认就是1G，不能小于1G，例如512M，它会资源不足的错误。
3.添加环境变量，vim /etc/profile，这个并非必要，只是为了方便直接调用脚本罢了。
export SPARK_HOME=/spark-2.0.1
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

4.启动或停止Spark，为了防止与hadoop等其它脚本混淆，也可重命名它为spark-start-all
start-all.sh
stop-all.sh

5.重启（或source /etc/profile）并验证：
spark-submit –class=org.apache.spark.examples.SparkPi –master=spark://192.168.239.137:7077 /spark-2.0.1/examples/jars/spark-examples_2.11-2.0.1.jar
spark-submit –class=org.apache.spark.examples.LogQuery –master=spark://192.168.239.137:7077 /spark-2.0.1/examples/jars/spark-examples_2.11-2.0.1.jar

突然很想打座。

git的user.anem和user.email配置

单用户全局配置
git config –global user.name “abc”
git config –global user.email “abc@admin.com”
单个仓库的配置
git config user.name ‘abc2’
git config user.email ‘abc2@admin.com’

查看一下配置是否OK
git config –list

iphone刷机工具

iphone4被琐，最好的刷机工具是艾思助手
http://www.i4.cn/

移动前端工具

http://frozenui.github.io/frozenjs/
内部使用了比jq性能更好的库:zepto.js,文件gzip压缩后只有5k，是专门为移动推出的SDK。
http://framework7.taobao.org/
超NB的webapp框架。

何为如来

佛说“无所从来，亦无所去，故名如来”

ibus输入法故障

sudo yum remove ibus －－会将所有的输入法删除
安装ibus,ibus-table
sudo yum install ibus ibus-table –这样只会安装ibus的输入框架
sudo yum install ibus-table-wubi
yum install “@Chinese Support”
———————–
解决 CentOS 6.x 升级 Python2.7 后 Ibus 输入法无法使用问题
/usr/libexec/ibus-ui-gtk
/usr/ bin/ibus-setup
/usr/libexec/ibus-engine-table

将以上三个文件中的 “exec python” 修改为 “exec python26”

HTTPS证书生成方式

1.下载openssl的相关工具包。
2.使用以下命令生成相关https证书
如你的网站是example.com
openssl genrsa -out example.com.key 2048
openssl req -new -x509 -key example.com.key -out example.com.cert -days 3650 -subj /CN=example.com
注：本例子是在linux下测试。
在原来配置下新增如下配置则可：
ssl on; ssl_certificate vhosts/kxtry.com.cert; ssl_certificate_key vhosts/kxtry.com.key;
更复杂一点的配置如下：
nginx配置如下

HBase的python开发

关于HBase在python上的开发环境配置和测试，在网上虽然有较多的描述，但描述的得太简单，再者很多初学者第一次接触hbase+hdfs这种大数据架构时，可能还没有走到测试这步，就已经累死在集群配置上了，为此想在进行测试相关功能前，本人简单的总结一下，自已遇到的问题以及解决办法。

选择合适的兼容的版本，关于版本的兼容性问题，请参照以下官方网址：

https://hbase.apache.org/book/configuration.html#hadoop

选择合适配置参考教程，本人在配置过程中耗费很多时间，原因就是教程选择，不是选择错了，就是选择得太简单，从而导致无法正确运行集群，本人为此分享个网盘资源（网盘http://pan.baidu.com/s/1c0haT9I），以供参考。

免密码登录配置：此为集群必须设置的第一步。原因是启动集群时，在各集群的主处理器调用xxx.sh文件，会间接调用ssh命令登录从处理器，有空的人仔细可以分析一下各.sh的配置文件的关系，本人以hbase的配置文件简单描述一下调用顺序关系。

Start-hbase.sh调用hbase-daemons.sh，然后hbase-daemons.sh又调用zookeepers.sh和regionservers.sh以及master-backup.sh配置文件，在这三个文件中，就会调用ssh命令登录从处理器，如图所示。

Hdfs的配置文件调用关系和hbase的类似。

安装顺序：先是安装Hadoop,然后是HBase。依照网盘的教程，配置集群。请注意配置Hadoop1和Hadoop2是有差别的，两种配置不要混淆。

网盘http://pan.baidu.com/s/1c0haT9I
配置完成后，使用Hbase shell命令进行测试时，可能会报一些奇怪的错误如下图为其中一种表现情况

这问题主要是Hadoop的扩展库和HBase的扩展库，使用了不同版本导致，一般情况下使用较新的版本替换旧的版本。

——————————————————————————————————-

现在开始描述python的环境配置。

安装thrift库，有两种方法。

方法一：yum install thrift.

方法二：下载thrift源码编译安装，此方法较复杂，网上也有很多介绍，本人也尝试了好几次，才正确编译出来。
生成hbase库，也有两种方法。

方法一：直接使用现成的，这方法是本人偶然发现hbase的源代码的example目录下发现的。

     检查hbase的源目录

     hbase-0.98.9\hbase-examples\src\main\python\thrift1\gen-by

     hbase-0.98.9\hbase-examples\src\main\python\thrift2\gen-by

方法二：使用thrift源码编译出来的thrift执行文件，然后进入hbase的源码目录，按以下命令生成

     cd hbase-0.98.9\hbase-thrift\src\main\resources\org\apache\hadoop\hbase\thrift && thrift –gen py Hbase.thrift

或cd hbase-0.98.9\hbase-thrift\src\main\resources\org\apache\hadoop\hbase\thrift2 &&
thrift –gen py hbase.thrift
实例测试

网盘http://pan.baidu.com/s/1c0haT9I，解压example文件，有如下文件：

严格按照以下顺序启动集群和测试，否则有可能会出现连接不通问题。

启动hadoop集群:start-all.sh

启动hbase集群: start-hbase.sh

启动thrift1服务端：hbase-daemon.sh start thrift，进行测试thrift1和thrift3例子。

启动thrift2服务端：hbase-daemon.sh start thrift2，进行测试thrift2的例子。

注：thrift默认的监听端口是9090，如果thrift的端口被占用，可以用netstat -tunlp | grep 9090进行检查端口被谁占用