sql
select from oauth2_user;
select from oauth2_token;
update oauth2_user set email=”gmail” where id=46;
alter oauth2_user add COLUMN email VARCHAR(100) DEFAULT NULL;
docker
mysql -hlocalhost -u root -p
enn-mysql
sudo docker run –name ary_mysql -e MYSQL_ROOT_PASSWORD=enncloud -p 3306:3306 -d mysql
sudo docker run -p 3306:3306 -d enn-mysql

oozie是一个用来制定并执行java工作流的web框架。
一般与hadoop mapreduce 、streaming mapreduce 、hive 、pig等集成。
可以通过http的方式来完成mapreduce Job的提交。
需要：
负责执行任务的jar包、
mapreduce执行的config文件、
oozie本身所需的config文件，
然后执行http请求。

druid 发送请求

curl -L -H'Content-Type: application/json' -XPOST --data-binary @quickstart/search.json http://broker:8082/druid/v2/?pretty

##start

sudo docker run -it -p 8888:8888 gethue/hue bash

./build/env/bin/hue runserver_plus 0.0.0.0:8888

然后访问本地的
localhost：8888

hue的配置信息存储在hue.ini里

2017-02-23

##awk
|awk ‘{print $1}’
输出每行第一个参数
|awk -F ‘:’ ‘{print $1}’
以‘：’为分隔符输出每行第一个参数
|awk -F ‘:’ ‘{print $1 “\t” $7}’
以’：‘为分隔符输出每行第一个参数和第⑦个参数 并且以tab分离
|awk -F ‘:’ ‘BEGIN {print “name,email”} {print $1”,”$3} END {print “no,no”}’
以’：‘为分隔符输出每行第一个参数和第3个参数，首行和末行指定
|awk -F ‘/root/{print $1}’ /etc/passd
搜索文本内带有root的所有行并且输出第一个参数

官方网址

文件存放地址
/var/lib/jenkins/secrets/

###jenkins目前出现的问题

maven的安装问题

在使用一些插件如：checkstyle,findbugs,corbetura时　报错

java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:392)

这种问题的解答在jenkins的官网有相关issue
主要原因是slave机器上的maven是用

apt-get install maven

这种方式安装导致
解决方法是用wget方式重新下载maven的安装包并手动安装。

maven_opts

这个值是执行maven命令的附加参数，一般为1024Ｍ这种指定堆大小的参数
出问题时原因是有人误填为

/opt

导致maven会以为opt是个类，并报找不到该class　.opt 的错。

maven自动安装

在系统管理的
global tools configuration
里，有一个选项是maven自动安装，
如果不小心勾选了这一选项，会导致每次构建项目时，
都会去尝试下载maven源包并试图安装，
然后会导致一系列报错。
如果镜像里有maven，就不要选。
如果没有，也建议自行安装。

差不多就这３个问题居然折腾了４天………太弱了……..

##三大原则

CAP

C - consistency

强一致性，更新多副本与更新单副本的效果相同

A - availability

可用性，对大规模数据的读写能够在限定延时内完成

P - partition Tolerance

分区容忍性，当分区间无法通信时，系统仍能工作

ACID

A - atomicity

原子性，指一个事物要么全部执行要么不执行

C - consistency

一致性，事物在开始和结束时，满足一致性约束

I - isolation

事物独立，事物之间需要序列化执行

D - Durability

事物的持久性，对系统状态的更新是永久的。

BASE

B - basically available

基本可用，允许偶尔失败

S - soft state

软状态，不要求在任何时刻都数据同步

E - eventual consistency

最终一致性，弱一致性，在给定时间内达到一致。

Idempotent

幂等性，多次调用与一次调用相同。

贴一篇guide
启动

$KYLIN_HOME/bin/check-env.sh
$KYLIN_HOME/bin/kylin.sh start

运行例子

$KYLIN_HOME/bin/sample.sh

默认运行在localhost：7070/kylin
ADMIN/KYLIN

在启动kylin的时候遇到了很多坑，最坑的莫过于这个

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

报了java的runtimeException
然后恶心了好久
最后发现原因是因为
kylin在使用hive的时候要启动一个hive线程，而这个线程只能存在一个
所以，当你把hive搭好，执行hive命令跑起来以后，要用kylin了，要把之前这个hive进程停掉先。。。

查询

select car_dt,max(pm10) as maxpm10,min(pm10) as minpm10,max(pm25) as maxpm25,min(pm25) as minpm25 from SAMPLE_CAR_DATA where speed>100 group by car_dt,position order by car_dt

select position,max(pm10) as maxpm10,sum(pm10) as sumpm10,max(pm25) as maxpm25,sum(pm25) as sumpm25 from SAMPLE_CAR_DATA where speed>100 group by position order by position

select car_dt,max(pm10) as maxpm10,sum(pm10) as sumpm10,max(pm25) as maxpm25,sum(pm25) as sumpm25,max(co) as maxco,sum(co) as sumco from SAMPLE_CAR_DATA where speed>80 group by car_dt order by car_dt

select car_dt,count(car_dt) as dts,sum(pm10) as sumpm10,sum(pm25) as sumpm25,sum(co) as sumco from SAMPLE_CAR_DATA where speed>50  group by car_dt order by car_dt  

country,city

select car_dt,country,city,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco from SAMPLE_CAR_DATA where speed>50  group by car_dt,country,city order by car_dt,country,city

kylin 3.7s,hive 41s

select car_dt,country,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco from SAMPLE_CAR_DATA where speed>50  group by car_dt,country order by car_dt,country

kylin 0.6s,hive 34s

select car_dt,country,city,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco from car where speed>50 and city like '%i%'  group by car_dt,country,city order by car_dt,country,city
kylin 0.5s hive 39s

100w

select car_dt,country,city,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco,avg(speed) as avaSpeed  from car where speed>30 and city like '%h%'  group by car_dt,country,city order by car_dt,country,city

kylin 0.8s hive 41s

hive启动

$HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
$HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
$HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

如果遇到这个报错

FUNCTION 'NUCLEUS_ASCII' already exists.

就执行这句
rm -r metastore_db.tmp/metastore_db
mv metastore_db metastore_db.tmp

然后继续

$HIVE_HOME/bin/schematool -dbType derby -initSchema

然后执行hive

hive server

$HIVE_HOME/bin/hiveserver2

hive server 默认HIVE_HOST为localhost，HIVE_PORT为10000

hive beeline

$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000

不过执行这句报错 ，目前还没解决