mysql
sql
select from oauth2_user;
select from oauth2_token;
update oauth2_user set email=”gmail” where id=46;
alter oauth2_user add COLUMN email VARCHAR(100) DEFAULT NULL;
docker
mysql -hlocalhost -u root -p
enn-mysql
sudo docker run –name ary_mysql -e MYSQL_ROOT_PASSWORD=enncloud -p 3306:3306 -d mysql
sudo docker run -p 3306:3306 -d enn-mysql
oozie
oozie是一个用来制定并执行java工作流的web框架。
一般与hadoop mapreduce 、streaming mapreduce 、hive 、pig等集成。
可以通过http的方式来完成mapreduce Job的提交。
需要:
负责执行任务的jar包、
mapreduce执行的config文件、
oozie本身所需的config文件,
然后执行http请求。
druid
druid 发送请求
curl -L -H'Content-Type: application/json' -XPOST --data-binary @quickstart/search.json http://broker:8082/druid/v2/?pretty
hue
##start
sudo docker run -it -p 8888:8888 gethue/hue bash
./build/env/bin/hue runserver_plus 0.0.0.0:8888
然后访问本地的
localhost:8888
hue的配置信息存储在hue.ini里
days
2017-02-23
##awk
|awk ‘{print $1}’
输出每行第一个参数
|awk -F ‘:’ ‘{print $1}’
以‘:’为分隔符输出每行第一个参数
|awk -F ‘:’ ‘{print $1 “\t” $7}’
以’:‘为分隔符输出每行第一个参数和第⑦个参数 并且以tab分离
|awk -F ‘:’ ‘BEGIN {print “name,email”} {print $1”,”$3} END {print “no,no”}’
以’:‘为分隔符输出每行第一个参数和第3个参数,首行和末行指定
|awk -F ‘/root/{print $1}’ /etc/passd
搜索文本内带有root的所有行并且输出第一个参数
jenkins
文件存放地址
/var/lib/jenkins/secrets/
###jenkins目前出现的问题
maven的安装问题
在使用一些插件如:checkstyle,findbugs,corbetura时 报错
java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
这种问题的解答在jenkins的官网有相关issue
主要原因是slave机器上的maven是用
apt-get install maven
这种方式安装导致
解决方法是用wget方式重新下载maven的安装包并手动安装。
maven_opts
这个值是执行maven命令的附加参数,一般为1024M这种指定堆大小的参数
出问题时原因是有人误填为
/opt
导致maven会以为opt是个类,并报找不到该class .opt 的错。
maven自动安装
在系统管理的
global tools configuration
里,有一个选项是maven自动安装,
如果不小心勾选了这一选项,会导致每次构建项目时,
都会去尝试下载maven源包并试图安装,
然后会导致一系列报错。
如果镜像里有maven,就不要选。
如果没有,也建议自行安装。
差不多就这3个问题居然折腾了4天………太弱了……..
bigdata
##三大原则
CAP
C - consistency
强一致性,更新多副本与更新单副本的效果相同
A - availability
可用性,对大规模数据的读写能够在限定延时内完成
P - partition Tolerance
分区容忍性,当分区间无法通信时,系统仍能工作
ACID
A - atomicity
原子性,指一个事物要么全部执行要么不执行
C - consistency
一致性,事物在开始和结束时,满足一致性约束
I - isolation
事物独立,事物之间需要序列化执行
D - Durability
事物的持久性,对系统状态的更新是永久的。
BASE
B - basically available
基本可用,允许偶尔失败
S - soft state
软状态,不要求在任何时刻都数据同步
E - eventual consistency
最终一致性,弱一致性,在给定时间内达到一致。
Idempotent
幂等性,多次调用与一次调用相同。
apache kylin
贴一篇guide
启动
$KYLIN_HOME/bin/check-env.sh
$KYLIN_HOME/bin/kylin.sh start
运行例子
$KYLIN_HOME/bin/sample.sh
默认运行在localhost:7070/kylin
ADMIN/KYLIN
在启动kylin的时候遇到了很多坑,最坑的莫过于这个
Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
报了java的runtimeException
然后恶心了好久
最后发现原因是因为
kylin在使用hive的时候要启动一个hive线程,而这个线程只能存在一个
所以,当你把hive搭好,执行hive命令跑起来以后,要用kylin了,要把之前这个hive进程停掉先。。。
查询
select car_dt,max(pm10) as maxpm10,min(pm10) as minpm10,max(pm25) as maxpm25,min(pm25) as minpm25 from SAMPLE_CAR_DATA where speed>100 group by car_dt,position order by car_dt
select position,max(pm10) as maxpm10,sum(pm10) as sumpm10,max(pm25) as maxpm25,sum(pm25) as sumpm25 from SAMPLE_CAR_DATA where speed>100 group by position order by position
select car_dt,max(pm10) as maxpm10,sum(pm10) as sumpm10,max(pm25) as maxpm25,sum(pm25) as sumpm25,max(co) as maxco,sum(co) as sumco from SAMPLE_CAR_DATA where speed>80 group by car_dt order by car_dt
select car_dt,count(car_dt) as dts,sum(pm10) as sumpm10,sum(pm25) as sumpm25,sum(co) as sumco from SAMPLE_CAR_DATA where speed>50 group by car_dt order by car_dt
country,city
select car_dt,country,city,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco from SAMPLE_CAR_DATA where speed>50 group by car_dt,country,city order by car_dt,country,city
kylin 3.7s,hive 41s
select car_dt,country,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco from SAMPLE_CAR_DATA where speed>50 group by car_dt,country order by car_dt,country
kylin 0.6s,hive 34s
select car_dt,country,city,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco from car where speed>50 and city like '%i%' group by car_dt,country,city order by car_dt,country,city
kylin 0.5s hive 39s
100w
select car_dt,country,city,count(city) as dts,sum(pm25) as sumpm25,sum(co) as sumco,avg(speed) as avaSpeed from car where speed>30 and city like '%h%' group by car_dt,country,city order by car_dt,country,city
kylin 0.8s hive 41s
apache hive
hive启动
$HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
如果遇到这个报错
FUNCTION 'NUCLEUS_ASCII' already exists.
就执行这句
rm -r metastore_db.tmp/metastore_db
mv metastore_db metastore_db.tmp
然后继续
$HIVE_HOME/bin/schematool -dbType derby -initSchema
然后执行hive
hive server
$HIVE_HOME/bin/hiveserver2
hive server 默认HIVE_HOST为localhost,HIVE_PORT为10000
hive beeline
$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000
不过执行这句报错 ,目前还没解决