配置文档nginx.conf123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109# 全局配置user www-data;worker_processes auto;pid /run/nginx.pid;include /etc/nginx/modules-enabled/*.conf;# 处理网络配置events { worker_connections 768; # multi_accept on; # 代理参数 #proxy_connect_timeout 6s; # 连接超时时间 #proxy_send_timeout ...
SQL优化（1）SQL语句有哪些优化手段？能具体说明一下吗？
select 只查需要的字段，尽量避免使用count(*)、select * 之类的作为要查询的内容
多表关联查询，应使用内连接或外连接；关联的表太多时，先把需要的字段查出来组成一个虚拟表，在虚拟表的基础上进行关联查询
通过索引查询
B+树：非叶子节点只存索引值，不存数据；数据在叶子节点存的，在底层叶子节点之间是以双向链表的形式连接（在范围查询时可以之间查询，避免回表，提升查询效率）
基于以上数据结构的特性，通过索引查询相比较全表扫描会极大的提高查询效率
避免使用is null\is not null\in\or\like模糊查询作为查询条件，因为这些条件可能会导致索引失效，从而进行全表扫描
like模糊查询：避免使用”%xx”,无法命中索引导致索引失效，而进行全表扫描
in：当数据量比较少的时候会尝试走索引，数据量超过一定的临界值时，就不走索引了
is null 或者 is not null ：对单列索引，会尝试走索引
会不会走索引，要看数据库的优化器，当优化器认为全表扫描要比走索引快的时候，将会进行全表扫描
嵌 ...
SQL窗口函数什么是窗口函数？
OLAP，对数据库数据进行实时分析处理
select 窗口函数() over (partition by xx ordder by xx) from 表名;
聚合：
partition by：
order by：
窗口函数不改变数据的行数，有时需要去重（在使用聚合函数时）
聚合函数是对当前记录及以上记录求和、最大、最小值等
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051drop table test1;CREATE TABLE test1 ( userId varchar(50), visitDate varchar(50), visitCount INT );INSERT INTO test1VALUES( 'u01', '2017/1/21', 5 ),( 'u02', '2017/1/23', 6 ) ...
Hadoop基础回顾
元数据 – MySQL – metastore元数据存储 Hive原理：本质 【SQL–>mapreduce】–元数据管理、解析SQL 【txt】 字段、类型、存储路径、权限：【映射】 创建MySQL表 【建表、新建字段、类型=>结构化语言】 分别： a. 真实数据 -.txt文件 b. 表字段、类型等信息-元数据关系：文字描述（1）Hadoop：大数据开发框架 核心组件（架构）：HDFS、MapReduce、YARN （2）HDFS：分布式文件系统 -存储数据 核心思想：在Hadoop框架中，存储数据使用HDFS （3）Hive：类SQL库【数据仓库】，必须建立在Hadoop的开发框架下 （4）MySQL：关系型数据库 核心思想：存储元数据【存储表信息、表字段等】
启动Hadoop、hive123456789101112131415161718192021222324# 启动Hadoop1、配置环境变量2、start-all.sh ...
Hive调优参数配置
设置hive参数（三种方式）
配置hive文件
123a）用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml b）默认配置文件：$HIVE_CONF_DIR/hive-default.xml.template # 当用户自定义配置后，会覆盖默认配置。
全局性，对所有hive进程
hive的配置会覆盖Hadoop的配置，因为hive在客户端上运行
命令行参数配置
hive –service hiveserver2 –hiveconf 配置=参数
1hive --service hiveserver2 --hiveconf hive.root.logger=DEBUG,console
仅在当前会话内有效
设置参数声明（推荐）
12345678910111213141516171819-- 查看set 配置;-- 设定参数set 配置=参数;1、参数设置优先级 参数声明-->命令行参数--> 配置文件参数2、参数设置范围 配置文件-->命令行参数--> 参数声明 -- 查看set hi ...
