查询MySQL系统表相关

2019-09-09
1. 查询指定schema下的各张表的数据大小、索引大小以及行数
1
2
3
4
5
6
7
8
9
10
11
12
13
SELECT
	TABLE_NAME,
	concat( TRUNCATE ( data_length / 1024 / 1024/1024, 2 ), ' GB' ) AS data_size,
	concat( TRUNCATE ( index_length / 1024 / 1024/1024, 2 ), ' GB' ) AS index_size,
	TABLE_ROWS
FROM
	information_schema.TABLES 
WHERE
	TABLE_SCHEMA = 'data_bdr' 
GROUP BY
	TABLE_NAME 
ORDER BY
	data_length DESC;

Read More

SVN命令的使用

2019-08-10

1、检出

1
2
3
4
5
6
7
8
9
10
11
12
13
svn 
co http://路径(目录或文件的全路径)　[本地目录全路径] 
--username 用户名 --password 密码svn co svn://路径(目录或文件的全路径)　[本地目录全路径]  --username用户名 --password 密码
svn  checkout http://路径(目录或文件的全路径)　[本地目录全路径] --username　用户名
svn  checkout svn://路径(目录或文件的全路径)　[本地目录全路径] --username　用户名
注：如果不带--password 参数传输密码的话，会提示输入密码，建议不要用明文的--password 选项。
　　其中 username 与 password前是两个短线，不是一个。
　　不指定本地目录全路径，则检出到当前目录下。
例子：
svn cosvn://localhost/测试工具 /home/testtools --username wzhnsc
svn co http://localhost/test/testapp--username wzhnsc
svn checkout svn://localhost/测试工具/home/testtools--username wzhnsc
svn checkouthttp://localhost/test/testapp--username wzhnsc

Read More

Spark Streaming

2019-07-11

1.概述

Spark Streaming是Spark Core API的扩展，它支持对实时数据流进行可扩展、高吞吐量、容错的流失处理

数据可以从许多源(如kafka、flume或tcp socket)中提取，并可以使用复杂的算法(例如：map、reduce、join或window等高级函数)进行处理，最后将处理后的数据推送到文件系统、数据库或实时仪表盘中

Read More

Spark优化

2019-07-02

1.钨丝计划

钨丝计划(Project Tungsten)，让spark更接近硬件

钨丝计划是Spark项目自启动以来，有史以来最大的变化

Read More

Spark SQL

2019-07-01

1.概述

Spark SQL是用于结构化数据处理的Spark模块与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。有几种方法可以与Spark SQL交互，包括SQL、DataFrame API和DataSets API。当计算结果时，使用相同的执行引擎，而与您用来表示计算的API/语言无关。这种统一意味着开发人员可以很容易地在各种API之间来回切换，基于这些API提供了表示给定转换的最自然的方式

Read More