1818
1919工作空间是一个文件目录,用户对该目录拥有所有的权限可以进行文件管理操作等。建议的目录结构是:script,data,log,res四个目录,目录结构清晰方便用户进行查看和管理。工作空间主要功能如下:
20201 . 工作空间右键主要包含复制路径,新建目录,新建脚本,刷新
21- ![ ide05] ( /images/ch4/ide05.png )
21+ ![ ide05] ( .. /images/ch4/ide05.png)
22222 . 顶上搜索功能,支持对文件快速定位
23- ![ ide06] ( /images/ch4/ide06.png )
23+ ![ ide06] ( .. /images/ch4/ide06.png)
24243 . 新建脚本功能支持建立以下脚本
2525
2626* sql:对应Spark引擎的SparkSQL,语法指导手册:[ sql语法指导手册] ( https://docs.databricks.com/spark/latest/spark-sql/index.html )
2727* hql:对应的是Hive引擎,Hive语法指导手册:[ Hive语法指导手册] ( https://cwiki.apache.org/confluence/display/Hive/LanguageManual )
2828* Scala:对应的是Spark引擎的Scala语法,语法指导手册:[ Spark Scala指导手册] ( https://docs.databricks.com/spark/latest/dataframes-datasets/introduction-to-dataframes-scala.html )
2929* Python:单机Python引擎,兼容Python语法
3030* PythonSpark:对应的是Spark引擎的Python语法,语法指导手册:[ pySpark指导手册] ( https://docs.databricks.com/spark/latest/dataframes-datasets/introduction-to-dataframes-python.html )
31- ![ ide07] ( /images/ch4/ide07.png )
31+ ![ ide07] ( .. /images/ch4/ide07.png)
3232* 脚本右键功能,脚本右键主要有打卡到侧边,复制路径,重命名,删除,导入到hive(csv,txt,excel类型文件),导入到hdfs等功能
33- ![ ide08] ( /images/ch4/ide08.png )
33+ ![ ide08] ( .. /images/ch4/ide08.png)
3434
3535## 3 数据库模块
3636
3737数据库模块主要有以下功能:
38381 . 刷库,刷表,刷字段信息
39- ![ ide09] ( /images/ch4/ide09.png )
39+ ![ ide09] ( .. /images/ch4/ide09.png)
40402 . 表右键功能--查询表:快捷生产临时hive脚本进行数据查看
41- ![ ide10] ( /images/ch4/ide10.png )
41+ ![ ide10] ( .. /images/ch4/ide10.png)
42423 . 表右键功能--查看表结构:展示表的字段详细信息,表详情信息,表分区信息等:
43- ![ ide11] ( /images/ch4/ide11.png )
43+ ![ ide11] ( .. /images/ch4/ide11.png)
44444 . 表右键功能--导出表:可以导出为csv和excel等文件
45- ![ ide12] ( /images/ch4/ide12.png )
45+ ![ ide12] ( .. /images/ch4/ide12.png)
4646
4747## 4 UDF模块
4848
@@ -58,7 +58,7 @@ UDF功能是方便用户对UDF进行分类展示,以及用户可以对个人
5858* 共享函数:科室管理员建立的UDF函数,并共享给其他人使用
5959 除了系统函数外,其他类别的函数都必须点击加载后才能进行使用,而且点击勾选后一定要先kill掉已经启动的会话。
6060 另外勾选加载的UDF,在脚本中也会进行自动补全提示:
61- ![ ide13] ( /images/ch4/ide13.png )
61+ ![ ide13] ( .. /images/ch4/ide13.png)
6262
6363#### 4.2UDF新增函数功能:
6464
@@ -67,11 +67,11 @@ UDF功能是方便用户对UDF进行分类展示,以及用户可以对个人
67672 . 建立Spark专用的UDF,需要先建立好相应的py脚本或者scala脚本,为了使用的正确性,最好测试下相应的脚本
68683 . 在意书建立该UDF:
6969通用UDF:需要勾选通用,并选择对应的jar包路径,填写UDF的全类路径,填写使用格式和描述:
70- ![ ide14] ( /images/ch4/ide14.png )
70+ ![ ide14] ( .. /images/ch4/ide14.png)
7171Spark专用--scala脚本:需要勾选Spark,并选择对应的scala脚本,填写注册格式(填写相应脚本中的函数名):
72- ![ ide15] ( /images/ch4/ide15.png )
72+ ![ ide15] ( .. /images/ch4/ide15.png)
7373Spark专用--Python脚本:需要勾选Spark,并选择对应的python脚本,填写注册格式(填写相应脚本中的函数名):
74- ![ ide16] ( /images/ch4/ide16.png )
74+ ![ ide16] ( .. /images/ch4/ide16.png)
7575
7676#### 4.3Scala和Python函数写法:
7777
@@ -100,34 +100,34 @@ def helloWorld(str: String): String = "hello, " + str
1001001 . 脚本编辑:基础的关键字高亮功能,代码格式化,代码合并,自动补全,快捷健等功能。
1011012 . 运行和停止:用户可以选择代码进行执行,也可以直接点击执行运行整个脚本。脚本运行起来后可以通过停止按钮进行停止。
1021023 . 脚本编辑框有配置选项用于定义用户的自定义变量,该脚本内生效
103- ![ ide18] ( /images/ch4/ide18.png )
103+ ![ ide18] ( .. /images/ch4/ide18.png)
104104
105105## 7 运行结果
106106
107107运行结果包括以下功能:
1081081 . 表格结果展示,点击表头可以进行排序,双击复制字段名等,功能会继续丰富,包括选择列展示,展示字段类型。只支持展示5000行
1091092 . 可视化分析:点击可视化分析,可以通过VSBI对产生的结果集进行可视化展示(待开源)
110- ![ ide21] ( /images/ch4/ide21.png )
110+ ![ ide21] ( .. /images/ch4/ide21.png)
1111113 . 下载:结果集支持直接下载到浏览器本地,支持CSV和excel,只支持下载5000行
1121124 . 导出:结果集导出可以支持导出到工作空间(BDAP的共享目录),结果集导出也支持CSV和Excel格式,并且通过打开全量导出,可以超过5000行的限制。全量导出开关,在执行的sql前面加上注释:` --set wds.linkis.engine.no.limit.allow=true `
1131135 . 导出的CSV和Excel格式通过在管理台--设置--pipeline--导入导出设置--结果集导出类型:excel或者CSV
114- ![ ide22] ( /images/ch4/ide22.png )
114+ ![ ide22] ( .. /images/ch4/ide22.png)
115115
116116## 8 脚本历史
117117
118118脚本历史展示了该脚本文件的历史运行信息,可以快速找到之前运行的脚本的日志,结果。可以有效减少多次运行相同的脚本:
119- ![ ide23] ( /images/ch4/ide23.png )
119+ ![ ide23] ( .. /images/ch4/ide23.png)
120120
121121## 9 管理台
122122
123123管理台主要包含一下功能:
1241241 . 设置:包含通用设置(如设置队列),数据开发相关引擎的设置:spark,hive,python,pipeline等
125- ![ ide25] ( /images/ch4/ide25.png )
125+ ![ ide25] ( .. /images/ch4/ide25.png)
1261262 . 全局变量:全局变量是可以用于所有脚本的自定义变量,如果变量重名则脚本中配置的生效。
1271273 . 其他功能:全局历史,资源管理器,常见问题
128128
129129## 10 右下角弹出框
130130
131131右下角弹出框点击后是类似于Windows的任务管理器类似的功能,用户可以快速的对任务管,引擎,队列资源进行查看和管理:
132- ![ ide24] ( /images/ch4/ide24.png )
132+ ![ ide24] ( .. /images/ch4/ide24.png)
133133
0 commit comments