世運之明晦，人才之盛衰，其表在政，其裏在學。

準備工作，文件結構如下：(python2.7) appleyuchi@ubuntu:~/Desktop/WordCount$ tree.├── build.sbt├── src│        └── main│                     └── scala│                                 └── WordCount.scala其中...

print不同:python2可以没括号python3必须有括号浅拷贝copy用法不同python3的用法是a=b.copy()python2的用法是a=copy.copy(b)浮点计算不同python2中2/3=0(想要小数的话,需要把分子和分母用float进行转化)python3中2/3=0.66666...

# -*- coding: utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf-8')# @Author: appleyuchi# @Date: 2018-07-14 16:29:23# @Last Modified by: appleyuchi# @Last Modified time: 2018-07-15...

打开下面链接：https://sh.58.com/pinpaigongyu/41756538758439x.shtml?adtype=1&from=3-list-9&slotid=1000856&productid=10006&tid=6e14adfc-b29b-4158-926e-598e61572dd8&extParam=%7B%22ppgy_stats%22%3A%7B%22pageSource%22%3A%22%22%2C%22resource%22...

使用 win7旗舰版的光盘安装时，出现信息:"windows无法安装到这个磁盘。选中的磁盘具有MBR分区表，在EFI系统上，Windows只能安装到GPT磁盘"BIOS系统 分区引导系统 Legacy MBR UEFT GPT 出现这个问题的原因是当前BIOS使用的是UEFI系统解决方案，如下修改为Legacy系统：之后即可顺利安装上述操作在技嘉主板B 85M-DS3H中测试通过...

护眼宝夜神模拟器qq微信阿里旺旺edgewindows设置为夜间模式Paragon_ExtFS_for_Windowscpu_z爱剪辑aida64extremeDaemon_tools_Litehdtunepro搜狗输入法淘宝助理WPS迅雷Shock 4Way 3D修仙封神录-送神翼高爆真龙主宰https://blog.csdn.net/qq_41149269/article/details/82459645...

调研了下,[2]中全是概念[4]中的两个调试后目前bug free了，但是都无法输出结果Reference:[1]「Flink」使用Managed Keyed State实现计数窗口功能[2]秒懂Flink状态State-深度解读（上）『建议收藏』[3]Flink状态妙用[4]Flink利用State进行统计...

概述本文用来详解[1]SQL结构[1]中的整个md文件中的sql其实是想表达上图的这个逻辑这里的SQL写的时候需要注意一个细节: connector设置 维度表 'connector' = 'upsert-kafka' 事实表 'connector' = 'kafka' 所谓的N way Join就是在SQL里面一个fact table和多个维度表进行join,如下:SELECT t.actual_departure_date,...

概述本篇用来解析[2][2]中所有Flink SQL的含义Compacted Topics那么这个概念是什么意思呢？引用[1]中的一段话As mentioned at the begining, tombstones and compacted topics are often (but not always) two sides of the same coin.A compacted topic retains the latestvaluefor eve...

flink sql cookbook中的sql语句是:SELECT userid, SESSION_START(log_time, INTERVAL '10' SECOND) AS session_beg, SESSION_ROWTIME(log_time, INTERVAL '10' SECOND) AS session_end, COUNT(request_line) AS request_cntFROM server_logsWHERE status_code = '40

Flink SQL Cookbook中有这么一份说明https://github.com/ververica/flink-sql-cookbook/blob/master/aggregations-and-analytics/07/07_chained_windows.md也就是所谓的Chained (Event) Time Windows该md文件举了两个例子，前面一个例子是Chained Windows后面一个例子是Non-Chained Windows该md文件的前..

我们大概注意到了这么一种现象:faker代码CREATE TABLE subscriptions ( id STRING, user_id INT, type STRING, start_date TIMESTAMP(3), end_date TIMESTAMP(3), payment_expiration TIMESTAMP(3), proc_time AS PROCTIME()) WITH ( 'connector' = 'fak

治疗方案汇总治疗方案名称 备注 碘离子注入 让离子吸收浑浊物。 这种在安全熵没有副作用，但是仅仅对于病变性浑浊物有效。 生理性玻璃体浑浊似乎无效 玻璃体切除手术（FOV） 为什么切除后，填充物是气体或者硅油呢？ 因为在切除玻璃体的时候，把用来支撑的胶原蛋白也给切除了。 导致如果填充透明质酸的话，就无法起到支撑作用了。 虽然使用硅油，但是硅油在后期想要取出会有取不干净的问题。 YAG激光 医院虽然有这种技术，但是激光不小心

基本概念stddev这个stddev是Strandard Deviation的缩写下面来分析一个FLINK SQL 执行Rolling Aggregation的例子如下:SELECT measurement_time, city, temperature, AVG(CAST(temperature AS FLOAT)) OVER last_minute AS avg_temperature_minute, MAX(temperature..

爱眼日紫外线是无形的杀手，眼睛暴露在强烈的阳光下，眼球中的晶体会因过多的紫外线照射而纤维硬化，而且紫外线对人眼的伤害有累积性，慢慢会形成一些眼疾，如白内障，青光眼等。那么什么颜色的镜片最能保护眼睛？绿色镜片墨绿色绿色镜片可以说是飞行员系列的镜片代表，它和灰色镜片一样，可以有效地吸收红外线光和99%的紫外线。但是绿色镜片会使得某些景物的颜色改变扭曲。而且，其阻隔光线的效果略逊于灰色镜片，然而绿色仍不啻为优良的防护镜片。绿色有调节视力的作用，对学生或者眼睛容易

复方丙酸氯倍他索软膏是用來治療銀屑甲的.購買的時候記得買兩支一盒的划算,一支一盒的不划算,要多付一兩塊錢.

命令 區別 git tag 發佈的可下載的軟件包 git branch 所以兩者之間沒有必然聯繫.

我是CSDN三年的用户，其实是12年了。首先作为一款免费产品，用户显然没有资格要求什么。但是作为引流的重要手段，这样提前不告知用户就删除图片并且不后台备份不做任何通知的做法实在是太糟糕了。被删除图片的博客https://blog.csdn.net/appleyuchi/article/details/113408536原图只能在缓存里面看到一个三角形和两个时间轴，这么一个图片就被CSDN非常自信的删除了。下面是完整聊天记录。..

Reference:[1]启动kafka集群，关闭kafka集群脚本[2]shell脚本启动kafka集群[3]Kafka集群启动停止脚本[4]kafka 集群启动脚本 xkafka[5]shell脚本，一次性启动kafka集群

知乎上看到用这种光谱仪来测试防蓝光镜片是否可以阻挡蓝光，问题是这种仪器实在太贵了至少需要好几千．刘老师说：可以替代的办法就是光功率计，百来块一个

蓝光是指波长范围400~500纳米的可见光，蓝光最大的来源不是屏幕，而是太阳光。波长在400~470纳米之间的是有害蓝光，而波长在480~500纳米间的蓝光则伤害没有那么大，反而是有益的蓝光[1]蓝光的范围400-600nm都算，紫外线低于400nm，有交叉部分没有交集是特指专业光学镜片大厂阻隔的415-455nm范围的蓝光光能量测试仪器是什么?光谱仪[13][3][10]市面上的防蓝光眼镜，主要有两种，一种是膜层防蓝光，即在镜片表面镀一层膜,将有...

故障SQL如下:CREATE TABLE server_logs ( client_ip STRING, client_identity STRING, userid STRING, request_line STRING, status_code STRING, log_time AS PROCTIME()) WITH ( 'connector' = 'faker', 'fields.client_ip.expression' =

UDF的完整maven工程https://github.com/appleyuchi/Flink_SQL_Client_UDF完整操作步骤①mvn clean package或者直接点击intellij右侧的package按钮来进行编译②编译得到的jar放入到集群的下面，最终路径如下(不一定非要下面这个路径，也可以是其他你自己指定的路径):$FLINK_HOME/lib/table_api-1.0-SNAPSHOT.jar③$FLINK_HOME/conf/flink-co

基本概念mysql> select TIMESTAMPDIFF(DAY, '2018-03-20 23:59:00', '2015-03-22 00:00:00');+------------------------------------------------------------------+| TIMESTAMPDIFF(DAY, '2018-03-20 23:59:00', '2015-03-22 00:00:00') |+---------------------------

①mvn clean package②编译得到的jar放入到集群的下面，最终路径如下:$FLINK_HOME/lib/table_api-1.0-SNAPSHOT.jar③启动Flink SQL Client输入create temporary function hash_compute as 'HashCode';如果你是先启动Flink SQL Client,后把jar拷贝到②中，那么必须重启Flink sql client，否则会识别不到。④定义sourc...

阿里云的flink技术文档特别喜欢挖坑。最近看到[1]中提到了emit策略。一通找，最后在[1]中发现当前的flink sql并不支持emit关键词Reference:[1]emit策略[1]flink1.12

我们常见的kafka消费命令是这样的:$KAFKA/bin/kafka-console-consumer.sh --bootstrap-server Desktop:9091 --from-beginning --topic user_behavior显然我们希望能把上述命令行做成一个命令，但是希望能接受user_behavior这样的参数##############################################################################

Reference:[1]Flink集成数据湖之实时数据写入iceberg[2]在 Flink 中使用 iceberg[3]基于 Flink+Iceberg 构建企业级实时数据湖[4]Flink集成数据湖之实时数据写入iceberg[5]Flink集成iceberg在生产环境中的实践[6]Flink结合Kafka实时写入Iceberg实践笔记[7]Flink集成iceberg数据湖之合并小文件...

報錯碼 原因 ERROR 1141 (42000) 沒有進行這樣的授權

mysql> ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'appleyuchi';ERROR 1396 (HY000): Operation ALTER USER failed for 'root'@'localhost'mysql>mysql>mysql>mysql>mysql>mysql>mysql>mysql> flu...

/etc/mysql/mysql.conf.d/mysqld.cnf的[mysqld]下面加入skip-grant-tablesservice mysql restart然后输入mysql就可以登录客户端update mysql.user set authentication_string = "appleyuchi" where user = "appleyuchi" ;update mysql.user set authentication_string = "appleyuchi".

完整报错如下:[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: Type TIMESTAMP(3) of table field 'onSellTime' does not match with the physical type TIMESTAMP(6) of the 'onSellTime' field of the TableSource return t

概述本文是对[1]的复现Reference:[1]OVER窗口

Reference:[1]https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/stream/state/state.html[2]Flink有状态计算入门示例[3]Flink State实战，写入查询[4]Flink状态专题：keyed state和Operator state[5]Flink实例（三十一）：状态管理（二）自定义键控状态（一）ValueState[6]Flink中的状态与容错[...

概述kafka的分区策略指的是producer端的　各个partition中的数据如何安排给consumer消费。Range(按范围)ange策略是对每个主题而言的，首先对同一个主题里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。在我们的例子里面，排完序的分区将会是0, 1, 2, 3, 4, 5, 6, 7, 8, 9；消费者线程排完序将会是C1-0, C2-0, C2-1。然后将partitions的个数除于消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽，那么.

Reference:[1]Kafka到底有几个Offset？——Kafka核心之偏移量机制[2]自己维护kafka_offset中的坑

突然没法消费可能是ｋａｆｋａ已经把数据给删了，你再新增加数据试试？说不定就好了。根据[1]kafka的数据保存时间是:log.retention.hours=48#数据最多保存48小时log.retention.bytes=1073741824#数据最多1GReference:[1]从kafka读取数据后 数据会自动删除吗...

Kindle 不推荐 Kindle Paperwhite 推荐Kindle Paperwhite4 Kindle Oasis kindle voyage 有知乎提到kindel支持直接发电子书到邮箱里面，然后kindle上就能看了。[1]Kindle 我该选择那款？[2]2020年双十二除了Kindle，还有哪些国产的电纸书/电子阅读器品牌好? 分享电纸书选购心得[3]Kindle还是国产? 20...

策略 目的 數據傾斜處理策略 taskmanager減緩/避免數據傾斜， 發揮集羣效力． 分區策略策略 sink的partition中的數據存放均衡

故障代碼如下:// *************************************************************************// USER DATA TYPES// *************************************************************************/* * Simple POJO. */import java.sql.Timestamp;import org.apac

Join可以分为两种①implicit join②explicit join举例如下:类型 SQL举例 explicit join SELECT * FROM A a JOIN B b ON a.id = b.pid; explicit join SELECT * FROM A a INNER JOIN B b ON a.id = b.pid; implicit join SELECT * FROM A a,B b WHERE a.id = b.pi.

我们常常会遇到是否应该写execute()的问题batch的print()中已经加入了executeexecuteSql()里面已经加入了 execute所以上述两种情况下，代码使用者不需要再在代码末尾加入execute()那么为什么下面这种使用executeSql以后为啥还需要在代码末尾加入execute()呢这是因为这个例子是表转流，虽然表操作时的executeSql里面已经具备了execute()功能但是这个只是激活表环境，没有流环境，所以需要再次execute

就是键盘左上方的~的小写`在sql中，如果某个变量名称和mysql的保留关键词冲突了，name此时就需要使用飘号来避免冲突，例如:`value`

组件 版本 Flink 1.12 Mysql 8.0.22-0ubuntu0.20.04.2 Flink SQl遇到下面的报错[ERROR] Could not execute SQL statement. Reason:java.sql.SQLSyntaxErrorException: Access denied for user 'appleyuchi'@'desktop' to database 'dijie_test'解决方案：mysq

完整报错如下：select * from dim_behavior;[ERROR] Could not execute SQL statement. Reason:java.lang.NoSuchMethodError: org.apache.flink.table.api.TableColumn.isGenerated()Z经过检查是因为在1.12的Flink的$FLINK_HOME/lib下面使用了1.11版本的flink-connector-clickhouse这种版本失配直接导.

概述本文是对[1]的复现支持的版本是组件 版本 Flink 1.11.0+ 当前Java UDF的SQL Client environment file是Currently the format for Java UDF in SQL Client environment file is:functions: - name: myUDF from: class class: foo.bar.AggregateUDF c..

最近碰到了这么个情况解决方案：点击左上角的这个按钮即可

概念图解下面来解释网上常用的一张图我们来看上图的第二行①以word为key,得到cnt②以cnt为key ,得到freq中间结果总结如下:流模式 数据流情况 中间operator结果 最终operator结果 AppendStream 第1条Hello到来时 第2条Hello到来时 RetractStream 第1条Hello到来时 第2条Hello到来时 使用场景

疾病 禁忌 痛风 杨梅 肝 榴莲 心脏 柿子 肾脏 杨桃 糖尿病 甘蔗 肠不好 栗子

祸兮福所倚，福兮祸所伏，眼前的小蚊子就是提醒你早点休息，注意用眼。措施多吃叶黄素、维生素、杞菊地黄丸、红枸杞、蓝莓、黑枸杞，每天都喝枸杞菊花水，出去散步半小时。 药物的话沃丽汀可能有效，但借用一位答主的话，这药的效果，说实话是个玄学。 刮刮眼周皮肤。增强眼周血液循环。 别熬夜多个水养肝补肾，戒色吧 早上空腹喝大概500cc的西芹汁，根据营养的说法，这个是帮助排除身体的一些重金属，保护肝脏，按照中医的说法就是西芹汁是绿色，入肝，对于眼睛也是有好处的。 喝一些维生素AD，贴眼贴缓解疲劳，还可以

涨鉴碶社区属于招宝山派出所管理 信息 备注 需要的证件 身份证 不需要户口本(但是接线员说最好带上) 不需要家属前往， 也可以把家属的无犯罪证明办理下来。 但是需要提供家属的身份证号和手机号 地点 招宝山派出所 浙江省宁波市镇海区隧道北路551号 派出所的办公时间 8:30-11:30 1:30:5:30 周末休息 接收函给派出所..

.repo/manifests/中新建一个test.xml里面写入<?xml version="1.0" encoding="utf-8"?><manifest> <remote fetch="git://busybox.net" name="busybox"/> <remote fetch="https://gitee.com/syncmirror" name="linux"/> <default remote="linu

总共两条命令update-alternatives --config python# update-alternatives --config pythonThere are 3 choices for the alternative python (providing /usr/bin/python). Selection Path Priority Status----------------------------------------...

概述安装OPTEE环境组件 版本 ubuntu 20.04 repo OP-TEE 基本概念概念 简要解释 QEMU 一种模拟器 OP-TEE 一种操作系统 安装依赖apt-get install android-tools-adb android-tools-fastboot autoconf \ automake bc bison build-essential cscope c...

time apt install sougou -y

概述这篇博客并不是简单地翻译官方文档，而是挑选常用的信息，其他忽略(例如类型推断这种内容)Overview几种UDF 文档中的解释 备注 Scalar functions map scalar values to a new scalar value. 进一出一 Table functions map scalar values to new rows(row指的是一行数据). 进一出多 Aggregate functi..

概述本文是对[1]的复现如果照搬[1]运行，会发现①没有报错②Clickhouse也没有数据写入，提交阿里云工单，扯皮了半天也不愿意帮忙解决今晚吃饭的时候，有了两个想法:①会不会是时区问题(检查流程后，发现并不是流写入，否定了这个才想)②SQL比较矫情，不如试试Flink SQL?环境组件 版本 Ubuntu 20.04 Flink(HA) 1.12.0 Zookeeper 3.6.0 Clickhouse 2..

查看命令mysql> show variables like '%time_zone%';+------------------+--------+| Variable_name | Value |+------------------+--------+| system_time_zone | CST || time_zone | SYSTEM |+------------------+--------+GMT、UTC、DST、CST时区代表...

静态分区分区叫法 表格举例 不同种类分区在HDFS上存放的文件结构 单分区/一级分区/主分区 t1 /user/hive/warehouse/t1/department=depart-1 多分区/多级分区/副分区 t2 /user/hive/warehouse/t2/department=GBD/sex=F 可以看到你所谓的多分区和单分区其实主要取决于数据在HDFS上存放的结构是否是多级文件夹结构.动态分区建立r3,t4表t3表导入t4表

分区叫法表格举例不同种类分区在HDFS上存放的文件结构单分区/一级分区/主分区t1/user/hive/warehouse/t1/department=depart-1多分区/多级分区/副分区t2/user/hive/warehouse/t2/department=GBD/sex=F根据上述表格中的对比也可以看到,所谓的多分区其实就是根目录(/user/hive/warehouse/t*)下面的多级文件夹.查看Hive表的分区结构具体操作打开:http://d...

Reference[1]Flink RetractStream示例及UDF函数实现[2]flink实战——flinkSQL 追加模式与缩进模式（toRetractStream）的区别[3]Flink toAppendStream与toRetractStream的区别[4]Flink--将表转换为DataStream或DataSet[5] flink实战——flinkSQL 追加模式与缩进模式（toRetractStream）的区别[6]flink的toAppendStre...

调研[2]中只是解决了显示问题[3]中解决了无法触发水印计算的问题.##################################################################################################################### 修改hive配置 案例讲解 引入相关的pom 构造hive catalog 创建hive表 将流数据插入hive，

故障代码 @Test public void parserJsonTxt() throws IOException{ ClassLoader cl = this.getClass().getClassLoader(); InputStream inputStream = cl.getResourceAsStream("data1.json"); System.out.print(inputStream); String

检查两个地方检查的地方 内容 File >> Project Structure >> Project language level pom.xml <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> ...

测试mvn clean compile是没问题的 ，解决办法（更改junit的依赖）：<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> ...

mvn clean后，出现下面的log[INFO] Scanning for projects...[ERROR] [ERROR] Some problems were encountered while processing the POMs:[ERROR] 'dependencies.dependency.version' for org.slf4j:slf4j-nop:jar is missing. @ com.henry.flink:DataClean:[unknown-version],

如下:这种情况，解决办法就是直接右侧的clean会提示你信息，你的maven的配置文件路径写错了，解决。

完整报错信息(Python3.6) appleyuchi@Desktop:~/桌面/Flink_Code/flink清洗数据案例/FlinkProj$ ./kibana.sh{"acknowledged":true}{"acknowledged":true,"shards_acknowledged":true,"index":"auditindex"}{ "error" : { "root_cause" : [ { "type" : "illegal_argum...

第一句：“优秀企业应该有超越利润之上的追求。”第二句：“当某事足够重要，你就去做它，即使胜算不大。”第三句：“我想改变世界，希望能够尽我的努力，创立一个新世界，使人们享受生活，为此，我不介意冒险。我希望我做的事，能对人的生活起着深远的影响。要么不做，要做就做历史性的。”...

概述本文主要是对[1]中内容的复现流程图Reference:[1]【20】Flink 实战案例开发（二）：数据报表

护眼软件 备注 f.lux redshift gnome Night Light

/home/appleyuchi/Java/jdk1.8.0_131/bin/java -javaagent:/home/appleyuchi/下載/software/idea-IU-183.5912.21/lib/idea_rt.jar=41543:/home/appleyuchi/下載/software/idea-IU-183.5912.21/bin -Dfile.encoding=UTF-8 -classpath /home/appleyuchi/Java/jdk1.8.0_131/jre/l...

因为kafka是依赖zookeeper来支持可靠性的,所以先看下zookeeper的client有没有问题$ZOOKEEPER/bin/zkCli.sh -server Desktop:2181如果该命令正常,但是依然出现下面的问题的话,021-01-11 11:44:24,839] WARN [Consumer clientId=consumer-console-consumer-70674-1, groupId=console-consumer-70674] Connection to

[1]红绿蓝分别为199,237,204“色调”（Hue）设为85，“饱和度”（Sat）设为90，“亮度”（Lum）设为205。[2]Reference:[1]专家所说的豆沙绿色怎么设置？红绿蓝分别是多少？不要给我所谓的色调 饱和度 亮度设置！！！谢谢[2]电脑护眼豆沙绿的标准数值是多少？...

操作 备注 开机 长按三秒开机 关机 长按三秒关机 调整温度 按到顶再按一下就到35℃了 关机状态 启动状态

功能 命令 设置密码 config set requirepass appleyuchi 获取设置好的密码 config get requirepass 一键登录 ~/.bashrc中设置 alias redis="redis-cli -p 6379 -a appleyuchi"

我们常说bjt是流控器件，MOS管是压控器件，这个其实是从电路设计的角度．因为你想啊，外界施予的物理量，无论是bjt还是mos管，其实内部都有 PN节但是这里的"流控"和"压控"并不是从半导体角度来说的，而是电路设计角度来说的．例如:器件 类型 原因 PN 流控 BJT 流控 Ic=β·Ib MOS 压控 Ids=gm·vgs ...

拼多多 桌上暖垫排行榜 好评榜 名次 品牌 功率 速热 3c认证 或其他保障 1 NZBZ 65w 无 2 镇泰 48w 三小时自动关机 3 无 80w±5w 三小时自动关机 ４ 麦达琳 60w 无 5 阳光码头 65w(60*36cm) 75w(80*33cm)...

flink 异步io使用

淘宝上搜索关键词是"go语言"是"golang"书名 备注 Go Web编程 字典式，提到了并发 精通go语言 Go语言实战 Go语言高并发与微服务实战 Go语言趣学指南 go语言并发之道 GO语言编程实战 Go语言核心编程 零基础Go语言从入门到精通 ...

mvn repository上面好几种kafka的依赖jar本篇博客记录下他们什么区别flink-connector-kafka-base 是flink-connector-kafka的依赖包 flink-connector-kafka-0.8 flink-connector-kafka-0.9flink-connector-kafka-0.10flink-connector-kafka-0.11 com.alibaba.blink的planner .

确保启动elastic集群和kibanacurl -XPUT -H Content-Type:application/json http://Desktop:9201/test_index_1/persons/1 -d '{ "name": "liumiaocn", "userid": 1001, "hobby": "eating"}'curl -XPUT -H Content-Type:application/json http://Desktop:9201/test_

环境组件 版本 ubuntu 20.04 ElasticSearch 7.10.1 下载https://artifacts.elastic.co/downloads/kibana/kibana-7.10.1-linux-x86_64.tar.gz迅雷下载吧,不然太慢总体来看就是个bi工具,特殊之处在于可以连接esReference:[1]Kibana安装(Linux)及简单使用说明...

flink on yarn包括 yarn session以及per job两种方式.那么生产环境中到底采用哪种呢?下面是社区群中的讨论:所以on yarn模式在生产环境中我们使用per job

修改的文件文件 修改内容 /etc/security/limits.conf hard nofile 80000 soft nofile 80000 /etc/sysctl.conf vm.max_map_count=262144 Reference:[1]docker Elasticsearch Unable to lock JVM Memory: error=12, reason=Cannot allocate memory...

ElasticSearch与JDK之间的兼容关系可以参考[1]版本 组件 Ubuntu 20.04 ElasticSearch 7.10.1 JDK 1.8.0_131 下载地点见[2],用迅雷下载[3],否则浏览器下不动的我下载的是elasticsearch-7.10.1-linux-x86_64.tar.gz注意对于节点少的人,例如只有两台机子的,尽量下载tar.gz版本,不推荐下载deb版###########################..

Reference:[1]【19】Flink 实战案例开发（一）：数据清洗[2]Flink清洗Kafka数据存入MySQL测试[3]Flink案例开发之数据清洗、数据报表展现[4]Flink继续实践：从日志清洗到实时统计内容PV等多个指标[5]Flink清洗日志服务SLS的数据并求ACU&PCU[6]Flink入门及实战（21）- 数据清洗实时ETL（2）[7]Flink入门及实战（20）- 数据清洗实时ETL（1）[8]Flink入门及实战（22）- 数...

Reference:[1]Flink之状态管理--容错--检查点[2]一文详解Flink Exactly-Once[3]Flink作业问题分析和调优实践[4]Flink —— 容错性机制- 屏障（barrier）实现原理[5]一文搞懂 Flink 处理 Barrier 全过程[6]Flink 轻量级异步快照 Barrier实现原理...

链接: https://pan.baidu.com/s/1y5ulhPD5YY-TwsBlJ0CMgA 密码: 1b4l下載後直接dpkg -i com.xunlei.download_1.0.0.1_amd64.deb即可轉載自[1]Reference:[1]https://tieba.baidu.com/p/6926605744

完整報錯如下:org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategyat org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:116)at org.apache...

去hive检查会发现db1是存在的.但是启动 flink sql client 的时候会发现提示myhive中找到db1的问题Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consider filing an issue. at org.apache.flink.table.client.SqlC...

使用Flink SQL Client出现:[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: Querying an unbounded table 'myhive.db1.datagen' in batch mode is not allowed. The table source is unbounded.解决方案:$FLINK_HOME/conf/f

这个问题出现在flink sql client试图用DDL连接hive的时候.这里注意,由于DDL不支持纯粹100%的操作hive所以这个问题是因为你没有在.yaml里面配置好hive相关的选项.正常的情况下,你想要通过FLINk Client中的DDL语句操作Hive所以该问题的解决方案必须是这样的:Flink SQL> show catalogs;default_catalogmyhive也即是说,必须有2个catalog或者以上才不会出现上面那种报错...

flink forward 2020上提到了一本《alink权威指南》Alink里面的分词组件用的是结巴分词器，使用方法可以看文档：https://github.com/alibaba/Alink/blob/master/docs/cn/segmentbatchop.md模型使用sklearn 導入https://github.com/alibaba/Alink/blob/master/docs/pyalink/pyalink-dataframe.md。...

本文针对的是flink-faker这个连接器https://github.com/knaufk/flink-faker下面的使用案例来自ververica的flink-sql-cookbook数据类型(不要忘记最后添加逗号) 生成该数据的设置方式(不要忘记最后添加逗号) 生成的数据举例 连接器 'connector' = 'faker', - client_ip STRING 'fields.client_ip.exp...

不带时间窗口的的groupby 会来一条数据进行一条数据的更新操作。这个时候结果是incrment的状态，每次都是覆盖（包含）了上次的结果。带时间窗口的groupby 会对时间窗口内的一批数据进行处理。这个结果是segment的状态，与窗口个数对应。上面第二个图的意思是根据时间间隔把数据隔开成好几份，然后每份内部再按照user进行聚合(统计上化简)...

hive中的一个表格中的内容可以存储在不同分区(可以理解为分片).[1]中描述的是,试图给表格新增一个字段,结果只给新分区进行了新增字段操作,老分区并没有影响,需要使用如下的cascade写法alter table tb add columns(col1 string) cascade;[2]中试图查询最新的分区,但是又不希望遍历所有的分区来寻找,效率太低.总结:对于hive的操作,要时刻注意新分区和旧分区的问题.否则会导致数据不完整以及性能低下的问题...

日期 2019年2月9日 医生 蔡航波 医院 宁波中医院 药品名称 药品规格 当归 2*6 生白芍 2*6 苍术 2*6 柴胡 2*6 茯苓 2*6 炙甘草 2*6 枸杞子 2*6 佛手 1*8 密蒙花 0.5*8 焦六神曲 2*6 淮小麦 2*6 大枣 1枚 百合 1*10 桃仁 2*7 红花 1*...