最近做的项目中涉及到大数据量的问题，具体问题是：监测数字电视的信号，对传输的码流进行指标监测，每秒监测到20000个流，每个流对应着20多个指标，每秒存储一次将这20000流存储起来，需要保存24小时的数据。 这个问题研究了好几天： 一、文件写入存储：但
最近做的项目中涉及到大数据量的问题，具体问题是：监测数字电视的信号，对传输的码流进行指标监测，每秒监测到20000个流，每个流对应着20多个指标，每秒存储一次将这20000流存储起来，需要保存24小时的数据。
这个问题研究了好几天：
一、文件写入存储：但是如果将一天的17亿条记录都写入到一个文件里，没试过，相信会很慢，而且查询的时候会更慢。如果写入到多个文件，按照流ID可以将数据拆成20000个分类，同时对20000个文件执行写入操作也不现实。
二、数据库存储：文件存储的方式pass掉了之后开始考虑数据库存储
1、首先我用的Oracle进行性能测试：
将表按照流ID进列表分区，分为20000个区，然后每个分区内存储86400条数据（也就是该流从一天的第1秒到86400秒对应的指标数据），需要有索引，主键是全局索引，其余的列我又建了4个分区索引。
第一步创建6个表空间,保证每个表空间都能拓展到32GB大小（Oracle的表空间最大能拓展到32GB）
第二步要创建这个分区表：
-- Create table create table AAA ( ID number(8), StreamID number(8), StreamType number(1), FAvailability number(5), Bandwidth number(4), ValidBandwidth number(4), MDI_DF number(5), MDI_MLR number(5), Delay_Time number(5), IPInterval number(5), IPJitter number(5), Time date, MLT15 number(5), MLT24 number(5), MLS number(5), SliceNum number(5), CachedTime number(5), StuckTime number(5), GetSliceErr number(5), RetransmitRate number(5), RepeatRate number(5), SecondsFlag number(5) ) partition by list(SecondsFlag) ( partition p1 values(1) tablespace tbs_haicheng );第三步再为t_stream表创建19999个分区：
DECLARE
parName varchar2(100);
sql_str varchar2(500);
BEGIN
FOR I IN 2..20000 LOOP
parName:='p'||I;
sql_str:='ALTER TABLE aaa ADD partition'||' p'||I|| ' VALUES('||I||')';
execute immediate sql_str;
END LOOP;
END;
第四步为t_stream创建4个分区索引：
-- Create/Recreate indexes create index LOCAL_INDEX_REPEATRATE on AAA (REPEATRATE); create index LOCAL_INDEX_SECONDSFLAG on AAA (SECONDSFLAG); create index LOCAL_INDEX_STREAM on AAA (STREAMID); create index LOCAL_INDEX_TIME on AAA (TIME);
第五步创建一个表结构与t_stream相似的表：
create table a ( ID number(8), StreamID number(8), StreamType number(1), FAvailability number(5), Bandwidth number(4), ValidBandwidth number(4), MDI_DF number(5), MDI_MLR number(5), Delay_Time number(5), IPInterval number(5), IPJitter number(5), Time date, MLT15 number(5), MLT24 number(5), MLS number(5), SliceNum number(5), CachedTime number(5), StuckTime number(5), GetSliceErr number(5), RetransmitRate number(5), RepeatRate number(5), SecondsFlag number(5) )
partition by list (SECONDSFLAG)
(
partition P1 values (1)
tablespace IPVIEW1
pctfree 10
initrans 1
maxtrans 255
storage
(
initial 64K
minextents 1
maxextents unlimited
)
);
alter table AAA
add constraint ID primary key (ID)
using index
tablespace TBS_HAICHENG
pctfree 10
initrans 2
maxtrans 255
storage
(
initial 64K
minextents 1
maxextents unlimited
);
第六步向表A中插入86400条数据:
declare begin for i in 1..86400 loop insert into a (id, streamid, streamtype, favailability, bandwidth, validbandwidth, mdi_df, mdi_mlr, delay_time, ipinterval, ipjitter, time, mlt15, mlt24, mls, slicenum, cachedtime, stucktime, getsliceerr, retransmitrate, repeatrate) values (seq_aaa.nextval, 111, 1, 1111, 1111, 1111, 1111, 1111, 1111, 1111, 1111, SYSDATE, 1111, 1111, 1111, 1111, 1111, 1111, 1111, 1111, 1111); end loop; end ;
第七步：向t_stream表中copy数据
declare
begin
FOR I IN 1..20000 LOOP
insert into aaa
select seq_aaa.nextval, streamid, streamtype, favailability, bandwidth, validbandwidth, mdi_df, mdi_mlr, delay_time, ipinterval, ipjitter, time, mlt15, mlt24, mls, slicenum, cachedtime, stucktime, getsliceerr, retransmitrate, repeatrate,I from a;
commit;
END LOOP;
end;
注意：实际上，这一部分我是将1-20000分成20份 ，开了20个线程同时执行，每个线程负责向1000个分区中copy数据（向每个分区录入86400条），这时候明白我为什么要创建表A了吧！
然后，就不管他了，玩游戏看电影去了，两天假结束，想起来去看了一眼插入到什么程度了，发现磁盘有的线程还在执行，有的线程由于表空间写满到32Gb无法再拓展而终止了。
看了一下序列已经被调用到6亿多，说明插入进去了6亿多条是数据。
首先是数据占用的空间问题，与估算的相差太多，我开始插入了上百万的数据，通过查看这上百万数据占用的空间估算出17亿数据占用的空间在180G左右，，而我准备出将近200G的磁盘空间以为足够了呢，结果差了这么多，分析下原因，最主要的一点是索引占用的空间：
我原来在预估的时候忘记了为表创建索引，以为没什么大影响，有10G空间足够索引占用了，可是事实大错特错了，通过下面的语句查看了下空间的占用情况：
1、表占用空间(0.008G 这是A表里的86400条数据占用的空间) select segment_name, sum(bytes)/1024/1024/1024 GB from user_segments where segment_type='TABLE' group by segment_name; 2、索引占用空间（17.24GB） select segment_name ,sum(bytes)/1024/1024/1024 GB from user_segments where segment_type IN('INDEX PARTITION','INDEX') group by segment_name; 3、分区表TABLE PARTITION占用空间（63.5GB） select segment_name,sum(bytes)/1024/1024/1024 GB from user_segments where segment_type='TABLE PARTITION' group by segment_name;结果分别如下：
注：第三个图中的SEGMENT_NAME的值为T_STREAM 是上文创建的那个分区表。
我们看到结果发现，实际上表数据占用的空间是64GB，跟原来估算的几乎一致，多出来的部分是被索引占了，总共占用了将近100GB的空间，吓死哥了
缘何索引占用了这么多的空间？可能是我创建索引的方式不对？后续研究补充！
我们的程序采用的策略是首先将17亿条记录手动录入到数据库中，然后当监测到流指标时候对响应的数据进行update操作，也就是一般每秒执行20000个update语句，测试下性能：
declare
j number ;
begin
for i in 2000000..2020000 loop
update t_stream
set
streamid = 2,
streamtype = 2,
favailability = 2,
bandwidth = 2,
validbandwidth = 2,
mdi_df = 2,
mdi_mlr = 2,
delay_time = 2,
ipinterval = 2,
ipjitter = 2,
time = sysdate,
mlt15 = 2,
mlt24 = 2,
mls = 2,
slicenum = 2,
cachedtime = 2,
stucktime = 2,
getsliceerr = 2,
retransmitrate = 2,
repeatrate = 2
where id = i ;
end loop;
end ;
这种单纯以主键进行修改的时候他要进行全表扫描（所有的分区需要扫描到），效率很低，大约70s执行完，这才只是6亿数据。
所以我们要让他在执行update语句的时候尽量扫描单个分区，也就是说把那个分区字段当参数传递过来，如下语句所示：
declare
j number ;
begin
j:=1;
for i in 2000000..2020000 loop
update aaa
set
streamid = 2,
streamtype = 2,
favailability = 2,
bandwidth = 2,
validbandwidth = 2,
mdi_df = 2,
mdi_mlr = 2,
delay_time = 2,
ipinterval = 2,
ipjitter = 2,
time = sysdate,
mlt15 = 2,
mlt24 = 2,
mls = 2,
slicenum = 2,
cachedtime = 2,
stucktime = 2,
getsliceerr = 2,
retransmitrate = 2,
repeatrate = 2
where id = i ;
j:=j+1;
end loop;
end ;
测试这个代码块执行时间为3s，而且虽然现在是6亿数据，但是就是17亿数据执行时间也差不多是3s的，因为它扫描的永远只是20000个分区。而且我的电脑才四核处理器，服务器上24核呢。执行的肯定会比我电脑快多了吧，所以实现预定需求不成问题。
2、后来由于Oracle是收费的，不让用了，汗一个,接下来研究Mysql。
Mysql在建表以及分区的时候遇到两个问题：
问题一：建分区的时候总提示语法错误,无论怎么改都不让我创建分区，Mysql这么火的数据库不可能不支持分区啊。后来一查才知道Mysq5.0版本不支持分区，是从5.1才开始支持表的分区的，于是把我的数据库版本更换成5.5的，分区成功创建。
问题二：在Mysql上建20000个分区的过程中发现每次执行到中途就报错停止了，查询了解到Mysql的表分区数量是有限制的，每个表最多能有1024个分区。
这对我们影响不太大，大不了我就建1000个分区，每个分区存放86400*20条数据，相信每个分区百万条数据不算什么。
3、首先sqlite数据库不支持分区只好建立20000个表，由于sqlite不支持存储过程，我也没找到sqlite怎样写循环语句。但是建立20000个表 和 录入那么多的数据我们不可能一条一条的去执行写语句执行，所以需要另想办法，我的解决过程：
首先我想到可以用调用批处理文件的方式插入数据和建表：
建一个 批量建表.bat文件，文件内容如下：
@ECHO OFF For /L %%i in (1,1,20000) do (sqlite3.exe hc.db<createTable.bat bbb_%%i) pause
createTable.bat 内容如下：
create table 1%(ID integer primary key autoincrement, STREAMID NUMBER(10), STREAMTYPE NUMBER(1), FAVAILABILITY NUMBER(5), BANDWIDTH NUMBER(4), VALIDBANDWIDTH NUMBER(4), MDIDF NUMBER(5), MDIMLR NUMBER(5), DELAY_TIME NUMBER(5), IPINTERVAL NUMBER(5), IPJITTER NUMBER(5), TIME DATE, MLT15 NUMBER(5), MLT24 NUMBER(5), MLS NUMBER(5), SLICENUM NUMBER(5), CACHEDTIME NUMBER(5), STUCKTIME NUMBER(5), GETSLICEERR NUMBER(5), RETRANSMITRATE NUMBER(5), REPEATRATE NUMBER(5), SECONDSFLAG NUMBER(5), PART NUMBER(5) );
问题出现了，在执行批量建表.bat的时候提示sqlite语法错误。至今也没找到原因：
问题肯定是出现在传递的动态参数上，createTable.bat成功的接到了参数，语句在sqlite中执行不报错，放在bat里就报错。 所以第一次批量建表没成功。
那就用咱们的老本行，写JAVA程序：
需要一个驱动包：sqlitejdbc-v033-nested.jar。
代码如下：
import java.sql.*;
import org.sqlite.JDBC;
/**
* sqlite创建数据库以及批量建表
* @time 2014-01-07
* @author HaiCheng
*
*/
public class createTable {
/**
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
try{
//1，保证SQLite数据库文件的路径首字符为小写，否则报错
String thisPath = "e:/haicheng.db";
String sql = "jdbc:sqlite://"+thisPath;//windows && linux都适用
//2，连接SQLite的JDBC
Class.forName("org.sqlite.JDBC");
//建立一个数据库名haicheng.db的连接，如果不存在就在当前目录下自动创建
Connection conn = DriverManager.getConnection(sql);
//3,创建表
Statement stat = conn.createStatement();
for(int i=1 ;i<=20000;i++){
String sql1=" create table bbb"+i+" " +
" (" +
" ID INTEGER primary key autoincrement," +
" STREAMID NUMBER(10)," +
" STREAMTYPE NUMBER(1)," +
" FAVAILABILITY NUMBER(5)," +
" BANDWIDTH NUMBER(4)," +
" VALIDBANDWIDTH NUMBER(4)," +
" MDI_DF NUMBER(5)," +
" MDI_MLR NUMBER(5)," +
" DELAY_TIME NUMBER(5)," +
" IPINTERVAL NUMBER(5)," +
" IPJITTER NUMBER(5)," +
" TIME DATE," +
" MLT15 NUMBER(5)," +
" MLT24 NUMBER(5)," +
" MLS NUMBER(5)," +
" SLICENUM NUMBER(5)," +
" CACHEDTIME NUMBER(5)," +
" STUCKTIME NUMBER(5)," +
" GETSLICEERR NUMBER(5)," +
" RETRANSMITRATE NUMBER(5)," +
" REPEATRATE NUMBER(5)," +
" SECONDSFLAG NUMBER(5)," +
" PART NUMBER(5)" +
" );";
System.out.println(sql1);
String sql2="CREATE INDEX index_flag"+i+" ON bbb"+i+"(SECONDSFLAG);";
String sql3="CREATE INDEX index_part"+i+" ON bbb"+i+"(PART);";
stat.executeUpdate( sql1 );
stat.executeUpdate( sql2 );
stat.executeUpdate( sql3 );
}
stat.close();
conn.close(); //结束数据库的连接
}
catch( Exception e )
{
e.printStackTrace ( );
}
}
}
import java.sql.*;
import org.sqlite.JDBC;
/**
* 向第一个表中循环录入数据
* @author HaiCheng
*
*/
public class insertData {
public static void main(String[] args) throws Exception {
try{
//1，保证SQLite数据库文件的路径首字符为小写，并且路径为unix路径
String thisPath = "e:/haicheng.db";
String sql = "jdbc:sqlite://"+thisPath;//windows && linux都适用
//2，连接SQLite的JDBC
Class.forName("org.sqlite.JDBC");
//建立一个数据库名haicheng.db的连接，如果不存在就在当前目录下自动创建
Connection conn = DriverManager.getConnection(sql);
//4,插入一条数据
for(int i=1;i<=86400;i++){
PreparedStatement prep = conn.prepareStatement("insert into bbb1(STREAMID) values (?);");
prep.setInt(1, 0);
prep.addBatch();
conn.setAutoCommit(false);
prep.executeBatch();
}
conn.setAutoCommit(true);
stat.close();
conn.close(); //结束数据库的连接
System.out.println("数据插入成功");
}
catch( Exception e )
{
System.out.println("数据插入异常");
e.printStackTrace ( );
}
}
}
import java.sql.*;
import org.sqlite.JDBC;
/**
* 向其余19999个表中批量拷贝数据
* @author HaiCheng
*
*/
public class copyData {
public static void main(String[] args) throws Exception {
try{
//1，保证SQLite数据库文件的路径首字符为小写，并且路径为unix路径
String thisPath = "e:/haicheng.db";
String sql = "jdbc:sqlite://"+thisPath;//windows && linux都适用
//2，连接SQLite的JDBC
Class.forName("org.sqlite.JDBC");
//建立一个数据库名haicheng.db的连接，如果不存在就在当前目录下自动创建
Connection conn = DriverManager.getConnection(sql);
//3,创建表
Statement stat = conn.createStatement();
for(int i=2;i<=20000;i++){
String sql1="insert into bbb"+i+" select * from bbb1";
System.out.println(sql1);
stat.execute(sql1);
}
stat.close();
conn.close(); //结束数据库的连接
System.out.println("数据插入成功");
}
catch( Exception e )
{
System.out.println("数据插入异常");
e.printStackTrace ( );
}
}
}
依次执行这三个类，当执行第三个类的时候也就是批量向数据库中录入数据的时候，当数据文件大小达到2G的临界点的时候（不同方式测试多遍都是这种情况），再继续写入数据，那么数据文件就会损坏（文件大小都变了，从2GB变成1MB了）。
分析各种原因：
（1）、正在写入数据的时候断电（排除，没有断电）
（2）、磁盘有坏道（排除，在磁盘中放些其他的文件，换一段空间存储这个数据同样到2GB崩溃）
（3）、数据文件所在磁盘空间不足（排除，硬盘空间足够、sqlite也不像Oracle那样有着表空间的概念）
最终我也没找到什么原因，发帖求助。
-------------------------------------------------------------------------------------------------------------------------
上面那些还是年前写的东西，也没有写完。最终是sqlite的问题没有解决。目前还是用着Mysql
解读CRISP-ML（Q）：机器学习生命周期流程Apr 08, 2023 pm 01:21 PM译者 | 布加迪审校 | 孙淑娟目前，没有用于构建和管理机器学习（ML）应用程序的标准实践。机器学习项目组织得不好，缺乏可重复性，而且从长远来看容易彻底失败。因此，我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程（CRISP-ML（Q））是CRISP-DM的升级版，以确保机器学习产品的质量。CRISP-ML（Q）有六个单独的阶段：1. 业务和数据理解2. 数据准备3. 模型
人工智能的环境成本和承诺Apr 08, 2023 pm 04:31 PM人工智能(AI)在流行文化和政治分析中经常以两种极端的形式出现。它要么代表着人类智慧与科技实力相结合的未来主义乌托邦的关键，要么是迈向反乌托邦式机器崛起的第一步。学者、企业家、甚至活动家在应用人工智能应对气候变化时都采用了同样的二元思维。科技行业对人工智能在创建一个新的技术乌托邦中所扮演的角色的单一关注，掩盖了人工智能可能加剧环境退化的方式，通常是直接伤害边缘人群的方式。为了在应对气候变化的过程中充分利用人工智能技术，同时承认其大量消耗能源，引领人工智能潮流的科技公司需要探索人工智能对环境影响的
找不到中文语音预训练模型？中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PMWav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conversation，VC）等语音下游任务的性能。然而这些模型都没有公开的中文版本，不便于应用在中文语音研究场景。 WenetSpeech [4] 是
条形统计图用什么呈现数据Jan 20, 2021 pm 03:31 PM条形统计图用“直条”呈现数据。条形统计图是用一个单位长度表示一定的数量，根据数量的多少画成长短不同的直条，然后把这些直条按一定的顺序排列起来；从条形统计图中很容易看出各种数量的多少。条形统计图分为：单式条形统计图和复式条形统计图，前者只表示1个项目的数据，后者可以同时表示多个项目的数据。
自动驾驶车道线检测分类的虚拟-真实域适应方法Apr 08, 2023 pm 02:31 PMarXiv论文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“，2022年5月，加拿大滑铁卢大学的工作。虽然自主驾驶的监督检测和分类框架需要大型标注数据集，但光照真实模拟环境生成的合成数据推动的无监督域适应（UDA，Unsupervised Domain Adaptation）方法则是低成本、耗时更少的解决方案。本文提出对抗性鉴别和生成（adversarial d
数据通信中的信道传输速率单位是bps，它表示什么Jan 18, 2021 pm 02:58 PM数据通信中的信道传输速率单位是bps，它表示“位/秒”或“比特/秒”，即数据传输速率在数值上等于每秒钟传输构成数据代码的二进制比特数，也称“比特率”。比特率表示单位时间内传送比特的数目，用于衡量数字信息的传送速度；根据每帧图像存储时所占的比特数和传输比特率，可以计算数字图像信息传输的速度。
数据分析方法有哪几种Dec 15, 2020 am 09:48 AM数据分析方法有4种，分别是：1、趋势分析，趋势分析一般用于核心指标的长期跟踪；2、象限分析，可依据数据的不同，将各个比较主体划分到四个象限中；3、对比分析，分为横向对比和纵向对比；4、交叉分析，主要作用就是从多个维度细分数据。
聊一聊Python 实现数据的序列化操作Apr 12, 2023 am 09:31 AM在日常开发中，对数据进行序列化和反序列化是常见的数据操作，Python提供了两个模块方便开发者实现数据的序列化操作，即 json 模块和 pickle 模块。这两个模块主要区别如下：json 是一个文本序列化格式，而 pickle 是一个二进制序列化格式；json 是我们可以直观阅读的，而 pickle 不可以；json 是可互操作的，在 Python 系统之外广泛使用，而 pickle 则是 Python 专用的；默认情况下，json 只能表示 Python 内置类型的子集，不能表示自定义的
热AI工具
Undresser.AI Undress
人工智能驱动的应用程序，用于创建逼真的裸体照片
AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。
Undress AI Tool
免费脱衣服图片
Clothoff.io
AI脱衣机
AI Hentai Generator
免费生成ai无尽的。
热门文章
热工具
SecLists
SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合，这些列表在安全评估过程中经常使用，都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表，帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上，他就可以访问到所需的每种类型的列表。
EditPlus 中文破解版
体积小，语法高亮，不支持代码提示功能
适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。
Atom编辑器mac版下载
最流行的的开源编辑器
PhpStorm Mac 版本
最新（2018.2.1 ）专业的PHP集成开发工具
