V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wangyucn  ›  全部回复第 10 页 / 共 12 页
回复总数  227
1 ... 2  3  4  5  6  7  8  9  10  11 ... 12  
2017-08-23 13:52:08 +08:00
回复了 kaiser1992 创建的主题 程序员 大文件定位某一行?
@kaiser1992 `不建索引`等于`每次查询都要浪费一次建索引的时间`

想想如果你的要定位的行在文件靠后的位置,因为每行长度不固定,没索引势必要遍历整个文件。

我看不出不建索引有什么优势。也许你的意思是你这个查询只需要做一次?如果只做一次就直接遍历吧。
2017-08-23 08:41:57 +08:00
回复了 kaiser1992 创建的主题 程序员 大文件定位某一行?
囧,正在编辑不小心发出去了。凑合看吧。 索引做成外挂式的,不需要改原文件。
2017-08-23 08:40:32 +08:00
回复了 kaiser1992 创建的主题 程序员 大文件定位某一行?
索引例子:
行数(单位千) 文件偏移
1 456789 (第 1000 行的文件偏移)
2 1234567 (第 2000 行的文件偏移)
3 2345678 (第 2000 行的文件偏移)
4
2017-08-23 08:36:53 +08:00
回复了 kaiser1992 创建的主题 程序员 大文件定位某一行?
@kaiser1992 建索引需要时间,存索引需要的空间最后貌似比源文件都大了把

不会,索引不一定是完全的。可以每隔 1000 行建一个索引。查找时先用索引定位到文件偏移,然后稍微做一点遍历。
"用 docker,网络设置成 桥接网卡 , 应该也可以"

@linhua 我看了一下 docker,它只有在 linux 上才是原生的,在 windows 上和 mac 上都是跑在 virtualbox 虚拟机里的。 所以。。还是直接用虚拟机更轻量吧。我在 release 里发布了预装了 udp2raw 的 ova image(容量也是 4.4m),用独立的 virtualbox 可以运行,用安装 docker tools 时自带的那个 virtualbox 应该也行。
2017-08-17 23:20:32 +08:00
回复了 xiaoc19 创建的主题 Linux openwrt 有什么方法可以关掉网口(网线插槽,比如 Wan)的灯
用衣服,除了天线整个路由器包住。
@palxex 预装了 udp2raw 的 openwrtx86 虚拟机镜像已发布,容量 4.4m 。
@skylancer 补丁的事都好说,只是费劲点。 芯片支持 40mhz,但是树莓派 3b 本身不支持,真是尴尬呀。
@skylancer noscan 是已经打过 patch 的 hostapd 才带的选项。比如 openwrt 自带的 hostaptd,带 noscan 选项。树莓派上自带的是标准的 hostapd,(应该)不带 noscan(吧)。。
"但是我在网上找了一圈就没看到有人成功打开了 40mhz 模式。" 这个是说没人在树莓派 3b 上成功打开。
usb 网卡可以 40mhz,我以前在老树莓派上实验过。不过需要下载 hostapd 源码,打个 patch,自己编译。才能在周围 wifi 热点多的情况下强制开启 40mhz 模式。
@skylancer 这个芯片本身是支持 40mhz 的,但是我在网上找了一圈就没看到有人成功打开了 40mhz 模式。
这个看起来很官方的 Q&A 贴,里面说了只支持 20mhz,看完这个 QA 贴,我就信了,就没折腾了。

https://www.raspberrypi.org/forums/viewtopic.php?t=137932&f=63
如果喜欢自己折腾,树莓派 3b 不错.只是自带的网卡只支持到 72mbps.可以入个 Atehros 芯片的无线网卡,配合使用。我这样用过。
@iijboom 我这个是 udp2raw+openvpn 测的,只应对 qos,没用 kcptun/finalspeed 这种加速工具,所以只有用多线程才能测出吞吐。 kcptun finalspeed 这种工具通过自定的拥塞 /重传 /ACK 策略可以让单线程达到很高的速度,所以单线程测大概也能反映出信道的吞吐率。

udp2raw+finalspeed 之前我测过一次,移动 20m 带宽,单线程 1.6MByte/s。

@KCheshireCat faketcp 通过 openvpn 承载真实 tcp 确实是让上层承担拥塞和重传的,这种用法里 faketcp 相当于 ip 层的作用。
可以考虑后续发布装了 udp2raw 的 vmware image。用 openwrt x86 版的,容量可以控制在几 MB。
finalspeed 用的就是 pcap。 而且他也不愿意同时支持 pcap 和 raw socket,所以他的版本不能在 openvz 上运行。

支持 windows 理论上没问题,问题是开发成本= =。 raw socket 要改成 pcap,epoll 要改成 libevent,暂时不想增加开发负担。

虚拟机很稳定,而且性能很好,如果爱折腾还是装个备用吧。
不敢 不敢
@linhua 是最早实现了用 raw_socket 中转 udp 这个点子的人:
https://github.com/linhua55/some_kcptun_tools/tree/master/relayRawSocket

Chion82 在他的基础上加上了 tcp 握手功能,集成到了 kcptun 里:
https://github.com/Chion82/kcptun-raw

我这个项目,把 kcptun-raw 的功能做成通用的了,再加了点小功能。如果没有 relayRawSocket,可能也就没有 kcptun-raw 了,也没有我这个项目了。
BBR 感觉跟这个项目不搭边吧。也许你想到了什么特殊用法?比如用 openvpn+udp2raw 再测开启了 bbr 的 tcp 性能?
@johnlui
window raw socket 没有 linux 的功能强大。pcap 的话得移植一下。winpcap 也要单独装得,干脆装虚拟机吧。如果嫌麻烦可以去网上找做好的 vmware 镜像。

@johnlui
kcptun 的数据暂时没有。finalspeed 移动 20M 宽带从日本下载,1.6MB/s ( Byte )的下载速度。
server 在 vultr 日本。
1 ... 2  3  4  5  6  7  8  9  10  11 ... 12  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2781 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 13:41 · PVG 21:41 · LAX 05:41 · JFK 08:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.