关于技术、创业与生活的思考。https://frankk.site/zh-CN© 2026 Frankhttps://frankk.site/blog/business-taste/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/business-taste/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh彼得·蒂尔在 SpaceX 濒临破产时投下一笔救命钱，上市当天变成 500 多亿美元。从《从 0 到 1》的垄断哲学，到吉拉尔的模仿欲望，蒂尔的投资与创业判断，其实是同一套关于「如何逃离竞争」的思考。Sat, 13 Jun 2026 00:00:00 GMT商业创业https://frankk.site/blog/how-to-persuade/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/how-to-persuade/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh关于说服的最好理论，不是出自现代商学院，而是出自两千三百年前的亚里士多德：Ethos（可信度）、Pathos（情感）、Logos（逻辑）。今天所有流行的说服框架，大体都可以看作这三要素在不同听众面前的本地化版本。这篇给出十个场景各自可以照着套用的模板——升职加薪的 Claim → Reason → Evidence、面试的 STAR、电梯演讲、邮件的 BLUF、路演的 Problem → Solution → Traction、销售的 Pain → Gain → Proof、发布会的黄金圈、谈判的 BATNA、文案的 AIDA、亲密关系的非暴力沟通——一个场景一个模板逐一过一遍，最后落在一句话上：框架是地图，真诚是罗盘。Fri, 12 Jun 2026 00:00:00 GMT随笔https://frankk.site/blog/us-sanctions-impact/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/us-sanctions-impact/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh三部分讲清美国制裁：一、九级强度阶梯，每一级会发生什么、有哪些案例；二、伊朗/朝鲜/俄罗斯三个典型被制裁国，普通人、官员、商人各自的处境；三、11 个中国相关案例——中兴、华为、晋华、昆仑银行、林郑月娥、三大运营商、山东茶壶炼厂、腾讯/宁德、上海黑英周帅。Wed, 10 Jun 2026 00:00:00 GMT美国制裁OFACSDN 清单实体清单出口管制美元清算中美https://frankk.site/blog/overseas-product-development/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/overseas-product-development/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh最近 Claude Code 很好用，很多人都有机会做自己的产品。这篇分享我做海外产品常用的技术栈和各类 SaaS 平台：静态站、完整前后端应用、移动端、桌面端，从框架选型、部署、数据库、鉴权、支付到 AI 服务和图床，尽量给出免费额度和起步成本参考。Tue, 09 Jun 2026 00:00:00 GMT技术商业https://frankk.site/blog/systematic-self-iteration/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/systematic-self-iteration/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhKarpathy 讲如何成为专家、费曼讲如何检验真懂，本质是同一件事：用输出检验输入。这篇把「先做项目、再补理论、只跟过去的自己比」这套方法对应到神经网络的训练循环——Forward 是先动手，Loss 是和理想结果的差距，Backward 加梯度下降是复盘改进。人和网络最大的不同是面对大 Loss 会痛，所以关键是把「批判行为」和「否定价值」拆开：梯度下降只更新参数（行为、技能），别去炸掉架构（你是谁）。最后对照 Ray Dalio 的《原则》：同一套「痛苦+反思=进步」的迭代逻辑，被一个管对冲基金的人独立总结成了系统。Fri, 05 Jun 2026 00:00:00 GMT随笔方法论https://frankk.site/blog/apple-ai-inference/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/apple-ai-inference/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh2026 WWDC 在即，梳理苹果本地 AI 推理的两条路线(Neural Engine vs GPU + Neural Accelerator)、近几代硬件的算力与带宽演化，以及与英伟达在算力、显存、带宽、精度四个维度的对比。结论：苹果的优势在「本地、省电、跑得下大模型（尤其 MoE）」，而非密集大模型的极致吞吐。Wed, 03 Jun 2026 00:00:00 GMT苹果Apple Silicon本地推理Neural EngineMLX英伟达MoEhttps://frankk.site/blog/go-concurrency-patterns/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/go-concurrency-patterns/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh一份可直接套用的 Go 并发参考。从「共享变量加锁、Once、channel、Pub/Sub」到「select/Actor、pipeline/fan-out/worker pool、context、errgroup」，每个模式给出何时用、模板代码与关键陷阱，最后用一张速查表收口：能不共享就用通讯，必须共享就用最简单的同步包起来，每个 goroutine 都要有明确的退出路径。Wed, 03 Jun 2026 00:00:00 GMTGo并发channelgoroutinehttps://frankk.site/blog/data-center-power/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/data-center-power/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhAI 让电力一夜之间成了数据中心最贵的瓶颈。一边是「电从哪里来」——从公用电网到表后自建的燃料电池、燃气轮机、核电；另一边是「电花在哪里」——GPU、其他服务器组件、冷却、网络的占比分布。这篇从供给侧与消费侧两端，梳理这个赛道的供电系统。Mon, 01 Jun 2026 00:00:00 GMT数据中心电力燃料电池燃气轮机核电GPU冷却https://frankk.site/blog/claude-code-practices/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/claude-code-practices/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh用 Claude Code 快一年了。作为最早的一批用户，这一年里 Claude Code 和模型本身都进步巨大。这篇分享一些「写代码之外」的用法和心得：常驻家用主机 + Tailscale + tmux 的工作流；用大仓库 + submodule + OpenAPI 管理前后端；用树状结构的需求做 Deep Research；整理长对话、整理乱糟糟的桌面文件；以及用它画 SVG、处理图片、用 Remotion 做视频等等。Wed, 27 May 2026 00:00:00 GMT技术https://frankk.site/blog/storage-types-cpu-gpu/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/storage-types-cpu-gpu/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh大模型逐字生成为什么卡在显存带宽上 — 从 decoding 阶段的 memory bound 讲起，拆开 GPU 从 Pascal 到 Blackwell 的存储层次演进，再落到 SRAM / GDDR / HBM 的工艺、成本与供应链，串起一条「带宽决定吐字速度」的因果链。Thu, 21 May 2026 00:00:00 GMTLLM推理GPU显存带宽HBMSRAMGDDR存储金字塔https://frankk.site/blog/hume-passion-as-hot-path/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/hume-passion-as-hot-path/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh想长期做一件事，你必须热爱它。借休谟「理性是激情的奴隶」和程序员的视角：情感是 CPU 直接执行的指令集，理性是必须层层编译才能落地的高级语言。偶尔做一次，走理性的长链条没问题；但长期、高频要做的事就是一段「热循环」，只有成本最低的情感驱动——也就是热爱——才跑得动，正如热循环不能用 Python 写。Tue, 19 May 2026 00:00:00 GMT随笔https://frankk.site/blog/llm-low-precision-formats/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/llm-low-precision-formats/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh从位级别把 LLM 用到的低精度格式讲清楚 — 先补齐浮点数与整数的表示原理，再逐一拆解 FP32 / TF32 / FP16 / BF16 / FP8 / FP6 / FP4 / INT8 / INT4，然后用 Qwen3.5 的发布矩阵看真实模型怎么选精度，最后是 Hopper 到 Blackwell 的硬件支持。Mon, 18 May 2026 00:00:00 GMTLLM数据格式量化FP8FP4INT4微缩放Tensor CoreBlackwellQwen3https://frankk.site/blog/barbell-strategy/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/barbell-strategy/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh塔勒布的杠铃策略，其实是两条规则：一是把资源尽量推向两端、主动避开中间；二是两端之间怎么分要看处境，但绝不能全押一端。它的核心从来不是「在两端各放多少」，而是承认这个世界本质上是不确定的，先确保自己活得下去，再去争取那些有可能带来跃迁的机会。Sun, 17 May 2026 00:00:00 GMT随笔https://frankk.site/blog/hk-hiking-trails/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/hk-hiking-trails/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh100 公里的麥理浩徑、唱了五十年的獅子山、八仙嶺烧不完的春风化雨亭——香港 70% 是郊野公园，每一条山径都串着一段制度史、一首老歌或一场战争。10 条路线 × 历史 × 文化。Sat, 09 May 2026 00:00:00 GMT香港徒步麥理浩徑獅子山龍脊殖民史战争遗迹https://frankk.site/blog/consumer-hardware-research/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/consumer-hardware-research/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh原本属于军工、实验室、工厂的硬核设备，正被压缩 2-3 个数量级、做成开箱即用的消费品，搬进普通人的书房与客厅——从 DJI 到 Bambu 到 Hypershell，这是深圳与长三角的一套系统性打法。Fri, 27 Feb 2026 00:00:00 GMT大疆消费电子中国机器人供应链https://frankk.site/blog/social-media-business-model/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/social-media-business-model/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh自媒体可能是当下普通人手里最大的杠杆——门槛低、上限高、分发零边际成本。从商业模式的角度拆开来看，自媒体本质上只有三种活法：直接卖内容、帮别人卖货、帮自己卖货Sun, 15 Feb 2026 00:00:00 GMT商业https://frankk.site/blog/llm-inference-walkthrough/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/llm-inference-walkthrough/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh按模块拆解 LLM 推理：注意力（MHA/MQA/GQA/MLA、线性注意力、压缩与稀疏）、归一化、RoPE、门控 FFN、Prefill/Decode 两阶段的核心公式，最后以最新的 Qwen3.5 与 DeepSeek-V4 为例落到具体架构。Thu, 12 Feb 2026 00:00:00 GMTLLMTransformer推理KV CacheGPUhttps://frankk.site/blog/tech-republic-book-review/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/tech-republic-book-review/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhPalantir的CEO Alex Karp在2025年发布了一本新书《科技共和国》，年底在中国内地也发行了，第一时间买来读了一下，书中的观点代表了美国硅谷的右翼思潮，而且现实的美国政治中也随处可见这本书的影子Fri, 23 Jan 2026 00:00:00 GMT随笔商业https://frankk.site/blog/surge-ai-data-supplier/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/surge-ai-data-supplier/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh第一次知道Surge AI这家公司是看到Edwin Chen的播客访谈，正值他们第一次出来融资，Edwin极其务实高效的观点让人印象深刻Sun, 21 Dec 2025 00:00:00 GMT商业https://frankk.site/blog/ui-tars-vision-language-model/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/ui-tars-vision-language-model/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh根据公开报道，豆包AI手机使用的模型是基于UI-TARS在手机上优化的闭源版本，UI-TARS是在阿里的Qwen2 VL上做SFT得来的，目前开源了7b的版本（Qwen2 VL开源了3b-72b的模型）。这里不再多介绍Qwen（Qwen2 VL其实也已经有了UI Operation的功能），主要关注UI-TARS模型在Qwen2 VL上的进一步改进，分数据和训练两部分。Fri, 19 Dec 2025 00:00:00 GMT技术商业https://frankk.site/blog/utm-tags-traffic-analysis/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/utm-tags-traffic-analysis/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh推广通常会同时跑多条渠道：cold email、Google 广告、Twitter、SEO、社区。如果不在链接里打标签，GA 没法把它们分开。这篇把 UTM 五个参数讲清楚，并给出十几个真实的命名案例。Thu, 04 Apr 2024 00:00:00 GMT商业https://frankk.site/blog/jenni-ai-growth-strategy/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/jenni-ai-growth-strategy/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhJenni.ai 是一个辅助论文写作与阅读的 AI 工具，目前收入已达 \$5M ARR、用户 2.5M 并仍在高速增长。它早年其实是做 SEO 写作的，几乎活不下去，后来收窄到学术写作才起死回生。CEO David Park 很诚恳地分享过他们从 0 到几百万美金的增长路径——从 cold call、混群、到 TikTok 病毒式增长——很多地方值得学习。Thu, 21 Mar 2024 00:00:00 GMT商业https://frankk.site/blog/startup-perks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/startup-perks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh系统梳理一下国外大厂给 startup 的福利，云、AI token、银行、SaaS 工具一并覆盖。重点标注哪些不需要 VC 背书也能直接申请。Sun, 03 Mar 2024 00:00:00 GMT商业https://frankk.site/blog/shuangyue-bay/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/shuangyue-bay/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh从深圳出发两小时就能到的惠州双月湾，是一个适合躺平的地方：在民宿阳台上看海上日出，在沙滩放烟花、撸串，吃比深圳便宜不少的海鲜，再登上观景台看两道弯弯的海岸线如何拼成"双月"。附一份两天一夜的具体行程。Sat, 15 Apr 2023 00:00:00 GMT旅行https://frankk.site/blog/hong-kong-country-trails/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/hong-kong-country-trails/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh香港不只有维港和庙街。从深圳过关，半个白天就能走进它的另一面——风化的山脊、武功山般的高山草甸、独享的无人沙滩，以及侏罗纪火山留下的万柱海岸。这篇汇集四条郊野徒步线：杯灵双渡、鸡公岭、蚺蛇尖、破边洲。Sat, 11 Feb 2023 00:00:00 GMT旅行https://frankk.site/blog/zhongshan-jiangmen/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/zhongshan-jiangmen/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh把中山和江门串成一条周末线路：三十三墟街还原《狂飙》的旧厂街，梅家大院是《让子弹飞》的鹅城，中山影视城一张门票拍遍多国风情，再加上狮头山和丫髻山两段轻徒步。一份给影迷和爱出片的人的实地体验。Sat, 10 Dec 2022 00:00:00 GMT旅行https://frankk.site/blog/dapeng-peninsula/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/dapeng-peninsula/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh在深圳这样的大都市边上，竟藏着这么原生态的山海。东西涌、大雁顶、大鹿港、鹿嘴山庄人鱼洞、深圳天文台——大鹏半岛五个我反复去过的地方，从硬核徒步到适合带长辈的海边漫步。Sat, 12 Nov 2022 00:00:00 GMT旅行https://frankk.site/blog/shenzhen-city-weekends/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/shenzhen-city-weekends/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh不用出远门，深圳市区就藏着不少值得一去的地方：下班爬塘朗山追日落、红树林公园看太阳沉入海平面、坐大湾区一号游轮海上听歌看海、去弘法寺祈福逛仙湖植物园、夜爬梅沙尖俯瞰盐田港。Sat, 15 Oct 2022 00:00:00 GMT旅行https://frankk.site/blog/wugong-mountain/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/wugong-mountain/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh武功山在江西萍乡，最出名的就是连绵的高山草甸，夏天是绿色草原，冬天更容易看到云海。这篇记录一次从深圳出发的三天两夜：坐缆车上山避开千米爬升，走盘山栈道、看日出，在山顶住一晚，顺便赶上一场草甸上的篝火音乐节。Sat, 13 Aug 2022 00:00:00 GMT旅行https://frankk.site/blog/ncnn-peak-memory-mobilenet/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/ncnn-peak-memory-mobilenet/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh想搞清楚一个模型推理时到底占多少峰值内存，用 NCNN 在 x86 上对 MobileNet 做逐层实测，横向对比多个网络，并分析 light_mode、fp16、int8 对峰值内存的影响，以及「峰值内存」定义本身的差异。Sat, 12 Jun 2021 00:00:00 GMT模型压缩推理引擎MobileNethttps://frankk.site/blog/ml-system-design-overview/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/ml-system-design-overview/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh斯坦福 CS 329S《Machine Learning Systems Design》的课程笔记：推理与学习方式、数据存储与特征管理、采样与类别不平衡、并行训练与系统测试、实验管理工具到模型部署，一张 ML 系统的工业落地全景。Sun, 18 Apr 2021 00:00:00 GMTMLSys系统设计深度学习https://frankk.site/blog/deep-learning-profiling/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/deep-learning-profiling/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh训练和推理的性能瓶颈往往看不出来，得靠 profiling 定量分析。记录训练阶段（数据加载、前向、反向的耗时分解）和推理阶段分别用到的 profiling 方法。Mon, 12 Apr 2021 00:00:00 GMTProfiling性能优化深度学习https://frankk.site/blog/model-pruning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/model-pruning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh剪枝就是给训练好的网络做减法。它能拆成三步：先决定每一层剪多少（靠经验、靠敏感度分析，或像 AMC 那样用强化学习搜），再动手剪（非结构化的权重稀疏与「彩票假设」，结构化地按 L1/L2 范数、几何中位数 FPGM、BN 的 γ、特征图的秩 HRank 等准则剪掉整个滤波器），最后微调把精度补回来。也可以干脆一边训练一边剪——Slimmable Networks 与 AutoSlim。Sun, 07 Feb 2021 00:00:00 GMT技术https://frankk.site/blog/training-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/training-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh几个零散但实用的训练技巧。重参数化(ACNet / RepVGG / RepMLP)在训练时加额外支路帮助优化，推理时再把它们融合回原结构，等于白赚一点精度而不增加推理开销；另外还有权重 EMA、Shake-Shake、标签平滑(label smoothing)和 Dropout——几样防过拟合、提泛化的常用招式。Mon, 01 Feb 2021 00:00:00 GMT技术https://frankk.site/blog/knowledge-distillation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/knowledge-distillation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh知识蒸馏是提升小网络精度、加速收敛的常用方法，也常用于压缩或 NAS 之后小模型的微调。核心思路很直接：把高精度「教师网络」的输出当作「学生网络」的软标签，让学生模仿教师。这篇梳理几种代表方法——带温度的经典蒸馏、FitNets 的中间层 hint、FSP 矩阵、助教网络(TAKD)，以及让两个网络互相学习的 DML。Sat, 30 Jan 2021 00:00:00 GMT技术https://frankk.site/blog/data-augmentation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/data-augmentation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh数据增强是计算机视觉里防止过拟合的常规操作。这篇先过一遍常用的图像增强——random resized crop、cutout、random erase、mixup——再讲自动化的 AutoAugment 与 Fast AutoAugment（我当年用后者拿过 AutoDL 竞赛图像赛道的冠军），最后补一句测试时增强(TTA)。Sun, 24 Jan 2021 00:00:00 GMT技术https://frankk.site/blog/class-imbalance/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/class-imbalance/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh现实里的数据很少像公开数据集那样规整，正负样本极度不均衡是常事。处理类别不平衡主要有三招：重采样（对多数类欠采样，如 Tomek Links；对少数类过采样，如 SMOTE）、给不同类别或难易样本加权(Focal Loss)，以及集成(Bagging)。Mon, 18 Jan 2021 00:00:00 GMT技术https://frankk.site/blog/hyperparameter-tuning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/hyperparameter-tuning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh调参在深度学习里既玄学又关键，以至于训练常被戏称为「炼丹」、工程师自称「调参侠」。这篇先讲手动调参的要点——batch size 与学习率怎么联动、SGD/动量/Adagrad/Adam 各自的更新公式、学习率的 warmup 与衰减、权重衰减的小技巧；再讲自动超参数优化(HPO):网格/随机搜索、进化算法 CMA-ES，以及最省样本的贝叶斯优化（高斯过程 + 采集函数），还有 NNI、RAY 这些现成工具。Sat, 12 Dec 2020 00:00:00 GMT技术https://frankk.site/blog/compact-network-design/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/compact-network-design/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh为了在移动端低时延、低内存地跑起来，一批紧凑网络被设计出来。这篇梳理它们的设计思路：MobileNet 把标准卷积拆成深度可分离 + 1×1 卷积（FLOPs 最多降到 1/9）；ShuffleNet 的分组 1×1 卷积 + channel shuffle;MobileNetV2 的 inverted residual;ShuffleNetV2 从访存开销(MAC)出发的四条设计准则；以及 MobileNetV3 的 h-swish、EfficientNet 的复合缩放、GhostNet 的廉价特征生成。Sun, 06 Dec 2020 00:00:00 GMT技术https://frankk.site/blog/cnn-architecture-classics/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cnn-architecture-classics/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh顺着 ILSVRC 的时间线，把卷积神经网络结构的几个里程碑串一遍：1998 年的 LeNet-5、2012 年点燃深度学习的 AlexNet、引入多分支 Inception 模块的 GoogLeNet、更深的 VGG、带来 Batch Normalization 的 Inception、用残差连接训练上百层的 ResNet，以及引入通道注意力的 SENet。Tue, 01 Dec 2020 00:00:00 GMT技术https://frankk.site/blog/measuring-dl-performance/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/measuring-dl-performance/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh优化的前提是测量——If you can not measure it, you can not improve it。一个神经网络的性能其实分两条线：面向任务的精度（分类的 Top-1、检测的 mAP、分割的 mIoU、复原的 PSNR）和面向效率的开销（时延、FLOPs、参数量、峰值内存）。这篇把这些指标的定义、计算方式，以及 FLOPs 为什么常常骗人（DenseNet161 比 VGG16 慢一倍多）一次讲清。Sun, 15 Nov 2020 00:00:00 GMT技术https://frankk.site/blog/pytorch-training-acceleration/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/pytorch-training-acceleration/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh本文从一个baseline出发，通过软件+硬件各种方法逐步对训练速度进行优化，最终将训练时间减少为1/8Tue, 03 Nov 2020 00:00:00 GMT技术https://frankk.site/blog/auto-data-augmentation-survey/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/auto-data-augmentation-survey/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh自动化数据增强三篇综述笔记：AutoAugment 用强化学习搜索增强策略、RandAugment 大幅压缩搜索空间、Fast AutoAugment 用策略合并加速搜索。Sat, 29 Feb 2020 00:00:00 GMT论文笔记数据增强AutoMLhttps://frankk.site/blog/autodl-image-competition-tuning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/autodl-image-competition-tuning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhAutoDL 图像分类赛道（Pedro 数据集）的调参实验流水账：ResNet18 / 34 backbone、CELU 替 ReLU、重置 BN 与 Group Norm、FP16 混合精度、ReID / 行人属性预训练，以及线上数据 reshuffle 等一系列对照实验。Tue, 31 Dec 2019 00:00:00 GMT调参图像分类实验记录https://frankk.site/blog/nas-milestones/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/nas-milestones/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh神经网络架构搜索(NAS)今年也是火的不行，本文简单梳理一下个人觉得比较有代表意义的工作，如果有错误或者遗漏欢迎大家指出hhhhSun, 01 Dec 2019 00:00:00 GMT技术https://frankk.site/blog/deep-learning-gpu-feeding/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/deep-learning-gpu-feeding/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh前段时间训练了不少模型，发现并不是大力出奇迹，显卡越多越好，有时候1张v100和2张v100可能没有什么区别，后来发现瓶颈在其他地方，写篇文章来总结一下自己用过的一些小trickMon, 12 Aug 2019 00:00:00 GMT技术https://frankk.site/blog/cvpr2019-pruning-notes/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cvpr2019-pruning-notes/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhCVPR 2019 三篇剪枝论文的核心思路——Variational Pruning 用概率分布估计 channel saliency、Importance Estimation、Cascaded Projection 端到端压缩加速，附当天的实验进展。Wed, 10 Jul 2019 00:00:00 GMT论文笔记剪枝CVPRhttps://frankk.site/blog/progressive-pruning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/progressive-pruning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh主流剪枝是 train-prune-finetune 三段式。这篇笔记梳理 progressive 剪枝的想法：用层间相对统计信息指导非均匀剪枝，把每轮剪掉的 channel 数类比成学习率，逐步逼近而非一次裁定。Tue, 09 Jul 2019 00:00:00 GMT剪枝模型压缩想法https://frankk.site/blog/dynamic-network-inference/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/dynamic-network-inference/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh从一次 sensitive 剪枝实验出发，思考动态推理网络的设计：FLOPS 为什么靠不住、放弃多网络动态转向单网络动态、每个 block 后接分类器做早停、动态 channel 选择如何与剪枝结合。Mon, 01 Jul 2019 00:00:00 GMT剪枝动态推理模型压缩https://frankk.site/blog/model-pruning-survey/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/model-pruning-survey/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh把一批模型剪枝论文按预定义结构化（L1、ThiNet、LASSO）、自动结构化（Network Slimming、SSS）和其他（AOFP、NISP、SNIP、Autopruner）三类整理，并讨论「预定义结构直接 scratch 训练即可」这一引发思考的结论。Thu, 23 May 2019 00:00:00 GMT论文笔记剪枝模型压缩https://frankk.site/blog/mobilenetv3-lottery-ticket/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/mobilenetv3-lottery-ticket/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh两篇笔记：MobileNetV3 在 MnasNet 种子结构上做 NetAdapt 微调与头尾 / 激活函数改动，属工程微调；Lottery Ticket Hypothesis 主张大网络里藏着可单独训练的稀疏子网络，并与《Rethinking the Value of Network Pruning》对照。Thu, 09 May 2019 00:00:00 GMT论文笔记MobileNet剪枝https://frankk.site/blog/dorefa-net-low-bit-quantization/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/dorefa-net-low-bit-quantization/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhDoReFa-Net 把权值、激活值和梯度分别做低比特量化，让训练和推理的大部分计算落到位运算层面。从位运算与点乘的关系、STE 直通估计器，到三者各自的量化方式、整体算法流程与推理融合优化。Mon, 06 May 2019 00:00:00 GMT论文笔记量化模型压缩https://frankk.site/blog/pix2pix-image-translation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/pix2pix-image-translation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhpix2pix 用条件 GAN 做通用图像翻译——同一套结构换数据集就能迁移。为什么不直接用 L1 / L2（只能学低频、结果发糊）、用 PatchGAN 建模高频、噪声输入与随机性、BN 的用法。Wed, 24 Apr 2019 00:00:00 GMT论文笔记GAN图像翻译https://frankk.site/blog/gan-training-techniques/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/gan-training-techniques/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh《Improved Techniques for Training GANs》笔记：GAN 训练本质是在高维非凸博弈里找纳什均衡，难收敛。逐一记录 feature matching、minibatch discrimination、historical averaging、单边 label smoothing、virtual BN，以及 Inception Score 与半监督用法。Tue, 23 Apr 2019 00:00:00 GMT论文笔记GAN训练技巧https://frankk.site/blog/nas-pruning-ideas/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/nas-pruning-ideas/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh在 NAS 和模型压缩方向积攒的一批零散想法，从搜索策略（MCMC、贪心线性结构）、剪枝、动态推理到自适应推断，集中整理成一份可挑选做实验的清单，附 AutoML Survey 的阅读笔记。Thu, 18 Apr 2019 00:00:00 GMTNAS模型压缩想法https://frankk.site/blog/octave-conv/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/octave-conv/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhOctaveConv 的切入点不是参数量而是 feature map 的冗余——把特征图按低频 / 高频分解，用超参 α 控制比例，低频部分以更低分辨率存储与计算。参数量不变，计算量下降。Tue, 16 Apr 2019 00:00:00 GMT论文笔记模型压缩卷积https://frankk.site/blog/cv-attention-mechanisms-comparison/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cv-attention-mechanisms-comparison/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh把 CV 里几种 attention 机制横向对比：SENet 对 channel 加权、Non-local 对空间像素做 self-attention、CBAM 串联两者、DANet 面向分割的双路 attention，附 Single-Path NAS 把多路径搜索压缩成单路径的笔记。Thu, 11 Apr 2019 00:00:00 GMT论文笔记AttentionNAShttps://frankk.site/blog/resource-constrained-nas-submodular/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/resource-constrained-nas-submodular/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh资源受限下搜精度最高的网络是 NP-hard。这篇论文把 NAS 套进组合优化里的次模优化框架，用贪心算法拿到近似保证，并进一步节省计算量——用理论解释了贪心搜索为什么合理。Wed, 10 Apr 2019 00:00:00 GMT论文笔记NAS优化算法https://frankk.site/blog/randomly-wired-neural-networks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/randomly-wired-neural-networks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhKaiming He 等人用随机图生成器（ER / BA / WS）直接生成网络的连接方式，连筛选都省了——同一组生成器参数下不同随机种子的性能方差极小。记录三种随机图算法、网络整体结构里保留的人工先验，以及 ImageNet / COCO / 鲁棒性实验。Sun, 07 Apr 2019 00:00:00 GMT论文笔记NAS网络结构https://frankk.site/blog/deep-learning-interpretability-survey/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/deep-learning-interpretability-survey/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh围绕《Visual Interpretability for Deep Learning: a Survey》整理的一份可解释性笔记，把可视化、表征诊断、把网络分解成解释图/决策树、直接学可解释表征、评价指标都串了一遍，顺带补上 Interpretable CNN、Network Dissection 和黑箱解释综述。Mon, 01 Apr 2019 00:00:00 GMT论文笔记可解释性CNN深度学习https://frankk.site/blog/generative-models-and-training-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/generative-models-and-training-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh两份笔记合在一起：一份是生成模型的基本脉络（PixelRNN / CNN、AE / VAE、GAN），一份是图像分类的训练技巧清单（训练、数据增强、验证）。放一起是因为生成模型的正则化与稳定性思路和判别式训练有不少互通。Sat, 30 Mar 2019 00:00:00 GMT生成模型GAN训练技巧https://frankk.site/blog/dataset-distillation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/dataset-distillation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh数据集蒸馏把整个数据集压缩成每类几张合成图加一个学习率，少量迭代就能逼近完整训练的精度。按论文的五个阶段（固定 / 随机初始化、线性模型分析、多步梯度、不同初始化分布）逐步拆解。Thu, 28 Mar 2019 00:00:00 GMT论文笔记数据集蒸馏模型压缩https://frankk.site/blog/auto-deeplab-nas-search-space/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/auto-deeplab-nas-search-space/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhAuto-DeepLab 把 NAS 从分类迁到语义分割，除了搜 cell 内部结构，还同时搜索 cell 之外的宏观网络拓扑。借这篇论文反思一下 NAS 搜索空间的本质，以及一个可能的研究方向。Thu, 21 Mar 2019 00:00:00 GMT论文笔记NAS语义分割https://frankk.site/blog/tensorrt-inference-acceleration/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/tensorrt-inference-acceleration/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh整理一下 TensorRT 的定位和它做推理加速的几个关键优化点：层融合、kernel 自动选择、低精度，以及 build engine 的大致流程。Wed, 20 Mar 2019 00:00:00 GMTTensorRT推理加速模型部署深度学习https://frankk.site/blog/resnet-bag-of-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/resnet-bag-of-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh《Bag of Tricks for Image Classification》把一堆训练技巧叠在一起，把 ResNet-50 在 ImageNet 上的 Top-1 从 75.3 拉到 79.29。逐章记录 baseline 流程、面向新硬件的大 batch / warm-up / FP16，以及 cosine 衰减、label smoothing、知识蒸馏、mixup 等改良。Tue, 19 Mar 2019 00:00:00 GMT论文笔记训练技巧ResNethttps://frankk.site/blog/mobilenetv2-notes/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/mobilenetv2-notes/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhMobileNetV2 精读：为什么要在低维 bottleneck 处去掉 ReLU、inverted residual 结构、扩展率的选取、整体网络与 ReLU6，核心是在 accuracy / FLOPs / latency 之间做平衡。Tue, 12 Mar 2019 00:00:00 GMT论文笔记MobileNet网络结构https://frankk.site/blog/darts-proxylessnas-notes/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/darts-proxylessnas-notes/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhDARTS 用 softmax 把离散的操作选择松弛成连续混合，对结构参数求梯度；ProxylessNAS 针对其显存瓶颈改用二值化路径采样、直接在 ImageNet 上搜索，并把硬件 latency 建模成可微目标。两篇放在一起读，能看清可微 NAS 从「省搜索成本」到「省显存、贴硬件」的演进。Sat, 23 Feb 2019 00:00:00 GMT论文笔记NAS深度学习https://frankk.site/blog/paper-push-by-grasping/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-push-by-grasping/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh目前end-to-end的学习框架在机器人控制的领域内变得流行起来，这些框架的直接输入是状态/图像，然后直接输出预测的扭矩和动作参数。但是由于其对于数据的大量需求而受到了批判，并兴起了对于其可扩展性的讨论，即end-to-end的学习方式是否需要为每一个任务都单独建立一个模型？从直觉上来说任务间的共享是有帮助的，因为其对环境都需要有一些共同的理解。在该论文中尝试了数据驱动的end-to-end学习框架的下一步，即从特定任务的模型到多机器人任务的联合模型，得到了令人惊讶的结果：在同样数据量下多任务学习的效果要优于单任务学习。比如说对于grasp任务，2.5k的grasp数据+2.5k的push数据训练下的模型的表现要优于5k的grasp数据训练下的模型。Thu, 22 Nov 2018 00:00:00 GMT技术https://frankk.site/blog/paper-dqn/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-dqn/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh这篇论文是Volodymyr Mnih在nips2013上的一篇论文，差不多是DQN的开山之作，另一篇是nature2015年的论文Sat, 17 Nov 2018 00:00:00 GMT技术https://frankk.site/blog/cityscapes-dataset/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cityscapes-dataset/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhcityscapes通常被用作语义分割，里面的数据一共分为8个category，其中包含一个名为void的category，每个category中又有多个class，cityscapes一共有30个class，但是cityscapes编号过后的label一共有35种，其中也包含unlabeled等并没有算作class的label。Fri, 02 Nov 2018 00:00:00 GMT技术https://frankk.site/blog/paper-edanet/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-edanet/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh之前的用于segmentation的网络要么速度比较慢，要么精度比较低，这里设计了一种EDANet模块，将asymmtric conv，dilated conv，dense connectivity相结合。在各个方面上都比FCN要好，并且不具有decoder structure，context module，post-processing scheme和pretrained model。在cityscapes和camvid上做了实验。 Tue, 30 Oct 2018 00:00:00 GMT技术https://frankk.site/blog/paper-darts/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-darts/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh这篇论文旨在挑战结构搜索，通过将该任务定义成一个可微分的形式，而不是像传统的做法：在离散的不可微分的空间中利用增强学习来实现结构搜索。该方法基于结构表示的连续松弛，允许使用梯度下降等高效的方法进行结构搜索。后续实验表明该算法在探索高性能的用于图像识别的CNN结构和语言建模的RNN结构上都有良好的表现，并且比现有的state-of-the-art非微分结构要快得多。Mon, 22 Oct 2018 00:00:00 GMT技术https://frankk.site/blog/paper-hashing-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-hashing-tricks/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh深度网络在移动设备上应用越来越多，一个dilemma变得越来越明显：深度学习的趋势是开发能够吸收更大数据集的模型，然而移动设备的存储空间有限，不能存储过大的模型，这里提出了一种HashedNets，通过减少神经网络的内部固有冗余来实现模型尺寸的减少。HashedNets利用一个低开销的哈希函数来将连接权重随机分组进不同的哈希桶，而同一个哈希桶里面的所有连接都使用同一个参数值，这些参数在标准的反向传播过程中被进行调整。这个哈希过程不会引入额外的内存开销。在不同的benchmark数据集上性能说明HashedNets可以在保留泛化性能的基础上明显减少存储需要。Mon, 15 Oct 2018 00:00:00 GMT技术https://frankk.site/blog/paper-shufflenet-v2/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-shufflenet-v2/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh现在很多的网络设计在计算复杂度方面都只考虑了非直接度量（比如FLOPs），而对于直接度量（如速度等）并不只是由FLOPs来决定的，包括MAC（内存访问消耗）和平台特性都对速度有一定的影响。本文意在特定平台下进行直接度量，比仅仅考虑FLOPs要更好，并且在基于一系列控制实验下提出了一些对于高效率网络的指导准则，根据这些准则提出了ShuffleNetV2这样一种新的网络结构，全面的ablation experiments表明该模型在性能和精度的权衡上达到了state-of-the-art。Thu, 11 Oct 2018 00:00:00 GMT技术https://frankk.site/blog/paper-shufflenet/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-shufflenet/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh本文介绍了一种很高效的网络ShuffleNet，其主要在于pointwise group conv和channel shuffle两种操作，可以在维持精度的时候大量减少计算消耗，在ImageNet和COCO上面的表现都超过了之前的网络Wed, 10 Oct 2018 00:00:00 GMT技术https://frankk.site/blog/paper-mobilenets/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-mobilenets/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh针对移动和嵌入式视觉应用，本文提出了一种高效的模型称之为MobileNets，基于depthwise separable convolutions构造的一种轻量级神经网络。该模型使用两个超参数来平衡准确率和延迟，并针对二者的平衡在ImageNet上做了广泛的实验，与其他模型相比展现出了强大的性能。并通过实验展现了ImageNet在各种应用上的强大之处，包括目标检测，精细化分类，人脸属性和大范围地理定位等。Thu, 04 Oct 2018 00:00:00 GMT技术https://frankk.site/blog/paper-inception-v4/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/paper-inception-v4/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh近些年，非常深的卷积神经网络在提升图像识别的性能表现上具有最大的促进作用。而Inception网络结构在具有很好的性能的同时还具有相对较低的计算消耗。最近的残差连接与传统结构的结合在2015 ILSVRC上取到了最好的结果，与InceptionV3的效果相近。考虑将Inception网络与残差连接相结合，充分的证据表明残差连接可以很大程度上加速Inception网络的训练，同样也有证据表明残差连接的Inception相比不带残差连接的几乎同样计算量的Inception网络性能要稍有优势。本文也提出了一些新的残差连接和不带残差连接的Inception网络，这些改变同样也明显改善了2012 ILSVRC的单帧分类性能。最后还提到了利用合适的激活缩放可以使非常宽的残差连接Inception网络的训练变得更加稳定。Fri, 28 Sep 2018 00:00:00 GMT技术https://frankk.site/blog/matrix-vector-derivatives/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/matrix-vector-derivatives/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh机器学习的算法中会遇到大量的与矩阵相关的微分与求导，在这里介绍一些常见的矩阵和向量相关的求导公式。Fri, 21 Sep 2018 00:00:00 GMT技术https://frankk.site/blog/leetcode-stock-trading/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/leetcode-stock-trading/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh有一类动态规划的问题是给定一个股票价格序列，然后计算买卖股票所能获得的最大收益，这类问题通常有很多变种，例如只允许交易一次，允许交易多次或者增收交易税等。即问题的最大收益通常由交易的时间和允许的最大交易次数（每次交易指一次买与一次卖的一个组合）决定的。Fri, 14 Sep 2018 00:00:00 GMT技术https://frankk.site/blog/convex-sets/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/convex-sets/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh与前文讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以用拉格朗日乘子法进行求解Fri, 31 Aug 2018 00:00:00 GMT技术https://frankk.site/blog/svm-derivation-part-3/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/svm-derivation-part-3/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh前文介绍了硬间隔SVM的相关推导，本文将继续介绍软间隔SVM的数学推导，即在样本不是线性可分的情况下，允许一部分样本错误分类的SVMFri, 24 Aug 2018 00:00:00 GMT技术https://frankk.site/blog/svm-derivation-part-2/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/svm-derivation-part-2/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh上一篇文章(1)我们讨论了硬间隔SVM的推导及其对偶形式，其对偶问题可以化简成以下形式Sat, 18 Aug 2018 00:00:00 GMT技术https://frankk.site/blog/svm-derivation-part-1/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/svm-derivation-part-1/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhSVM是机器学习中的一种经典方法，除了硬间隔SVM之外，还包括软间隔SVM，核技巧等SVM的变种，本文主要介绍硬间隔SVM的推导。Fri, 10 Aug 2018 00:00:00 GMT技术https://frankk.site/blog/linear-equations-part-3/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/linear-equations-part-3/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh这里所介绍的伪逆是Moore-Penrose逆矩阵Thu, 26 Jul 2018 00:00:00 GMT技术https://frankk.site/blog/linear-equations-part-2/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/linear-equations-part-2/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh上一篇博文介绍了线性方程组的情况之一，即未知数数量小于方程个数的情况，介绍了最小二乘法，在本文中将介绍线性方程组的另一种情况，即方程个数小于未知数数量的情况，此时方程组有无限多的解，但是最接近原点的解，即范数最小的解只有一个，也就是这里将会介绍的线性方程组的最小范数解。Sat, 21 Jul 2018 00:00:00 GMT技术https://frankk.site/blog/leetcode-course-schedule/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/leetcode-course-schedule/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh该题目利用DFS和BFS来判断某个图是否能进行拓扑排序Fri, 20 Jul 2018 00:00:00 GMT技术https://frankk.site/blog/linear-equations-part-1/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/linear-equations-part-1/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh在本文中将讨论线性方程组中的一种情况的求解，即考虑线性方程组Fri, 20 Jul 2018 00:00:00 GMT技术https://frankk.site/blog/ml-numerical-computation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/ml-numerical-computation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh机器学习算法通常需要大量的数值计算，即通过迭代求解近似值而非求得解析解。这些算法通常包括最优化和线性方程组的求解，在计算机中要通过有限位来表示各种浮点数是具有一定误差的，需要通过一些方法来保证我们的计算精度。Sat, 14 Jul 2018 00:00:00 GMT技术https://frankk.site/blog/tensorflow-simple-neural-network/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/tensorflow-simple-neural-network/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh我们在这里利用TensorFlow的Eager Execution 来构建模型，这样不用像以前一样创建Graph和Session了，可以使神经网络的训练更加方便快捷，下面以Iris数据集为例来训练一个神经网络，代码来自谷歌的教程。Fri, 06 Jul 2018 00:00:00 GMT技术https://frankk.site/blog/deep-learning-on-geekcloud/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/deep-learning-on-geekcloud/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh最近在做老师给的一个图像相关的深度学习任务，代码调试后发现电脑内存不够（8g笔记本），后来发现了一个很好用的深度学习云服务平台Fri, 29 Jun 2018 00:00:00 GMT技术https://frankk.site/blog/kitti-lidar-camera-fusion/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/kitti-lidar-camera-fusion/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhKITTI的数据集有很多，我们在这里选取了其中的raw_data（原始数据）进行融合Fri, 15 Jun 2018 00:00:00 GMT技术https://frankk.site/blog/optimization-inequality-constraints/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/optimization-inequality-constraints/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh与前文讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以用拉格朗日乘子法进行求解Fri, 08 Jun 2018 00:00:00 GMT技术https://frankk.site/blog/cpp-constructors/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cpp-constructors/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh每个类都分别定义了它的对象被初始化的方式，类通过一个或多个特殊的成员函数来控制其对象的初始化过程，这些函数就叫做构造函数(constructor)。构造函数的任务是初始化类对象的数据成员，无论何时只要类的对象被创建，就会执行构造函数。Sat, 02 Jun 2018 00:00:00 GMT技术https://frankk.site/blog/cpp-associative-containers/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cpp-associative-containers/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh关联容器支持高效的关键字查找和访问，两个主要的关联容器是set和map。map中的元素是一些键值对(key-value)，关键字起着索引的作用，值则表示与索引相关联的数据，set中的元素只包含一个关键字。set支持高效的关键字查找操作，底层应该是用的哈希表来实现的。Fri, 01 Jun 2018 00:00:00 GMT技术https://frankk.site/blog/neural-network-backpropagation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/neural-network-backpropagation/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh对于神经网络的训练过程而言，其反向传播算法是训练过程的核心Fri, 01 Jun 2018 00:00:00 GMT技术https://frankk.site/blog/cpp-sequential-containers/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cpp-sequential-containers/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh一个容器就是一些特定类型对象的集合。顺序容器提供了控制元素存储和访问顺序的能力。Fri, 25 May 2018 00:00:00 GMT技术https://frankk.site/blog/decision-tree-random-forest/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/decision-tree-random-forest/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh决策树（decision tree）是一种分类与回归方法，本文主要讨论用于分类的决策树，决策树的结构呈树形结构，在分类问题中，其代表基于特征对数据进行分类的过程，通常可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型可读性好并且分类速度快。训练的时候，利用训练数据根据损失函数最小化的原则建立决策树模型。预测时对于新的数据，利用决策树进行分类。决策树的学习通常包括三个步骤：特征选择，生成决策树，对决策树进行剪枝。这些决策树的思想主要来自Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及Breiman等人在1984年提出的CART算法。Thu, 24 May 2018 00:00:00 GMT技术https://frankk.site/blog/cpp-io/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cpp-io/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhC++语言不直接处理输入输出，而是通过一组定义在标准库中的类型来处理IO。这些类型支持从设备读取数据，向设备写入数据的IO操作，设备可以是文件，控制台窗口等。还有一些类型允许内存IO，即从string读取数据，向string写入数据等。Fri, 18 May 2018 00:00:00 GMT技术https://frankk.site/blog/optimization-equality-constraints/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/optimization-equality-constraints/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh本文将讨论下类形状的优化问题Fri, 18 May 2018 00:00:00 GMT技术https://frankk.site/blog/linear-programming-duality/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/linear-programming-duality/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh每个线性规划问题都有一个与之对应的对偶问题，对偶问题也是一个线性规划问题，并且对偶问题的对偶问题是原问题。原问题的最优解可以由对偶问题得到，有时候利用对偶理论求解线性规划问题更加简单，也更能了解问题的本质。在对偶理论的启发下，单纯形法的性能得到了改进，也出现了一些求解线性规划问题的非单纯形法，本文暂不详解。Fri, 11 May 2018 00:00:00 GMT技术https://frankk.site/blog/cpp-parameter-passing/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cpp-parameter-passing/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh在C++程序中，调用函数的时候需要向函数传入一个参数，除了空参数(void)之外，参数传递分为引用传递和值传递两种Fri, 04 May 2018 00:00:00 GMT技术https://frankk.site/blog/simplex-algorithm/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/simplex-algorithm/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh1947年，丹齐格提出了一种求解线性规划问题的方法，即今天所称的单纯形法，这是一种简洁且高效的算法，被誉为20世纪对科学发展和工程实践影响最大的十大算法之一。Fri, 04 May 2018 00:00:00 GMT技术https://frankk.site/blog/linear-programming-intro/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/linear-programming-intro/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh在最优化问题中有一类问题被称作线性规划问题，属于有约束下的优化问题，线性规划是在线性约束条件下（等式或不等式）求解线性目标函数极值的问题。Fri, 27 Apr 2018 00:00:00 GMT技术https://frankk.site/blog/cpp-const/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/cpp-const/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh在编程的时候我们常常需要定义一种变量，但是这种变量的值是不变的，例如定义pi=3.14，e=2.72或者定义一种材料的弹性模量等，这时候需要用到const关键字Thu, 26 Apr 2018 00:00:00 GMT技术https://frankk.site/blog/genetic-algorithm-pid-tuning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/genetic-algorithm-pid-tuning/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh用遗传算法在 MATLAB / Simulink 上自动整定 PID 参数：搭仿真平台、设计以误差为核心的目标函数、写 GA 与 Simulink 的接口函数，再用主函数迭代。实用性有限，但作为学习方法值得一记。Wed, 29 Mar 2017 00:00:00 GMT遗传算法PIDSimulinkhttps://frankk.site/blog/genetic-algorithm-matlab/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/genetic-algorithm-matlab/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh用一道求二元函数最大值的经典例题把遗传算法的完整流程走一遍——个体编码、初始群体、适应度、选择 / 交叉 / 变异，附 MATLAB 代码实现，以及 Sheffield GA 工具箱常用函数速查。Mon, 27 Mar 2017 00:00:00 GMT遗传算法MATLAB优化算法https://frankk.site/blog/matlab-vehicle-dynamics-curves/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zhhttps://frankk.site/blog/matlab-vehicle-dynamics-curves/?utm_source=rss&utm_medium=rss&utm_campaign=rss_zh汽车理论课上的一道大题：给定一辆中型货车的整车参数，用 MATLAB 算出并画出驱动力-行驶阻力平衡图、加速时间曲线、动力特性图和功率平衡图，顺便求最大车速和最大爬坡度。Sun, 26 Mar 2017 00:00:00 GMTMATLAB汽车理论车辆工程