8.0
热点
AI SCORE
技术实践2024-04-18 01:26
LLM 推理性能 2 倍加速的可行方案
Hacker News · asciinema.org#LLM#性能优化
Editor brief · 编辑速览
技术方案将 LLM 推理延迟降低 50%。419 点赞和 114 条讨论证实业界对推理效率的迫切需求。
技术方案将 LLM 推理延迟降低 50%。419 点赞和 114 条讨论证实业界对推理效率的迫切需求。
Effort 算法的快速预览 —— 更多详情见 https://kolinko.github.io/effort/
https://asciinema.org/a/654503
在 URL 后追加 ?t=30 来从第 30 秒开始播放，?t=3:20 来从第 3 分 20 秒开始播放。
参阅分享文档了解更多链接自定义选项。
使用下面的代码片段来显示链接到此录像的预览图像。适用于不允许脚本的地方，例如项目 README 文件。
<a href="https://asciinema.org/a/654503" target="_blank"><img src="https://asciinema.org/a/654503.svg" /></a>
[](https://asciinema.org/a/654503)
如果你在自己的页面或允许脚本标签的网站上嵌入，你可以使用完整的播放器组件：
<script src="https://asciinema.org/a/654503.js" id="asciicast-654503" async="true"></script>
将上面的脚本标签粘贴到你想要显示播放器的页面位置。
参阅嵌入文档了解更多播放器自定义选项。
你可以下载这个录像为 asciicast v2 格式的 .cast 文件。
你可以在你的终端中使用 asciinema play 命令重新播放已下载的录像：
asciinema play 654503.cast
如果你还没有安装 asciinema CLI，那么参阅安装说明。
从发布页面下载 asciinema 播放器（你只需要 .js 和 .css 文件），然后这样使用：
<!DOCTYPE html>
<html>
<head>
<link rel="stylesheet" type="text/css" href="/assets/asciinema-player.css" />
</head>
<body>
<div id="player"></div>
<script src="/assets/asciinema-player.min.js"></script>
<script>
// @license magnet:?xt=urn:btih:8e4f440f4c65981c5bf93c76d35135ba5064d8b7&dn=apache-2.0.txt Apache-2.0
AsciinemaPlayer.create(
'/assets/654503.cast',
document.getElementById('player'),
{ cols: 80, rows: 30 }
);
// @license-end
</script>
</body>
</html>
参阅 asciinema 播放器快速入门指南了解完整使用说明。
虽然本站点目前不提供 GIF 转换功能，但你仍然可以借助 asciinema GIF 生成器工具 agg 自行完成。
安装后，使用以下命令生成 GIF：
agg https://asciinema.org/a/654503 demo.gif
或者，如果你已经下载了录像文件：
agg demo.cast demo.gif
检查 agg --help 了解所有可用选项。你可以改变字体族和大小、选择配色方案、调整速度等。
参阅 agg 手册了解完整使用说明。