Pi Agent + DeepSeek AI Just Beat Claude Code?

1
00:00:00,000 --> 00:00:02,745
Pi Agent รวมกับ DeepSeek เพิ่งเอาชนะ Claude

2
00:00:02,745 --> 00:00:04,341
Code และ Hermes Agent ได้

3
00:00:04,341 --> 00:00:06,639
และมันพิสูจน์อะไรบางอย่างที่ยิ่งใหญ่

4
00:00:06,639 --> 00:00:09,256
ลองนึกภาพการทำให้ AI ของคุณทรงพลังขึ้นมาก

5
00:00:09,256 --> 00:00:11,873
โดยไม่ต้องแตะต้องตัว AI เลยแม้แต่นิดเดียว

6
00:00:11,873 --> 00:00:15,320
นั่นคือสิ่งที่เพิ่งเกิดขึ้นในการทดสอบสาธารณะครั้งหนึ่ง

7
00:00:15,320 --> 00:00:16,980
AI ตัวเดียวกัน งานเดียวกัน

8
00:00:16,980 --> 00:00:19,278
แต่การตั้งค่าหนึ่งผ่าน 20 จาก 30 ข้อ

9
00:00:19,278 --> 00:00:21,129
ในขณะที่ตัวอื่นผ่านแค่ 15 ข้อ

10
00:00:21,129 --> 00:00:26,300
นั่นหมายความว่าการตั้งค่าที่คุณเลือกกำลังกำหนดผลลัพธ์ของคุณไปครึ่งหนึ่งอย่างเงียบ

11
00:00:26,300 --> 00:00:28,853
ๆ และคนส่วนใหญ่ไม่รู้ด้วยซ้ำ ในวิดีโอนี้

12
00:00:28,853 --> 00:00:30,577
ผมจะพาคุณดูการตั้งค่าที่ชนะ

13
00:00:30,577 --> 00:00:33,641
ทำไมตัวเลือกแบบเรียบง่ายถึงเอาชนะแบบหนักหน่วงได้

14
00:00:33,641 --> 00:00:36,641
และความผิดพลาดหนึ่งเดียวที่ฉุดรั้งเกือบทุกคนไว้

15
00:00:36,641 --> 00:00:38,173
ถ้าคุณทำตรงนี้ถูกต้อง AI

16
00:00:38,173 --> 00:00:40,407
ของคุณจะน่าเชื่อถือมากขึ้น เร็วขึ้น

17
00:00:40,407 --> 00:00:43,216
และทำงานให้คุณหนักขึ้นตั้งแต่วันนี้เป็นต้นไป

18
00:00:43,216 --> 00:00:44,684
ไปดูกันเลยครับ Composio

19
00:00:44,684 --> 00:00:46,982
พวกเขาสร้างเครื่องมือสำหรับ AI agent

20
00:00:46,982 --> 00:00:49,025
และเพิ่งจัดทดสอบสาธารณะครั้งใหญ่

21
00:00:49,025 --> 00:00:51,770
พวกเขาใช้โมเดลตัวเดียวคือ DeepSeek V4 Flash

22
00:00:51,770 --> 00:00:53,940
แล้วเอาไปรันผ่าน harness ของ agent

23
00:00:53,940 --> 00:00:56,685
ที่แตกต่างกัน 8 ตัว ในงาน agentic ที่ยาก 30

24
00:00:56,685 --> 00:00:59,111
งาน งานที่ agent ต้องลงมือทำสิ่งต่าง ๆ

25
00:00:59,111 --> 00:01:02,622
ใช้เครื่องมือ และทำงานให้เสร็จด้วยตัวเอง ขออธิบายสั้น ๆ

26
00:01:02,622 --> 00:01:07,473
ก่อนที่คุณจะเห็นตัวเลข เพราะคำนี้สำคัญมาก นั่นคือคำว่า harness วิธีคิดง่าย ๆ

27
00:01:07,473 --> 00:01:09,771
คือ โมเดลคือเครื่องยนต์ ส่วน harness

28
00:01:09,771 --> 00:01:12,452
คือรถที่คุณเอาเครื่องยนต์นั้นไปใส่ ดังนั้น

29
00:01:12,452 --> 00:01:14,623
Claude Code ก็คือรถคันหนึ่ง Hermes

30
00:01:14,623 --> 00:01:17,176
ก็คือรถคันหนึ่ง Pi Agent ก็คือรถคันหนึ่ง

31
00:01:17,176 --> 00:01:19,027
เครื่องยนต์เดียวกัน รถคนละคัน

32
00:01:19,027 --> 00:01:21,900
ประสบการณ์การขับขี่ต่างกันโดยสิ้นเชิง Harness

33
00:01:21,900 --> 00:01:24,134
เป็นตัวกำหนดว่าโมเดลจะวางแผนอย่างไร

34
00:01:24,134 --> 00:01:25,411
ใช้เครื่องมืออย่างไร

35
00:01:25,411 --> 00:01:28,347
จัดการกับความผิดพลาดอย่างไร และจะหยุดเมื่อไหร่

36
00:01:28,347 --> 00:01:30,837
การทดสอบทั้งหมดก็คือสิ่งนี้ หนึ่ง agent

37
00:01:30,837 --> 00:01:33,773
รถแปดคัน รถคันไหนชนะ? ผมจะพาคุณดูตัวเลขกันครับ

38
00:01:33,773 --> 00:01:36,263
Pi Agent ผ่าน 20 จาก 30 งาน Deep Agents

39
00:01:36,263 --> 00:01:38,880
ซึ่งเป็น harness ที่สร้างโดย LongChain...

40
00:01:38,880 --> 00:01:41,433
ขอโทษทีครับ LangChain ผ่าน 16 จาก 30 งาน

41
00:01:41,433 --> 00:01:44,115
Hermes Agent ผ่าน 15 จาก 30 งาน ส่วน Prime

42
00:01:44,115 --> 00:01:46,987
Agent ผ่าน 15 จาก 24 รอบที่ใช้ได้จริง เพราะมี

43
00:01:46,987 --> 00:01:48,264
6 รอบที่ถูกตัดทิ้งไป

44
00:01:48,264 --> 00:01:51,264
เนื่องจากผู้ให้คะแนนไม่สามารถให้คะแนนมันได้จริง

45
00:01:51,264 --> 00:01:53,434
ๆ เราจะกลับมาที่สาเหตุในอีกสักครู่

46
00:01:53,434 --> 00:01:56,243
เพราะเหตุผลนั้นเป็นกับดักที่หลายคนพลาดตกหล่น

47
00:01:56,243 --> 00:01:58,860
ด้านความเร็วก็เล่าเรื่องคล้ายกัน Pi Agent

48
00:01:58,860 --> 00:02:01,414
ทำงานเสร็จในเวลามัธยฐานประมาณ 132 วินาที

49
00:02:01,414 --> 00:02:04,159
Hermes ใช้เวลาประมาณ 175 วินาที Deep Agents

50
00:02:04,159 --> 00:02:06,967
ประมาณ 187 วินาที และ Prime Agent ประมาณ 242

51
00:02:06,967 --> 00:02:08,372
วินาที ดังนั้น harness

52
00:02:08,372 --> 00:02:11,436
ที่ผ่านงานได้มากที่สุดก็ยังเร็วที่สุดในสี่ตัวนี้

53
00:02:11,436 --> 00:02:12,968
และเบาที่สุดในการรันด้วย

54
00:02:12,968 --> 00:02:14,628
ขอพูดให้เป็นธรรมตรงนี้ครับ

55
00:02:14,628 --> 00:02:17,245
ในอันดับรวมของทั้งแปด harness จริง ๆ แล้ว

56
00:02:17,245 --> 00:02:20,053
Claude Code และ OpenCode เร็วกว่า Pi ดังนั้น

57
00:02:20,053 --> 00:02:21,330
Pi ไม่ได้ชนะทุกอย่าง

58
00:02:21,330 --> 00:02:24,394
แต่เมื่อรวมอัตราการผ่านกับประสิทธิภาพเข้าด้วยกัน

59
00:02:24,394 --> 00:02:27,267
มันก็ออกมาอยู่บนสุด ทีนี้ลองถอยออกมามองภาพรวม

60
00:02:27,267 --> 00:02:29,118
เพราะนี่คือส่วนที่สำคัญจริง ๆ

61
00:02:29,118 --> 00:02:31,352
ในทั้งแปด harness โมเดลตัวเดิมแท้ ๆ

62
00:02:31,352 --> 00:02:34,097
ได้คะแนนความสำเร็จของงานตั้งแต่ 47% ถึง 67%

63
00:02:34,097 --> 00:02:36,651
ขึ้นอยู่กับ harness โมเดลเดียวกัน งาน 30

64
00:02:36,651 --> 00:02:39,395
งานชุดเดียวกัน แต่ความสำเร็จแกว่งถึง 20 จุด

65
00:02:39,395 --> 00:02:42,076
ดังนั้น AI ไม่ได้ฉลาดขึ้น และก็ไม่ได้แย่ลง

66
00:02:42,076 --> 00:02:44,375
มีเพียง wrapper ที่เปลี่ยนไปเท่านั้น

67
00:02:44,375 --> 00:02:46,673
ผมเรียกสิ่งนี้ว่า harness multiplier

68
00:02:46,673 --> 00:02:48,268
เครื่องมือที่คุณพันรอบ AI

69
00:02:48,268 --> 00:02:50,822
ของคุณจะคูณผลลัพธ์ขึ้นหรือลง ถ้าคุณเลือก

70
00:02:50,822 --> 00:02:51,971
harness ที่ถูกต้อง

71
00:02:51,971 --> 00:02:55,354
โมเดลตัวเดิมก็จะน่าเชื่อถือมากขึ้นและเร็วขึ้นพร้อมกัน

72
00:02:55,354 --> 00:02:58,163
เลือกผิดก็จะเจอความล้มเหลวมากขึ้นและรันช้าลง

73
00:02:58,163 --> 00:03:00,908
ทั้งที่ความฉลาดเบื้องล่างยังเป็นตัวเดิมเป๊ะ

74
00:03:00,908 --> 00:03:03,333
คนส่วนใหญ่ไม่เคยคิดถึงเรื่องนี้ด้วยซ้ำ

75
00:03:03,333 --> 00:03:05,951
พวกเขาเถียงกันว่าโมเดลไหนดีที่สุด GPT กับ

76
00:03:05,951 --> 00:03:08,823
Claude กับ DeepSeek กับ Gemini แต่ระหว่างนั้น

77
00:03:08,823 --> 00:03:09,916
harness

78
00:03:09,916 --> 00:03:12,533
กำลังกำหนดผลลัพธ์ไปครึ่งหนึ่งอย่างเงียบ ๆ

79
00:03:12,533 --> 00:03:14,703
บทสรุปของ Composio เองพูดชัดเจนว่า

80
00:03:14,703 --> 00:03:16,618
"จงทดสอบคู่ของโมเดลกับ harness

81
00:03:16,618 --> 00:03:19,427
ที่คุณใช้งานจริง ไม่ใช่ทดสอบโมเดลเพียงลำพัง"

82
00:03:19,427 --> 00:03:22,746
และประโยคเดียวนี้เปลี่ยนวิธีการตั้งค่าทุกอย่างของคุณ

83
00:03:22,746 --> 00:03:24,981
และนี่คือเหตุผลที่เราสร้าง Agent OS

84
00:03:24,981 --> 00:03:27,917
ในแบบที่เราทำไว้ภายใน Agent Protocol Bot Agent

85
00:03:27,917 --> 00:03:29,960
OS ให้คุณเสียบ harness ของ agent

86
00:03:29,960 --> 00:03:32,896
ที่คุณชื่นชอบทั้งหมด ไม่ว่าจะเป็น Claude Code,

87
00:03:32,896 --> 00:03:33,989
Hermes, OpenCode

88
00:03:33,989 --> 00:03:36,542
เข้าไปในระบบเดียวที่มีหน่วยความจำร่วมกัน

89
00:03:36,542 --> 00:03:39,670
เพื่อให้คุณรันงานเดียวกันผ่านการตั้งค่าที่ต่างกัน

90
00:03:39,670 --> 00:03:42,351
แล้วดูว่าคู่ไหนทำงานได้จริงกับธุรกิจของคุณ

91
00:03:42,351 --> 00:03:44,904
นี่คือการนำ Harness Multiplier มาใช้จริง

92
00:03:44,904 --> 00:03:47,266
คุณจะได้ไฟล์ zip ครบชุด แผนงาน 30 วัน

93
00:03:47,266 --> 00:03:48,359
วิดีโอสอน

94
00:03:48,359 --> 00:03:51,423
และอัปเดตรายวันในขณะที่เราปรับปรุงอย่างต่อเนื่อง

95
00:03:51,423 --> 00:03:53,402
รวมถึงการโค้ชรายสัปดาห์ 4 ครั้ง

96
00:03:53,402 --> 00:03:56,274
ที่คุณสามารถถามคำถามเกี่ยวกับการตั้งค่า agent

97
00:03:56,274 --> 00:03:58,764
ของตัวเองแบบสด ๆ ว่าใช้โมเดลไหน harness

98
00:03:58,764 --> 00:04:01,700
ไหนเหมาะกับงานของคุณ มีเจ้าของธุรกิจกว่า 3,700

99
00:04:01,700 --> 00:04:04,062
คนอยู่ในนั้น และหลายคนกำลังรัน Hermes

100
00:04:04,062 --> 00:04:06,105
และทดสอบคู่เหล่านี้อยู่ตอนนี้เลย

101
00:04:06,105 --> 00:04:08,658
ลิงก์อยู่ในคอมเมนต์และคำอธิบาย หรือไปที่

102
00:04:08,658 --> 00:04:11,211
aiprofitbombs.com เพื่อเข้าถึงได้เลยครับ

103
00:04:11,211 --> 00:04:12,488
กลับมาที่การทดสอบกัน

104
00:04:12,488 --> 00:04:16,063
มีรายละเอียดจุดหนึ่งที่อธิบายว่าทำไมตัวเลือกแบบเบาถึงชนะ

105
00:04:16,063 --> 00:04:18,872
และมันขัดกับสิ่งที่คนส่วนใหญ่เข้าใจเกี่ยวกับ

106
00:04:18,872 --> 00:04:21,489
AI Pi รันแบบแทบไม่เพิ่มอะไรเลย ติดตั้งแบบ

107
00:04:21,489 --> 00:04:22,581
vanilla สะอาด ๆ

108
00:04:22,581 --> 00:04:25,262
สิ่งเดียวที่ต่อเพิ่มคือปลั๊กอิน MCP server

109
00:04:25,262 --> 00:04:27,752
ซึ่งเป็นตัวเชื่อมต่อมาตรฐานที่ให้ agent

110
00:04:27,752 --> 00:04:29,731
เสียบเข้ากับเครื่องมือภายนอกได้

111
00:04:29,731 --> 00:04:31,007
เหมือนอะแดปเตอร์สากล

112
00:04:31,007 --> 00:04:33,752
ไม่มีการตั้งค่าแบบกำหนดเอง ไม่มีการปรับแต่ง

113
00:04:33,752 --> 00:04:36,306
ไม่มีการคอนฟิกพิเศษ เปิดกล่องมาใช้ได้เลย

114
00:04:36,306 --> 00:04:38,987
และมันผ่านงานได้มากที่สุด ทีนี้ถ้าเทียบกับ

115
00:04:38,987 --> 00:04:40,079
Prime Agent Prime

116
00:04:40,079 --> 00:04:42,633
รันเซสชันที่หนักที่สุดในบรรดาแปด harness

117
00:04:42,633 --> 00:04:44,484
บางเซสชันใช้ถึง 3.5 ล้านโทเคน

118
00:04:44,484 --> 00:04:47,420
และเรียกใช้เครื่องมือ 33 ครั้ง ลองนึกภาพ agent

119
00:04:47,420 --> 00:04:48,633
ที่เขียน to-do list

120
00:04:48,633 --> 00:04:50,420
ให้ตัวเองยาวเท่าสมุดโทรศัพท์

121
00:04:50,420 --> 00:04:52,080
ก่อนที่จะเริ่มทำงานด้วยซ้ำ

122
00:04:52,080 --> 00:04:55,974
เซสชันใหญ่ขนาดที่ระบบให้คะแนนหมดเวลาเพียงแค่พยายามให้คะแนนมัน

123
00:04:55,974 --> 00:04:57,251
สองรันให้คะแนนไม่ได้

124
00:04:57,251 --> 00:04:59,294
อีกประมาณสี่รันไม่มีการบันทึกเลย

125
00:04:59,294 --> 00:05:00,386
รวมแล้วหกรันหายไป

126
00:05:00,386 --> 00:05:02,939
และรันที่นับได้ก็ยังทำคะแนนได้แค่เท่ากับ

127
00:05:02,939 --> 00:05:05,684
Hermes ในขณะที่ใช้เวลานานเกือบสองเท่าของ Pi

128
00:05:05,684 --> 00:05:08,557
รูปแบบมันชัดเจนอยู่ในข้อมูล การตั้งค่าแบบหนัก

129
00:05:08,557 --> 00:05:11,238
ๆ ที่พยายามทำทุกอย่างสำลักน้ำหนักของตัวเอง

130
00:05:11,238 --> 00:05:15,259
การตั้งค่าแบบเบาและเรียบง่ายผ่านงานได้มากที่สุดในเวลาน้อยที่สุด

131
00:05:15,259 --> 00:05:17,940
เลเยอร์ที่มากขึ้นไม่ได้แปลว่าผลลัพธ์ดีขึ้น

132
00:05:17,940 --> 00:05:19,792
ในการทดสอบนี้มันตรงกันข้ามเลย

133
00:05:19,792 --> 00:05:21,962
นี่คือการพลิกวิธีคิดแบบเก่ากลับหัว

134
00:05:21,962 --> 00:05:24,005
วิธีคิดแบบเก่าคือ ยกตัวอย่างเช่น

135
00:05:24,005 --> 00:05:26,558
คว้าโมเดลที่ใหญ่ที่สุด กองปลั๊กอินทุกตัว

136
00:05:26,558 --> 00:05:28,792
ส่วนขยายทุกตัว เลเยอร์สวยหรูทุกชั้น

137
00:05:28,792 --> 00:05:30,771
แล้วสรุปว่ามากกว่าเท่ากับดีกว่า

138
00:05:30,771 --> 00:05:33,069
วิธีแบบใหม่คืออะไรที่ต่างออกไปจริง ๆ

139
00:05:33,069 --> 00:05:34,665
และการทดสอบนี้พิสูจน์แล้ว

140
00:05:34,665 --> 00:05:37,155
คุณแค่เลือกโมเดลที่เร็ว ใส่ลงใน harness

141
00:05:37,155 --> 00:05:38,247
ที่สะอาดและเบา

142
00:05:38,247 --> 00:05:40,290
แล้วทดสอบคู่นั้นกับงานจริงของคุณ

143
00:05:40,290 --> 00:05:43,035
DeepSeek-V4-Flash เป็น flash model อยู่แล้ว

144
00:05:43,035 --> 00:05:44,694
มันถูกสร้างมาเพื่อความเร็ว

145
00:05:44,694 --> 00:05:47,567
ไม่ใช่เพื่อชนะการประกวดความฉลาด และใน harness

146
00:05:47,567 --> 00:05:50,184
ที่ถูกต้อง มันผ่านงาน agentic สองในสามงาน

147
00:05:50,184 --> 00:05:52,738
การตั้งค่าพามันไปได้ไกลกว่าพลังสมองดิบ ๆ

148
00:05:52,738 --> 00:05:54,972
ที่ทำได้ด้วยลำพัง และมีเหตุผลง่าย ๆ

149
00:05:54,972 --> 00:05:57,781
ที่การตั้งค่าแบบเบาชนะการทดสอบแบบนี้อยู่เสมอ

150
00:05:57,781 --> 00:06:00,398
ทุกเลเยอร์พิเศษที่คุณเพิ่มคือจุดที่ agent

151
00:06:00,398 --> 00:06:01,930
จะหลงทางเพิ่มอีกหนึ่งจุด

152
00:06:01,930 --> 00:06:05,888
ทุกเครื่องมือพิเศษคือการตัดสินใจที่มันต้องทำเพิ่มอีกหนึ่งครั้ง

153
00:06:05,888 --> 00:06:10,037
ไฟล์คำสั่งยักษ์ทุกไฟล์คือสัญญาณรบกวนที่มันต้องอ่านผ่านก่อนจะลงมือ

154
00:06:10,037 --> 00:06:12,718
ดังนั้น harness ที่สะอาดจะให้เส้นทางสั้น ๆ

155
00:06:12,718 --> 00:06:16,740
จากเห็นงานถึงงานเสร็จ ส่วนตัวที่บวมเป่งจะพามันเดินหลงไปเรื่อย ๆ

156
00:06:16,740 --> 00:06:19,293
และนั่นคือเหตุผลที่การติดตั้งแบบ vanilla

157
00:06:19,293 --> 00:06:20,385
ชนะตัวหนัก

158
00:06:20,385 --> 00:06:23,513
มันคือเส้นทางที่สั้นกว่าและมีจุดเลี้ยวผิดน้อยกว่า

159
00:06:23,513 --> 00:06:27,599
ทีนี้ผมขอพูดถึงความเชื่อสามอย่างที่ทำให้คนไม่ลงมือทำกับเรื่องนี้

160
00:06:27,599 --> 00:06:30,344
เพราะผมเห็นมันตลอดเวลา ความเชื่อข้อหนึ่งคือ

161
00:06:30,344 --> 00:06:33,982
"ผมต้องมีโมเดลระดับท็อปที่ทรงพลังที่สุดถึงจะได้ผลลัพธ์ดี"

162
00:06:33,982 --> 00:06:36,344
การทดสอบนี้เพิ่งแสดงให้เห็นตรงกันข้าม

163
00:06:36,344 --> 00:06:38,642
โมเดลถูกกำหนดไว้ตายตัว ไม่เคยเปลี่ยน

164
00:06:38,642 --> 00:06:41,387
และผลลัพธ์ก็ยังแกว่งจากความสำเร็จ 47% ไปถึง

165
00:06:41,387 --> 00:06:43,238
67% โดยขึ้นกับ harness ล้วน ๆ

166
00:06:43,238 --> 00:06:47,196
ดังนั้นถ้าคุณรอคอยที่จะได้เข้าถึงโมเดลเรือธงบางตัวก่อนเริ่มใช้

167
00:06:47,196 --> 00:06:49,941
agent แสดงว่าคุณรอผิดสิ่ง โมเดลน้ำหนักเบาใน

168
00:06:49,941 --> 00:06:51,033
harness

169
00:06:51,033 --> 00:06:54,672
ที่ถูกต้องผ่านงานได้มากกว่าที่คนส่วนใหญ่คาดหวังจากโมเดลใด

170
00:06:54,672 --> 00:06:57,353
ๆ การตั้งค่าสำคัญกว่าโมเดลดิบ ๆ เองเสียอีก

171
00:06:57,353 --> 00:07:00,289
ความเชื่อข้อสองคือ "นี่มัน benchmark ทางเทคนิค

172
00:07:00,289 --> 00:07:02,715
ไม่เกี่ยวกับฉัน ฉันไม่ใช่นักเขียนโค้ด"

173
00:07:02,715 --> 00:07:05,332
แต่ถ้าคุณพลิกมุมมอง ถ้าคุณไม่ใช่สายเทคนิค

174
00:07:05,332 --> 00:07:07,822
เรื่องนี้กลับเกี่ยวข้องกับคุณมากกว่าใคร

175
00:07:07,822 --> 00:07:10,758
นักพัฒนาสามารถเจาะลงไปแก้ไขการตั้งค่าที่พังได้

176
00:07:10,758 --> 00:07:13,184
แต่คุณทำไม่ได้ ดังนั้นการเลือก harness

177
00:07:13,184 --> 00:07:14,971
ของคุณจึงเป็นตัวกำหนดผลลัพธ์

178
00:07:14,971 --> 00:07:17,461
และนี่คือข่าวดีที่ซ่อนอยู่ในการทดสอบนี้

179
00:07:17,461 --> 00:07:20,142
การตั้งค่าที่ชนะคือแบบ vanilla ติดตั้งใหม่

180
00:07:20,142 --> 00:07:22,759
ปลั๊กอินมาตรฐานตัวเดียว ไม่มีอะไรกำหนดเอง

181
00:07:22,759 --> 00:07:25,759
สิ่งที่ชนะคือสิ่งที่คนไม่สายเทคนิคจะได้มาอยู่ดี

182
00:07:25,759 --> 00:07:28,823
ดังนั้นคุณไม่จำเป็นต้องเก่งกว่าใครในเชิงวิศวกรรม

183
00:07:28,823 --> 00:07:31,377
คุณแค่ต้องเลือกให้ดีและทำให้มันเรียบง่าย

184
00:07:31,377 --> 00:07:32,973
เรียบง่ายชนะบนกระดานคะแนน

185
00:07:32,973 --> 00:07:35,909
และความเชื่อข้อสามคือ "AI agent ไม่น่าเชื่อถือ

186
00:07:35,909 --> 00:07:37,952
งั้นฉันรอให้มันดีขึ้นก่อนดีกว่า"

187
00:07:37,952 --> 00:07:40,697
แต่ถ้าคุณดูค่าความแกว่งอีกครั้ง 47% ถึง 67%

188
00:07:40,697 --> 00:07:43,059
โมเดลเดียวกัน วันเดียวกัน งานเดียวกัน

189
00:07:43,059 --> 00:07:45,484
ดังนั้นเมื่อมีคนบอกว่า agent ใช้ไม่ได้

190
00:07:45,484 --> 00:07:48,038
คำถามที่ซื่อสัตย์กลับไปคือ คุณลองคู่ไหน?

191
00:07:48,038 --> 00:07:49,251
คุณลอง harness ไหน?

192
00:07:49,251 --> 00:07:52,187
เพราะบางคู่ทำงานได้น่าเชื่อถือมากกว่าคู่อื่น ๆ

193
00:07:52,187 --> 00:07:57,868
อย่างเห็นได้ชัดในตอนนี้ คนที่ได้ผลลัพธ์ในวันนี้ไม่ได้รอ AI ที่ดีกว่า พวกเขาทดสอบคู่ต่าง ๆ

194
00:07:57,868 --> 00:07:59,145
และเก็บคู่ที่ผ่านไว้

195
00:07:59,145 --> 00:08:01,571
การรอไม่ได้ทำให้การตั้งค่าของคุณดีขึ้น

196
00:08:01,571 --> 00:08:03,422
การทดสอบต่างหากที่ทำให้ดีขึ้น

197
00:08:03,422 --> 00:08:04,635
และทุกเดือนที่คุณรอ

198
00:08:04,635 --> 00:08:07,252
คนที่ลงมือทดสอบก็จะไหลนำหน้าต่อไปเรื่อย ๆ

199
00:08:07,252 --> 00:08:10,380
ด้วยเครื่องมือชุดเดียวกับที่คุณเข้าถึงได้อยู่แล้ว

200
00:08:10,380 --> 00:08:13,061
ยังมีบทเรียนอีกข้อที่ benchmark นี้เน้นย้ำ

201
00:08:13,061 --> 00:08:15,614
ซึ่งจะเปลี่ยนวิธีที่คุณอ่านพาดหัวข่าว AI

202
00:08:15,614 --> 00:08:18,359
ทุกอันตั้งแต่นี้เป็นต้นไป เมื่อคุณเห็นคะแนน

203
00:08:18,359 --> 00:08:20,657
เช่น "โมเดลนี้ผ่านงาน X เปอร์เซ็นต์"

204
00:08:20,657 --> 00:08:23,338
ตัวเลขนั้นจะไม่สมบูรณ์ถ้าไม่รู้ว่า harness

205
00:08:23,338 --> 00:08:24,431
ตัวไหนที่มันรัน

206
00:08:24,431 --> 00:08:27,495
การทดสอบนี้พิสูจน์ชัดว่าโมเดลเดียวกันแกว่งได้ถึง

207
00:08:27,495 --> 00:08:29,921
20 จุดทั้งขึ้นและลงตาม wrapper ดังนั้น

208
00:08:29,921 --> 00:08:31,013
leaderboard

209
00:08:31,013 --> 00:08:34,588
ที่ระบุแค่ชื่อโมเดลกำลังเล่าเรื่องให้คุณฟังแค่ครึ่งเดียว

210
00:08:34,588 --> 00:08:35,680
ตั้งแต่นี้ไป

211
00:08:35,680 --> 00:08:38,170
เมื่อมีโมเดลใหม่ออกมาแล้วทุกคนแชร์ชาร์ต

212
00:08:38,170 --> 00:08:41,106
benchmark คำถามแรกของคุณควรเป็น "harness ไหน?"

213
00:08:41,106 --> 00:08:44,553
เพราะคำตอบนั้นสำคัญกว่าชื่อโมเดลที่อยู่หัวตารางเสียอีก

214
00:08:44,553 --> 00:08:46,085
แล้วคุณควรทำยังไงจริง ๆ?

215
00:08:46,085 --> 00:08:51,575
ง่ายมากครับ สร้างเวอร์ชันจิ๋วของการทดสอบนี้ขึ้นมาเองแบบที่ Composio ทำ ใช้แค่งานง่าย ๆ

216
00:08:51,575 --> 00:08:52,979
สามงาน ขั้นตอนที่หนึ่ง

217
00:08:52,979 --> 00:08:55,277
เขียนงานจริงสามอย่างจากสัปดาห์ของคุณ

218
00:08:55,277 --> 00:08:57,256
งานที่คุณทำด้วยมืออยู่แล้ว เช่น

219
00:08:57,256 --> 00:08:59,682
คัดแยกลีดใหม่เป็นกลุ่มร้อนกับกลุ่มเย็น

220
00:08:59,682 --> 00:09:01,852
หรือเขียนร่างแรกของอีเมลรายสัปดาห์

221
00:09:01,852 --> 00:09:05,682
หรือดึงรายละเอียดจากสเปรดชีตที่คุณมีแล้วจัดระเบียบให้ถูกต้อง

222
00:09:05,682 --> 00:09:06,775
Benchmark

223
00:09:06,775 --> 00:09:09,456
จะมีค่าก็ต่อเมื่อมันเกี่ยวข้องกับงานของคุณ

224
00:09:09,456 --> 00:09:12,073
เพราะนั่นคืองานที่คุณกำลังพยายาม automate

225
00:09:12,073 --> 00:09:13,166
ขั้นตอนที่สอง

226
00:09:13,166 --> 00:09:16,485
รันงานสามอย่างเดียวกันผ่านการตั้งค่าที่ต่างกันสามชุด

227
00:09:16,485 --> 00:09:19,358
สอง harness โมเดลเดียวกัน คำสั่งเดียวกันทุกคำ

228
00:09:19,358 --> 00:09:20,634
อย่าเปลี่ยนอย่างอื่น

229
00:09:20,634 --> 00:09:22,485
ถ้าคุณเปลี่ยนสองอย่างพร้อมกัน

230
00:09:22,485 --> 00:09:24,911
คุณจะไม่ได้เรียนรู้อะไร นี่คือวินัยที่

231
00:09:24,911 --> 00:09:26,060
Composio ใช้เป๊ะ ๆ

232
00:09:26,060 --> 00:09:28,933
ตัวแปรเดียวเท่านั้นที่เปลี่ยน ที่เหลือล็อกหมด

233
00:09:28,933 --> 00:09:31,614
ขั้นตอนที่สาม ให้คะแนนพวกมันแบบเดียวกับที่

234
00:09:31,614 --> 00:09:34,167
Composio ทำ สามคอลัมน์ ทำงานเสร็จหรือไม่

235
00:09:34,167 --> 00:09:35,891
ผ่านหรือตก ใช้เวลานานแค่ไหน

236
00:09:35,891 --> 00:09:38,189
ต้องทำความสะอาดแก้ไขตามหลังมากแค่ไหน

237
00:09:38,189 --> 00:09:41,508
คอลัมน์สุดท้ายคือคอลัมน์ซื่อสัตย์ที่คนส่วนใหญ่ข้ามไป

238
00:09:41,508 --> 00:09:44,189
agent ที่ทำงานเสร็จแต่ต้องแก้ไขอีก 20 นาที

239
00:09:44,189 --> 00:09:46,998
ไม่ได้ผ่านจริง ๆ ขั้นตอนที่สี่ เก็บผู้ชนะไว้

240
00:09:46,998 --> 00:09:49,615
แล้วทดสอบใหม่ทุกครั้งที่มีเวอร์ชันใหม่ออก

241
00:09:49,615 --> 00:09:52,488
เพราะอันดับในวงการนี้ไม่เคยอยู่นิ่ง อัปเดตของ

242
00:09:52,488 --> 00:09:54,914
harness เดือนหน้าก็พลิกผลลัพธ์ได้ เช่น

243
00:09:54,914 --> 00:09:57,658
สมมติว่า Hermes ปล่อยอัปเดตใหม่ มันอาจทำให้

244
00:09:57,658 --> 00:10:00,084
Hermes ดีขึ้น Pi ก็เช่นกัน Claude Code

245
00:10:00,084 --> 00:10:01,177
ก็เช่นกัน

246
00:10:01,177 --> 00:10:03,538
คนที่ชนะไม่ใช่คนที่เลือกถูกครั้งเดียว

247
00:10:03,538 --> 00:10:05,709
แต่คือคนที่มีวิธีตรวจซ้ำที่รวดเร็ว

248
00:10:05,709 --> 00:10:06,801
ถ้าคุณทำแบบนี้

249
00:10:06,801 --> 00:10:09,355
คุณจะรู้บางอย่างเกี่ยวกับธุรกิจของคุณเอง

250
00:10:09,355 --> 00:10:11,206
ที่บริษัทส่วนใหญ่ไม่รู้จริง ๆ

251
00:10:11,206 --> 00:10:14,015
นั่นคือคู่ไหนที่ทำงานได้ดีที่สุดกับงานของคุณ

252
00:10:14,015 --> 00:10:16,185
ขอบันทึกอีกหนึ่งข้ออย่างตรงไปตรงมา

253
00:10:16,185 --> 00:10:18,036
เพราะผมไม่อยากขาย Pi เกินจริง

254
00:10:18,036 --> 00:10:20,909
การทดสอบนี้ใช้โมเดลเดียวคือ DeepSeek-V4-Flash

255
00:10:20,909 --> 00:10:23,717
กับงาน 30 งานชุดเดียว Composio ระบุชัดเจนว่า

256
00:10:23,717 --> 00:10:26,526
harness ที่ต่างกันเหมาะกับโมเดลที่ต่างกัน Pi

257
00:10:26,526 --> 00:10:28,952
ชนะสำหรับโมเดลนี้ ไม่ได้หมายความว่า Pi

258
00:10:28,952 --> 00:10:31,888
จะชนะสำหรับทุกโมเดล Claude Code เร็วกว่าโดยรวม

259
00:10:31,888 --> 00:10:33,484
Hermes มีจุดแข็งของตัวเอง

260
00:10:33,484 --> 00:10:35,335
และถูกสร้างมาเพื่องาน agentic

261
00:10:35,335 --> 00:10:38,144
ที่หลากหลายกว่าการรันงานล้วน ๆ บทเรียนไม่ใช่

262
00:10:38,144 --> 00:10:40,442
"ทุกคนควรย้ายไปใช้ Pi" แต่บทเรียนคือ

263
00:10:40,442 --> 00:10:43,251
"คู่คือตัวสินค้า" ดังนั้นจงทดสอบคู่ของคุณเอง

264
00:10:43,251 --> 00:10:44,719
และนี่คือจุดที่เรามาถึง

265
00:10:44,719 --> 00:10:47,655
ช่องว่างระหว่างธุรกิจตอนนี้ไม่ใช่การเข้าถึง AI

266
00:10:47,655 --> 00:10:50,209
ทุกคนเข้าถึงได้ ทุกคนรันโมเดลเดียวกันได้

267
00:10:50,209 --> 00:10:52,826
การทดสอบนี้ใช้โมเดลเดียวกับทุกอย่างจริง ๆ

268
00:10:52,826 --> 00:10:54,358
ช่องว่างคือคนกลุ่มเล็ก ๆ

269
00:10:54,358 --> 00:10:56,848
ที่ทดสอบการตั้งค่าที่คนส่วนใหญ่ไม่ทดสอบ

270
00:10:56,848 --> 00:10:59,593
กลุ่มหนึ่งรู้ตัวเลข อัตราการผ่าน เวลาต่องาน

271
00:10:59,593 --> 00:11:02,018
งานที่ต้องแก้ไขตามหลัง อีกกลุ่มเดาสุ่ม

272
00:11:02,018 --> 00:11:05,912
และมักได้ความน่าเชื่อถือแค่ครึ่งหนึ่งของที่ควรได้โดยไม่รู้ตัว

273
00:11:05,912 --> 00:11:07,827
และถ้าคุณอยากอยู่ในกลุ่มที่รู้

274
00:11:07,827 --> 00:11:10,445
นั่นคือสิ่งที่เราทำใน AI Profit Boardroom

275
00:11:10,445 --> 00:11:13,189
คุณจะได้บทเรียนรายวันพร้อมวิดีโอทีละขั้นตอน

276
00:11:13,189 --> 00:11:15,807
รวมถึงวิธีตั้งค่า harness ของ agent อย่าง

277
00:11:15,807 --> 00:11:18,232
Hermes และโมเดลอย่าง DeepSeek-V4-Flash

278
00:11:18,232 --> 00:11:20,339
รวมถึงวิธีสลับโมเดลภายใน Agent OS

279
00:11:20,339 --> 00:11:21,935
เพื่อให้คุณทดสอบคู่ต่าง ๆ

280
00:11:21,935 --> 00:11:24,680
กับงานธุรกิจของคุณเองเหมือนที่ benchmark ทำ

281
00:11:24,680 --> 00:11:27,616
ตัว OS รองรับหลายโมเดลอยู่แล้ว การลอง paradigm

282
00:11:27,616 --> 00:11:29,914
ใหม่จึงใช้เวลาเป็นนาที ไม่ใช่เป็นวัน

283
00:11:29,914 --> 00:11:32,212
และคุณจะได้การโค้ชรายสัปดาห์ 4 ครั้ง

284
00:11:32,212 --> 00:11:35,149
ที่คุณสามารถนำการตั้งค่าจริงของคุณมา ทั้งโมเดล

285
00:11:35,149 --> 00:11:37,957
harness งาน แล้วให้รีวิวแบบสด ๆ รวมถึงแผนงาน

286
00:11:37,957 --> 00:11:40,638
30 วัน เพื่อให้คุณไม่ต้องเดาว่าจะทำอะไรต่อ

287
00:11:40,638 --> 00:11:43,575
และคลัง prompt สำหรับงานที่คุณ automate จริง ๆ

288
00:11:43,575 --> 00:11:46,320
เช่น การติดตามลีด ร่างคอนเทนต์ การตอบลูกค้า

289
00:11:46,320 --> 00:11:47,412
และแผนที่สมาชิก

290
00:11:47,412 --> 00:11:52,838
เพื่อให้คุณหาเจ้าของธุรกิจใกล้ตัวที่ใช้เครื่องมือชุดเดียวกันและแลกเปลี่ยนข้อมูลกันได้

291
00:11:52,838 --> 00:11:55,774
สมาชิกกว่า 3,700 คนในนั้น มีการสนับสนุนตลอด 24

292
00:11:55,774 --> 00:11:57,498
ชั่วโมง มีคนออนไลน์อยู่เสมอ

293
00:11:57,498 --> 00:12:00,051
ลิงก์อยู่ในคอมเมนต์และคำอธิบาย หรือไปที่

294
00:12:00,051 --> 00:12:02,605
aiprofitbombs.com เพราะนี่คือความจริงที่

295
00:12:02,605 --> 00:12:04,967
benchmark นี้พิสูจน์ได้ค่อนข้างชัด AI

296
00:12:04,967 --> 00:12:08,222
ไม่ได้ฉลาดขึ้นระหว่างผลลัพธ์ที่ดีที่สุดกับแย่ที่สุด

297
00:12:08,222 --> 00:12:11,222
สิ่งที่เปลี่ยนคือการตัดสินใจของมนุษย์ที่อยู่รอบ

298
00:12:11,222 --> 00:12:13,584
ๆ มัน เลือก harness ไหน ตั้งค่าแบบไหน

299
00:12:13,584 --> 00:12:16,265
มีใครยอมเสียเวลาวัดผลหรือไม่ โมเดลเดียวกัน

300
00:12:16,265 --> 00:12:19,138
การตั้งค่าหนึ่งประสบความสำเร็จสองในสามของเวลา

301
00:12:19,138 --> 00:12:21,564
ขณะที่อีกการตั้งค่าล้มเหลวมากกว่าครึ่ง

302
00:12:21,564 --> 00:12:23,032
และช้ากว่าประมาณสองเท่า

303
00:12:23,032 --> 00:12:24,500
ความฉลาดไม่เคยเป็นคอขวด

304
00:12:24,500 --> 00:12:26,032
การตั้งค่าต่างหากที่เป็น

305
00:12:26,032 --> 00:12:27,883
และการตั้งค่านั้นอยู่ในมือคุณ

306
00:12:27,883 --> 00:12:29,160
เจอกันวิดีโอหน้าครับ